Resimden Ses — Sonifikasyon, Spektrogram Sanatı ve vOICe

Bugün internetteki popüler “resimden müzik” araçlarının çoğu (InsMelo, Mubert, Suno, Artlist) fotoğrafınızdan yapay zekâ ile komple bir şarkı üretir — ruh hâlini ve renk paletini okuyup melodi ve davullu bir parça besteler. Bu araç ise sonifikasyon yapar: piksel verisini doğrudan sese eşler. Müzikal mod, sonucun müzik gibi hissettirmesi için bir gam ekler ama yine de resminizin birebir dönüşümüdür, bestelenmiş bir şarkı değil. Yapay zekâ ile bestelenmiş müzik için “resimden yapay zekâ müziği” etiketli araçlara bakın.

Kaynağı Yazı olarak değiştirin, en fazla üç satır yazın ve WAV dosyasını indirin. Kelime frekanslara çizilir; dalga biçiminde görünmez, spektrogram görünümünde ise açıkça görülür — Audacity (Spektrogram görünümü), Spek, Sonic Visualiser veya herhangi bir telefon spektrum analizörü uygulaması. Tek bir seçim kalıcı olup olmadığını belirler: Frekans aralığı altında “Paylaşımda bozulmaz”, yazıyı MP3 ve AAC’nin uyguladığı kesme sınırının altındaki dar bir banda koyar; böylece dosyayı yeniden kodlayan bir mesajlaşma uygulaması veya video sitesi onu silmez. Düşük ayrıntıda çizgili stil, dolu stilden daha net okunur.

Müzikal mod her zaman dilimini bir parlaklık profili olarak okur, gamınızın derecelerine katlar ve öne çıkan her dereceyi çalar — aynı anda en fazla sekiz. Melodiktir ve resim değiştikçe değişir. Ham mod toplamalı sentezdir: her piksel, frekansı satırından, ses düzeyi parlaklığından gelen bir sinüs bileşenine dönüşür; yani ses kelimenin tam anlamıyla resminizin spektrogramıdır — sert ve uğultu gibidir, spektrogram sanatı için kullanılan moddur. vOICe modu aynı fikrin tek bir kesin belirtime bağlanmış hâlidir ve aynı adı taşıyan duyusal ikame sistemiyle eşleşir.

Kullanılacak mod vOICe’tur ve onu bir dönüştürücü değil bir cihaz yapan şey canlı kamera taramasıdır: kamera, görme engelli kullanıcıların gerçekten alıştığı eşlemeyle soldan sağa sürekli okunur — üstel eksende 500–5000 Hz, iki desibel aralıklı on altı parlaklık adımı ve gerçek sessizlik olarak siyah, kulağın sol ile sağı ayırt etmesi için stereo geçişi ve her taramanın başladığı yeri işaretleyen tık. Kulaklık önemlidir: onsuz, ses manzarasını okunur kılan şeyin yarısı olan stereo geçişi kaybolur. Bunların hiçbiri ekran okuyucunun veya alternatif metnin yerini tutmaz; şekli ve düzeni sesle algılamanın bir yolunu ekler.

Güçlü kontrastlı ve az sayıda büyük şekli olanlar. Müzikal modda bir yüz, basit bir nesne veya bir satır yazı, tekrar tanıyabileceğiniz bir melodi üretir; ham modda geometrik desenler, çaprazlar ve gradyanlar en ayırt edici spektrogram dokularını verir, çünkü ses tam anlamıyla resmin şeklidir. Neredeyse hiçbir şey üretmeyenler ise bunun tersidir: çok karanlık bir fotoğrafta çalınacak parlak bölge yoktur, tekdüze bir fotoğrafta — duvar, gökyüzü, bulanık bir arka plan — değişen hiçbir şey yoktur ve çıkış uğuldar. “Resim ve renk” altındaki Kontrast kaydırıcısı tam da bunun için var; ekrandaki kare, siz dinlemeden önce onun ne yaptığını gösterir.

Ayrıntı, frekans çözünürlüğü olan satır sayısını belirler: 32, 64, 128 veya 192. Sütun sayısı, resmi sabit bir ızgaraya sıkıştırmak yerine resminizin biçimini izler; ekranda gösterilen kare de motorun okuduğu karedir, ölçüleriyle birlikte. Daha çok satır, spektrogramda daha net bir resim ve daha uzun bir işleme demektir; metin ve şekiller için 64 yeterlidir, fotoğraflar için 128 ve üstü.