Gambar ke suara: sonifikasi, spektrogram, dan vOICe

Layanan «gambar jadi musik» yang populer (InsMelo, Mubert, Suno, Artlist) menyusun satu lagu utuh dari foto Anda dengan AI: mereka membaca suasana dan palet lalu menulis trek dengan melodi dan drum. Di sini yang dilakukan adalah sonifikasi: data piksel langsung menjadi suara. Mode melodi menambahkan tangga nada supaya hasilnya terasa musikal, tetapi tetap transformasi 1:1, bukan lagu yang dikarang. Kalau yang dicari musik AI, carilah alat berlabel «musik AI dari foto».

Ubah sumber ke Teks, ketik sampai tiga baris, lalu unduh WAV-nya. Kata itu digambar langsung ke dalam frekuensi: di bentuk gelombang tak terlihat, di tampilan spektrogram langsung terbaca — Audacity (tampilan Spectrogram), Spek, Sonic Visualiser, atau penganalisis spektrum apa pun di ponsel. Apakah ia bertahan saat dibagikan ditentukan satu pilihan: di Rentang frekuensi, «Tahan dibagikan» menaruh teks di pita sempit di bawah batas potong MP3 dan AAC, sehingga aplikasi pesan atau situs video tidak menghapusnya saat mengodekan ulang. Gaya garis luar terbaca lebih tajam daripada penuh saat detailnya rendah.

Melodi membaca tiap irisan waktu sebagai profil kecerahan, melipatnya ke derajat tangga nada Anda, dan membunyikan semua yang menonjol — hingga delapan sekaligus. Melodis, dan suaranya berubah ketika gambarnya berubah. Raw adalah sintesis aditif: tiap piksel menjadi parsial sinus yang frekuensinya dari barisnya dan volumenya dari kecerahannya, jadi audionya benar-benar spektrogram gambar — kasar dan mendengung, dan inilah mode untuk seni spektrogram. vOICe adalah gagasan yang sama yang dipegang pada satu spesifikasi persis, yaitu sistem substitusi indera bernama itu.

Untuk itulah mode vOICe ada, dan pindai kamera langsung itulah yang membuatnya jadi alat, bukan pengonversi: kamera dibaca terus-menerus, dari kiri ke kanan, dengan pemetaan yang benar-benar dilatih pengguna tunanetra — 500–5000 Hz pada sumbu eksponensial, enam belas tingkat kecerahan berjarak dua desibel dengan hitam sebagai sunyi sungguhan, panorama stereo agar telinga membedakan kiri dan kanan, serta klik penanda awal tiap pemindaian. Headphone penting: tanpa itu panorama stereo hilang, padahal itu separuh dari yang membuat lanskap suara terbaca. Tidak satu pun dari ini menggantikan pembaca layar atau teks alternatif; ia menambah cara memahami bentuk dan tata letak lewat pendengaran.

Yang kontrasnya kuat dan bentuk besarnya sedikit. Di mode melodi, wajah, benda sederhana, atau sebaris teks menghasilkan melodi yang bisa dikenali lagi; di Raw, geometri, diagonal, dan gradasi memberi tekstur spektrogram paling khas, karena suaranya memang bentuk gambarnya. Yang nyaris tidak menghasilkan apa-apa adalah kebalikannya: foto yang sangat gelap tidak punya area terang untuk dibunyikan, dan yang seragam — tembok, langit, latar buram — tidak punya yang berubah, jadi keluarannya mendengung. Penggeser Kontras di «Gambar dan warna» ada persis untuk ini, dan bingkai di layar menunjukkan hasilnya sebelum Anda mendengar.

Detail menentukan jumlah baris, yaitu resolusi frekuensinya: 32, 64, 128, atau 192. Jumlah kolom mengikuti bentuk gambar Anda alih-alih memerasnya ke kisi tetap, dan bingkai yang ditampilkan adalah yang dibaca mesin, lengkap dengan ukurannya. Lebih banyak baris berarti gambar lebih tajam di spektrogram dan perhitungan lebih lama; 64 cukup untuk teks dan bentuk, 128 ke atas untuk foto.