Зображення у звук: сонификація, спектрограма і vOICe

Популярні сервіси «фото в музику» (InsMelo, Mubert, Suno, Artlist) складають за фотографією цілу пісню за допомогою ІІ — читають настрій і палітру та пишуть трек із мелодією й барабанами. Тут робиться сонификація: дані пікселів переводяться у звук напряму. Режим «Мелодія» додає гаму, щоб результат звучав музично, але це й далі перетворення 1:1, а не складена пісня. Якщо потрібна саме музика від ІІ, шукайте інструменти з позначкою «музика з фото з ІІ».

Перемкніть джерело на «Текст», напишіть до трьох рядків і завантажте WAV. Слово малюється просто в частотах: на осцилограмі його не видно, а в спектрограмі — видно одразу (Audacity в режимі Spectrogram, Spek, Sonic Visualiser або будь-який спектроаналізатор на телефоні). Чи переживе воно пересилання, вирішує один вибір: у «Діапазоні частот» варіант «Переживає пересилання» кладе текст у вузьку смугу нижче зрізу MP3 та AAC, тож месенджер чи відеохостинг, перестиснувши файл, його не зітруть. Контурне накреслення читається чіткіше за залите при низькій деталізації.

Мелодія читає кожен зріз часу як профіль яскравості, згортає його на щаблі обраної гами й озвучує всі, що виділяються, — до восьми одразу. Мелодійно, і звук змінюється разом із зображенням. Raw — адитивний синтез: кожен піксель стає синусоїдною складовою, частота береться з рядка, гучність із яскравості, тож звук буквально і є спектрограмою зображення — жорсткий, дроновий, і саме він потрібен для спектрограмного арту. vOICe — та сама ідея, утримана в одній точній специфікації системи сенсорного заміщення з цією назвою.

Для цього є режим vOICe, а живий скан камери й робить його приладом, а не конвертером: камера читається безперервно, зліва направо, у тій самій розкладці, на якій тренуються незрячі, — 500–5000 Гц за експонентою, шістнадцять щаблів яскравості по 2 дБ, чорний як повна тиша, стереопанорама, щоб вухо відрізняло ліво від права, і клац, що позначає початок скану. Навушники важливі: без них губиться стереопанорама, а це половина того, що робить звуковий краєвид читаним. Ніщо з цього не замінює екранний диктор і alt-тексти — це додатковий спосіб сприймати форму й розташування на слух.

Контрастні й з невеликою кількістю великих форм. У режимі мелодії обличчя, простий предмет чи рядок тексту дають мелодію, яку впізнаєш знову; у Raw найвиразніші текстури виходять із геометрії, діагоналей і градієнтів, адже звук і є формою зображення. Майже нічого не дає протилежне: у дуже темної фотографії немає яскравих ділянок, а в однорідної — стіни, неба, розмитого тла — нема чому змінюватися, і на виході гудіння. Повзунок «Контраст» у розділі «Зображення і колір» існує саме для цього, а кадр на екрані показує результат ще до прослуховування.

«Деталізація» задає число рядків, тобто частотну роздільність: 32, 64, 128 або 192. Число стовпців іде за формою вашого зображення, а не втискує його в фіксовану сітку, і кадр на екрані — той самий, який читає рушій, разом із розмірами. Більше рядків — чіткіше зображення у спектрограмі й довший розрахунок; 64 вистачає для тексту й фігур, 128 і вище — для фотографій.