Imagem em som: sonificação, espectrograma e vOICe

Os serviços conhecidos de «imagem para música» (InsMelo, Mubert, Suno, Artlist) compõem uma canção inteira a partir da sua foto com IA: leem o ambiente e a paleta e escrevem uma faixa com melodia e bateria. Aqui faz-se sonificação: os dados dos píxeis passam a som diretamente. O modo melodia acrescenta uma escala para o resultado soar musical, mas continua a ser uma transformação 1:1 e não uma canção composta. Para música de IA, procure «música com IA a partir de foto».

Mude a origem para Texto, escreva até três linhas e baixe o WAV. A palavra é desenhada diretamente nas frequências: na forma de onda não se vê, numa vista de espectrograma salta à vista — Audacity (vista Spectrogram), Spek, Sonic Visualiser ou qualquer analisador de espectro no celular. Se sobrevive ao compartilhamento decide-o uma opção: em Faixa de frequências, «Sobrevive ao compartilhamento» coloca o texto numa banda estreita abaixo do corte que MP3 e AAC aplicam, para que uma app de mensagens ou um site de vídeo não o apaguem ao recodificar. O contorno lê-se com mais nitidez do que o preenchido quando o detalhe é baixo.

Melodia lê cada fatia de tempo como um perfil de brilho, dobra-o sobre os graus da sua escala e faz soar todos os que se destacam — até oito ao mesmo tempo. Melódico, e o som muda quando a imagem muda. Raw é síntese aditiva: cada píxel torna-se um parcial sinusoidal cuja frequência vem da sua linha e cujo volume vem do seu brilho, por isso o áudio é literalmente o espectrograma da imagem — áspero e tipo drone, e é o modo da arte de espectrograma. vOICe é a mesma ideia presa a uma especificação exata, a do sistema de substituição sensorial com esse nome.

É para isso que existe o modo vOICe, e a leitura da câmera ao vivo é o que faz dele um aparelho e não um conversor: a câmera é lida de forma contínua, da esquerda para a direita, no mapeamento com que as pessoas cegas realmente treinam — 500–5000 Hz em eixo exponencial, dezesseis degraus de brilho separados por dois decibéis com o preto como silêncio verdadeiro, um fade estéreo para o ouvido distinguir esquerda de direita, e o clique que marca o início de cada varredura. Os fones de ouvido importam: sem eles perde-se o fade estéreo, que é metade do que torna uma paisagem sonora legível. Nada disto substitui um leitor de tela nem o texto alternativo; acrescenta uma forma de perceber forma e disposição pelo ouvido.

As de muito contraste e com poucas formas grandes. No modo melodia, um rosto, um objeto simples ou uma linha de texto dão uma melodia que se reconhece; em Raw, a geometria, as diagonais e os gradientes dão as texturas de espectrograma mais marcadas, já que o som é literalmente a forma da imagem. O contrário quase não dá nada: uma foto muito escura não tem zonas claras para soar, e uma uniforme — uma parede, o céu, um fundo desfocado — não tem nada que mude, e o resultado zumbe. O cursor Contraste, em «Imagem e cor», existe exatamente para isso, e o quadro no tela mostra o seu efeito antes de ouvir.

O Detalhe define o número de linhas, ou seja a resolução em frequência: 32, 64, 128 ou 192. O número de colunas segue a forma da sua imagem em vez de a espremer numa grade fixa, e o quadro mostrado é o que o motor lê, dimensões incluídas. Mais linhas significam uma imagem mais nítida no espectrograma e um cálculo mais demorado; 64 chega para texto e formas, 128 para cima para fotografias.