Image en son : sonification, spectrogramme et vOICe

Les services connus d’« image en musique » (InsMelo, Mubert, Suno, Artlist) composent une chanson entière à partir de votre photo avec de l’IA : ils lisent l’ambiance et la palette et écrivent un morceau avec mélodie et batterie. Ici on fait de la sonification : les données des pixels passent directement en son. Le mode mélodie ajoute une gamme pour que le résultat sonne musical, mais cela reste une transformation 1:1 et non une chanson composée. Pour de la musique par IA, cherchez « musique IA à partir d’une photo ».

Passez la source sur Texte, tapez jusqu’à trois lignes et téléchargez le WAV. Le mot est dessiné directement dans les fréquences : invisible dans la forme d’onde, il saute aux yeux dans une vue spectrogramme — Audacity (vue Spectrogram), Spek, Sonic Visualiser ou n’importe quel analyseur de spectre sur téléphone. Un seul réglage décide s’il survit au partage : dans Plage de fréquences, « Résiste au partage » place le texte dans une bande étroite sous la coupure qu’appliquent le MP3 et l’AAC, de sorte qu’une messagerie ou une plateforme vidéo ne l’efface pas en ré-encodant. Le contour se lit plus nettement que le plein quand le détail est faible.

Mélodie lit chaque tranche de temps comme un profil de luminosité, le replie sur les degrés de votre gamme et fait sonner tous ceux qui ressortent — jusqu’à huit à la fois. Mélodique, et le son change quand l’image change. Raw est une synthèse additive : chaque pixel devient un partiel sinusoïdal dont la fréquence vient de sa ligne et le volume de sa luminosité, donc l’audio est littéralement le spectrogramme de l’image — rugueux, en nappe, et c’est le mode de l’art de spectrogramme. vOICe est la même idée tenue par une spécification exacte, celle du système de substitution sensorielle de ce nom.

C’est le rôle du mode vOICe, et le balayage caméra en direct est ce qui en fait un appareil plutôt qu’un convertisseur : la caméra est lue en continu, de gauche à droite, dans la correspondance sur laquelle s’entraînent réellement les personnes aveugles — 500–5000 Hz sur un axe exponentiel, seize paliers de luminosité espacés de deux décibels avec le noir comme silence réel, un fondu stéréo pour que l’oreille distingue la gauche de la droite, et le clic qui marque le début de chaque balayage. Le casque compte : sans lui on perd le fondu stéréo, qui fait la moitié de la lisibilité d’un paysage sonore. Rien de tout cela ne remplace un lecteur d’écran ni les textes alternatifs ; cela ajoute une façon de percevoir la forme et la disposition par l’ouïe.

Celles très contrastées, avec peu de grandes formes. En mode mélodie, un visage, un objet simple ou une ligne de texte donnent une mélodie que l’on reconnaît ; en Raw, la géométrie, les diagonales et les dégradés donnent les textures de spectrogramme les plus marquées, puisque le son est littéralement la forme de l’image. Le contraire ne donne presque rien : une photo très sombre n’a pas de zones claires à faire sonner, et une image uniforme — un mur, le ciel, un arrière-plan flou — n’a rien qui change, donc le résultat bourdonne. Le curseur Contraste, sous « Image et couleur », existe précisément pour cela, et l’image à l’écran montre son effet avant l’écoute.

Le Détail fixe le nombre de lignes, c’est-à-dire la résolution en fréquence : 32, 64, 128 ou 192. Le nombre de colonnes suit la forme de votre image au lieu de l’écraser dans une grille fixe, et l’image affichée est celle que lit le moteur, dimensions comprises. Plus de lignes veut dire une image plus nette dans le spectrogramme et un calcul plus long ; 64 suffit pour du texte et des formes, 128 et au-delà pour des photographies.