Image en son — Sonifier les pixels en musique ou spectrogramme

La plupart des outils "image to music" populaires aujourd'hui (InsMelo, Mubert, Suno, Artlist) génèrent des chansons complètes à partir de ta photo grâce à l'IA — ils analysent l'ambiance et la palette et composent une piste avec mélodie et batterie. Cet outil fait au contraire de la sonification scientifique : il mappe les données des pixels directement au son. Le mode Musical ajoute une gamme musicale pour que le résultat sonne musical, mais c'est toujours une transformation 1:1 de ton image, pas une chanson composée. Pour de la musique composée par IA, cherche des outils étiquetés "AI music from image" ou "photo to song with AI".

Le mode Musical lit chaque tranche de temps comme un profil de luminosité, la replie sur les degrés de la gamme choisie et fait sonner chaque degré qui ressort — jusqu'à huit à la fois. Mélodique, écoutable, et cela change quand l'image change. Le mode Raw est de la synthèse additive : chaque pixel devient un partiel sinusoïdal dont la fréquence vient de sa ligne et le volume de sa luminosité, si bien que l'audio est littéralement le spectrogramme de votre image — âpre et bourdonnant, et c'est le mode pour l'art de spectrogramme. Le mode vOICe est la même idée tenue à une spécification exacte : 500–5000 Hz, seize paliers de luminosité espacés de deux décibels, un fondu stéréo de gauche à droite et le clic de balayage, comme dans le système de substitution sensorielle du même nom.

L'image est balayée de gauche à droite (axe du temps). Pour chaque colonne, les pixels sont mappés de bas en haut sur une plage logarithmique de fréquences (200–4000 Hz). La luminosité du pixel contrôle le volume de cette fréquence — les pixels lumineux sont forts, les sombres silencieux. La couleur influence le type d'onde : chaud = dent de scie, froid = sinusoïdal, neutre = triangulaire.

Celles à fort contraste et à formes grandes et peu nombreuses. En mode musical, un visage, un objet simple ou une ligne de texte produisent une mélodie qu'on reconnaît ensuite, car l'outil dispose de zones claires nettes à convertir en notes ; en mode brut, motifs géométriques, diagonales et dégradés donnent les textures de spectrogramme les plus caractéristiques, puisque le son y est littéralement la forme de l'image. Ce qui ne donne presque rien, dans les deux modes, c'est l'inverse : une photo très sombre n'a pas de zones claires à faire sonner, et une image uniforme — un mur, un ciel, un fond flou — n'a rien qui varie, et la sortie bourdonne. Si une image sonne terne, montez le contraste avant d'accuser le mode.

C'est le mode vOICe qu'il faut prendre. Il reproduit la correspondance de The vOICe — le système de substitution sensorielle sur lequel les personnes aveugles s'entraînent réellement — au lieu de simplement y ressembler : 500–5000 Hz sur un axe exponentiel, seize paliers de luminosité espacés de deux décibels avec le noir comme véritable silence, un fondu stéréo de gauche à droite pour que l'oreille distingue la gauche de la droite, et le clic qui marque le début de chaque balayage. Le mode Raw est une sonification plus libre et le mode Musical est agréable mais bien moins informatif. Aucun des trois ne remplace un lecteur d'écran ni un texte alternatif ; ils ajoutent une façon de percevoir la forme et la disposition par l'oreille.