Image en son — Sonifier les pixels en musique ou spectrogramme

La plupart des outils "image to music" populaires aujourd'hui (InsMelo, Mubert, Suno, Artlist) génèrent des chansons complètes à partir de ta photo grâce à l'IA — ils analysent l'ambiance et la palette et composent une piste avec mélodie et batterie. Cet outil fait au contraire de la sonification scientifique : il mappe les données des pixels directement au son. Le mode Musical ajoute une gamme musicale pour que le résultat sonne musical, mais c'est toujours une transformation 1:1 de ton image, pas une chanson composée. Pour de la musique composée par IA, cherche des outils étiquetés "AI music from image" ou "photo to song with AI".

Le mode Musical prend le pixel le plus brillant de chaque tranche temporelle et mappe sa position verticale à une note de la gamme choisie (pentatonique mineure, majeure, mineure, chromatique). Le résultat est mélodique et agréable à écouter. Le mode Raw fait de la synthèse additive : chaque pixel de chaque colonne devient un partiel sinusoïdal dont la fréquence dépend de la ligne et le volume de la luminosité. L'audio est littéralement le spectrogramme de ton image — rude et drone-like, mais c'est l'approche classique de sonification utilisée dans des outils comme vOICe (navigation pour aveugles) et Photosounder.

L'image est balayée de gauche à droite (axe du temps). Pour chaque colonne, les pixels sont mappés de bas en haut sur une plage logarithmique de fréquences (200–4000 Hz). La luminosité du pixel contrôle le volume de cette fréquence — les pixels lumineux sont forts, les sombres silencieux. La couleur influence le type d'onde : chaud = dent de scie, froid = sinusoïdal, neutre = triangulaire.

En mode Musical, toute image avec un contraste clair et quelques formes brillantes distinctes produira une mélodie reconnaissable — essaie des visages, des objets simples ou du texte. En mode Raw, les motifs simples à fort contraste (formes géométriques, texte, lignes diagonales, dégradés) produisent les sons de spectrogramme les plus distinctifs. Les images très sombres ou très uniformes produisent peu de son dans les deux modes.

Oui. La sonification d'image peut transmettre une information visuelle par le son — par exemple si une image contient des zones brillantes, des motifs ou des régions distinctes. Le mode Raw est l'approche standard utilisée par les outils d'accessibilité comme vOICe. Le mode Musical est moins informatif mais plus agréable pour une écoute quotidienne. Aucun ne remplace les lecteurs d'écran ou le texte alternatif, mais les deux offrent un moyen supplémentaire de percevoir du contenu visuel par le son.