이미지를 소리로 — 소니피케이션, 스펙트로그램, vOICe

널리 쓰이는 「이미지를 음악으로」 서비스(InsMelo, Mubert, Suno, Artlist)는 AI로 사진에서 노래 한 곡을 작곡합니다. 분위기와 색감을 읽고 멜로디와 드럼이 있는 트랙을 씁니다. 여기서 하는 것은 소니피케이션입니다. 픽셀 데이터를 곧바로 소리로 옮깁니다. 멜로디 모드는 음계를 더해 음악처럼 들리게 하지만, 여전히 1:1 변환이지 작곡된 노래가 아닙니다. AI 작곡을 원한다면 「사진으로 만드는 AI 음악」 같은 도구를 찾으세요.

소스를 텍스트로 바꾸고 최대 세 줄을 입력한 뒤 WAV를 내려받으세요. 글자는 주파수에 직접 그려집니다. 파형에서는 보이지 않지만 스펙트로그램 보기에서는 바로 보입니다 — Audacity(Spectrogram 보기), Spek, Sonic Visualiser, 또는 휴대폰의 아무 스펙트럼 분석 앱. 공유를 견디는지는 한 가지 설정이 정합니다. 주파수 범위에서 「공유해도 남음」을 고르면 MP3와 AAC가 잘라내는 지점 아래의 좁은 대역에 글자를 놓기 때문에, 메신저나 동영상 사이트가 다시 인코딩해도 지워지지 않습니다. 해상도가 낮을 때는 윤곽선이 채움보다 또렷하게 읽힙니다.

멜로디는 각 시간 구간을 밝기 프로파일로 읽고 고른 음계의 음도로 접은 뒤, 두드러지는 음도를 모두 울립니다 — 한 번에 최대 여덟 개. 선율적이고, 그림이 바뀌면 소리도 바뀝니다. Raw는 가산 합성입니다. 각 픽셀이 사인 부분음이 되어 주파수는 그 행에서, 음량은 밝기에서 나옵니다. 그래서 오디오가 말 그대로 이미지의 스펙트로그램이며, 거칠고 드론 같고, 스펙트로그램 아트를 위한 모드입니다. vOICe는 같은 발상을 그 이름의 감각 대체 시스템의 정확한 규격으로 고정한 것입니다.

그래서 vOICe 모드가 있고, 실시간 카메라 스캔이 이것을 변환기가 아니라 기기로 만듭니다. 카메라를 끊임없이, 왼쪽에서 오른쪽으로, 시각장애인이 실제로 훈련하는 매핑으로 읽습니다 — 지수 축의 500–5000 Hz, 2데시벨 간격의 밝기 16단계와 완전한 침묵인 검정, 귀가 좌우를 가르도록 하는 스테레오 페이드, 그리고 매 스캔의 시작을 알리는 클릭. 헤드폰이 중요합니다. 없으면 스테레오 페이드가 사라지는데, 그것이 소리 풍경을 읽을 수 있게 하는 절반입니다. 이 가운데 어느 것도 스크린 리더나 대체 텍스트를 대신하지 않습니다. 형태와 배치를 소리로 느끼는 방법을 더할 뿐입니다.

대비가 강하고 큰 형태가 몇 개 없는 그림입니다. 멜로디 모드에서는 얼굴, 단순한 물체, 한 줄의 글자가 다시 알아볼 수 있는 선율이 됩니다. Raw에서는 기하 무늬와 대각선과 그러데이션이 가장 뚜렷한 스펙트로그램 질감을 줍니다. 소리가 곧 그림의 형태이기 때문입니다. 거의 아무것도 나오지 않는 쪽은 그 반대입니다. 아주 어두운 사진에는 울릴 밝은 영역이 없고, 균일한 사진 — 벽, 하늘, 흐린 배경 — 에는 변하는 것이 없어 결과가 웅웅거립니다. 「그림과 색」의 대비 슬라이더가 바로 이것을 위한 것이고, 화면의 프레임이 듣기 전에 그 효과를 보여 줍니다.

해상도는 행 수, 즉 주파수 해상도를 정합니다: 32, 64, 128, 192. 열 수는 고정된 격자에 그림을 욱여넣는 대신 그림의 모양을 따라가며, 화면에 보이는 프레임이 엔진이 읽는 바로 그 프레임입니다 — 치수까지 포함해서요. 행이 많을수록 스펙트로그램의 그림이 선명해지고 계산은 길어집니다. 글자와 도형에는 64로 충분하고, 사진에는 128 이상이 좋습니다.