사진 번역기: 카메라로도, 파일로도

«카메라로 번역»을 누르면 뷰파인더가 열립니다. 화면은 브라우저 안에서 인식되고, 번역은 글자 위에 판 모양으로 그려집니다. 한 번 처리에 WebGPU 기기에서는 약 0.13초, 일반 wasm에서는 약 0.29초가 들고 여기에 새 문장의 번역 시간이 더해집니다. 이미 본 문구는 기다림 없이 다시 나옵니다. 한 번 처리가 2.6초를 넘으면 연속 모드가 스스로 꺼지고 «화면 읽기» 버튼으로 바뀝니다. 그런 기기에서는 번역이 올라오기 전에 화면이 먼저 바뀌기 때문입니다. 자동 감지일 때 원본 언어는 처음 읽은 화면을 기준으로 한 번만 정해집니다. «장면 촬영»은 현재 화면을 저장해 평소 흐름으로 넘기고, 거기서 번역이 사진 자체에 들어갑니다.

첫 판독 전에 브라우저가 모델을 내려받습니다. 글자를 찾는 데 4.5 MB, 선택한 문자 체계에 7.5~15.8 MB가 더해집니다. 용량은 내려받기가 시작되기 전에 표시됩니다. 그 뒤로는 캐시에서 가져오므로 다음 사진은 바로 시작합니다. 다른 문자 체계로 바꾸면 새 판독기 용량만 추가됩니다 — 글자를 찾는 부분은 모두 공용입니다.

대개 글자 크기 문제입니다. 획이 두어 픽셀보다 얇으면 읽을 것이 없습니다. 더 가까이서 찍거나 해상도를 높이면 해결됩니다. 두 번째로 흔한 원인은 두 단어짜리 문구에 “자동 감지”를 쓴 경우입니다. 감지할 근거가 없으니 언어를 직접 지정하세요. 세 번째는 기울기입니다. 사십 도쯤을 넘어가면 판독이 눈에 띄게 나빠집니다.

원문이 차지하던 공간에 맞도록 글자 크기를 줄이고 줄을 나눕니다. 독일어와 러시아어는 보통 영어보다 3분의 1가량 깁니다. 너무 작아졌다면 사진 위의 문구를 누르거나 목록의 줄을 눌러 번역을 직접 줄이세요. 고치는 즉시 다시 그려집니다.

가능하며, 캡처에서 판독이 가장 정확합니다. 글꼴이 고르고 반사광도 원근도 없기 때문입니다. 메시지는 각각 별개의 조각으로 읽히므로 대화가 한 문단으로 뭉치지 않고 줄 단위로 유지됩니다.

일본어는 중국어 모델로 읽습니다. 한자는 두 언어가 공유하므로 정확하지만, 히라가나와 가타카나는 그 모델이 따로 학습하지 않아 결과가 떨어집니다. 일본어 전용 모델을 넣으면 내려받기가 약 13 MB 늘어납니다. 일본어 수요가 확인되면 추가할 예정입니다.

글자 둘레의 픽셀 고리에서 뽑아낸 색으로 덮습니다. 간판이나 문서처럼 배경이 고른 곳에서는 이음매가 보이지 않는 이유입니다. 배경이 복잡하면 채움이 가장자리로 부드럽게 흐려지고, 번역문에는 배경색의 가는 테두리가 더해져 읽기 쉬운 상태를 유지합니다. 원본은 그대로 보존되며 “원본 보기” 스위치로 손대지 않은 사진을 다시 볼 수 있습니다.

메뉴, 간판, 설명서는 짧은 텍스트 블록으로 이루어져 있어서 하나씩 번역하면 직역이 됩니다. “Grilled”와 “salmon”이 요리 이름이 아니라 따로 떨어진 두 단어가 되는 식입니다. 정밀 모드에서는 사진의 모든 텍스트 블록을 읽는 순서대로 하나의 작업으로 언어 모델에 보내고, 모델은 이를 이어지는 글로 번역합니다. 이를 위해 인식된 텍스트가 저희 서버와 모델로 전송되며(수신자는 AI 제공업체 페이지에 안내되어 있습니다), 사진 자체는 브라우저에서 인식됩니다.