Перекладач по фото: з камери та з файлу

Кнопка «Переклад через камеру» відкриває видошукач: кадр розпізнається просто у браузері, а переклад малюється плашками поверх написів. Один прохід коштує близько 0,13 секунди на пристрої з WebGPU і близько 0,29 на звичайному wasm — плюс переклад нових рядків, тож уже побачені написи далі йдуть без затримки. Якщо прохід виходить довшим за 2,6 секунди, безперервний режим вимикається сам і замінюється кнопкою «Прочитати кадр»: на такому пристрої кадр встигає змінитися раніше, ніж на ньому з’явиться переклад. Мову напису в режимі «визначити автоматично» обрано один раз, за першим прочитаним кадром. Кнопка «Зняти кадр» зберігає поточне зображення і передає його звичайному шляху — там переклад вписується в саму картинку.

Перед першим читанням браузер завантажує модель: 4,5 МБ для пошуку тексту, плюс 7,5–15,8 МБ для обраної письменності. Розмір показується до початку завантаження. Після цього модель береться з кешу, і наступні фото стартують одразу. Перемикання на іншу письменність додає лише новий розпізнавач — визначення тексту спільне для всіх.

Зазвичай причина в розмірі напису: якщо штрих тонший за кілька пікселів, читати нічого. Допоможе ближчий план або вища роздільна здатність. Друга поширена причина — «визначити автоматично» на дворядковому підписі: детектору нема з чого виходити, тож вкажіть мову вручну. Третя — крутий кут: текст, нахилений більш ніж на сорок градусів, читається помітно гірше.

Шрифт масштабується і переноситься, щоб вписатися в місце, яке займав оригінал — німецька та російська зазвичай на третину довші за англійську. Якщо вийшло надто дрібно, скоротіть переклад вручну: натисніть напис просто на знімку або рядок у списку фрагментів — правка одразу перемальовує зображення.

Так, і знімки екрана — це де розпізнавання найточніше: рівний шрифт, без відблисків і перспективи. Повідомлення читаються як окремі фрагменти, тож розмова залишається рядок за рядком, а не стискається в один абзац.

Японська читається китайською моделлю: вони спільно використовують ієрогліфи, які виходять точно, тоді як хірагана та катакана розпізнаються гірше — ця модель їх спеціально не навчалася. Окрема японська модель додала б близько 13 МБ до завантаження; якщо попит на японську виявиться значним, її буде додано.

Він закривається кольором, взятим з кільця пікселів навколо нього, — тому шов непомітний на рівномірному тлі вивіски чи документа. На строкатому тлі заливка розмивається до країв, а переклад отримує тонку обводку кольором тла, щоб залишатися читабельним. Оригінал зберігається в будь-якому разі — перемикач «Показати оригінал» повертає незмінене фото.

Меню, вивіска й інструкція складаються з коротких написів, і поодинці вони перекладаються буквально: «Grilled» і «salmon» стають двома окремими словами замість страви. У точному режимі всі написи знімка йдуть мовній моделі одним завданням і в порядку читання, і вона перекладає їх як зв’язний текст. Для цього розпізнаний текст передається на сервер і моделі (одержувачі перелічені на сторінці про ШІ-провайдерів); сам знімок розпізнається в браузері.