Fotoğraf çevirici: kameradan veya dosyadan

"Kamerayla çevir" bir vizör açar: kare tarayıcıda tanınır ve çeviri yazıların üzerine plakalar olarak çizilir. Bir geçiş, WebGPU olan cihazda yaklaşık 0,13 sn, yalnızca wasm olan cihazda yaklaşık 0,29 sn sürer; buna yeni metinlerin çevirisi eklenir — daha önce görülen yazılar beklemeden gelir. Bir geçiş 2,6 sn’den uzun sürerse sürekli tarama kendiliğinden kapanır ve yerine "Kareyi oku" düğmesi gelir: böyle bir cihazda çeviri ulaşmadan kare değişir. Otomatik algılamada kaynak dil, okunan ilk kareden bir kez belirlenir. "Kareyi yakala" geçerli görüntüyü saklar ve çevirinin doğrudan resmin içine yerleştirildiği normal akışa aktarır.

İlk okumadan önce tarayıcı modeli indirir: metin bulma için 4,5 MB, seçilen yazı sistemi için ise 7,5–15,8 MB. Boyut, indirme başlamadan önce gösterilir. Sonrasında model önbellekten gelir ve sonraki fotoğraflar hemen başlar. Başka bir yazı sistemine geçmek yalnızca yeni tanıyıcıyı ekler — metin bulma hepsinde ortaktır.

Çoğunlukla sorun yazının boyutudur: bir çizgi birkaç pikselden inceyse okunacak bir şey kalmaz. Daha yakından çekmek veya daha yüksek çözünürlük sorunu çözer. İkinci yaygın neden, iki kelimelik bir yazıda "Otomatik algıla" seçeneğidir — algılamanın dayanacağı bir şey yoktur, bu yüzden dili elle seçin. Üçüncüsü dik açıdır: yaklaşık kırk dereceden fazla eğik metin belirgin biçimde daha kötü okunur.

Yazı, orijinalin kapladığı alana sığacak şekilde küçültülür ve satırlara bölünür — Almanca ve Rusça genellikle İngilizceden yaklaşık üçte bir daha uzun olur. Çok küçük çıktıysa çeviriyi elle kısaltın: fotoğrafın üzerindeki yazıya ya da parça listesindeki satırına dokunun — düzenleme resmi hemen yeniden çizer.

Evet, üstelik tanıma en doğru sonucu ekran görüntülerinde verir — düzgün yazı, parlama ve perspektif yok. Mesajlar ayrı parçalar olarak okunur, böylece konuşma tek bir paragrafa dönüşmez, satır satır kalır.

Japonca, Çince model tarafından okunur: ikisi kanjiyi paylaşır ve kanji doğru çıkar; hiragana ve katakana ise o model onları özel olarak görmediği için daha kötü çıkar. Özel bir Japonca model indirmeye yaklaşık 13 MB ekler; Japonca’ya talep olduğu görülürse eklenecek.

Çevresindeki piksel halkasından alınan bir renkle kapatılır; bu yüzden tabelanın veya belgenin düz arka planında birleşim görünmez. Karışık bir arka planda dolgu kenarlarına doğru yumuşatılır ve çeviri, okunaklı kalması için arka plan renginde ince bir çerçeve alır. Her iki durumda da orijinal korunur — "Orijinali göster" anahtarı dokunulmamış fotoğrafı geri getirir.

Menü, tabela veya kılavuz kısa metin bloklarından oluşur ve tek tek çevrildiğinde birebir çevrilirler: “Izgara” ve “somon” bir yemek yerine iki ayrı kelime olur. Hassas modda fotoğraftaki tüm metin blokları okuma sırasıyla tek bir görev olarak bir dil modeline gider ve model onları birbirine bağlı bir metin olarak çevirir. Bunun için tanınan metin sunucumuza ve modele gönderilir (alıcılar yapay zekâ sağlayıcıları sayfasında listelenmiştir); fotoğrafın kendisi tarayıcıda tanınır.