Foto-Übersetzer: mit Kamera oder aus einer Datei

„Mit Kamera übersetzen“ öffnet einen Sucher: das Bild wird im Browser erkannt, die Übersetzung als Plakette über die Schrift gezeichnet. Ein Durchlauf kostet auf einem Gerät mit WebGPU etwa 0,13 s und auf reinem wasm etwa 0,29 s, dazu die Übersetzung neuer Zeilen — bereits gesehene Aufschriften erscheinen ohne Wartezeit. Dauert ein Durchlauf länger als 2,6 s, schaltet sich der fortlaufende Modus selbst ab und wird durch den Knopf „Bild lesen“ ersetzt: auf einem solchen Gerät wechselt das Bild schneller, als die Übersetzung darauf erscheint. Bei automatischer Erkennung wird die Ausgangssprache einmal bestimmt, aus dem ersten gelesenen Bild. „Bild aufnehmen“ behält die aktuelle Aufnahme und übergibt sie dem normalen Weg, wo die Übersetzung in das Bild selbst gesetzt wird.

Vor dem ersten Lesen lädt der Browser das Modell: 4,5 MB für die Textsuche plus 7,5–15,8 MB für das gewählte Schriftsystem. Die Größe steht vor dem Start des Downloads. Danach kommt das Modell aus dem Cache und weitere Fotos starten sofort. Ein Wechsel des Schriftsystems kostet nur den neuen Erkenner — die Textsuche ist für alle dieselbe.

Meist liegt es an der Größe der Schrift: Ist ein Strich dünner als ein paar Pixel, gibt es nichts zu lesen. Eine nähere Aufnahme oder höhere Auflösung hilft. Die zweite häufige Ursache ist „automatisch erkennen“ bei einer Aufschrift aus zwei Wörtern — dann fehlt der Erkennung die Grundlage, wählen Sie die Sprache von Hand. Die dritte ist ein starker Winkel: Über etwa vierzig Grad Neigung wird deutlich schlechter gelesen.

Die Schrift wird verkleinert und umbrochen, damit sie auf den Platz des Originals passt — Deutsch und Russisch laufen gegenüber Englisch meist rund ein Drittel länger. Wurde es zu klein, kürzen Sie die Übersetzung von Hand: Tippen Sie die Aufschrift direkt im Foto an oder ihre Zeile in der Liste — die Änderung zeichnet sofort neu.

Ja, und bei Screenshots ist die Erkennung am genauesten — gleichmäßige Schrift, keine Spiegelungen, keine Perspektive. Nachrichten werden als getrennte Abschnitte gelesen, das Gespräch bleibt also zeilenweise erhalten.

Japanisch wird vom chinesischen Modell gelesen: Die Kanji sind gemeinsam und werden genau erkannt, Hiragana und Katakana schlechter, weil dieses Modell sie nie eigens gesehen hat. Ein eigenes japanisches Modell würde rund 13 MB zum Download hinzufügen; wird Japanisch nachgefragt, kommt es dazu.

Sie wird mit einer Farbe überdeckt, die aus dem Pixelring ringsum abgetastet wird — deshalb ist die Naht auf dem gleichmäßigen Untergrund eines Schilds oder Dokuments unsichtbar. Auf unruhigem Untergrund läuft die Füllung zu den Rändern weich aus, und die Übersetzung bekommt eine dünne Kontur in der Hintergrundfarbe. Das Original bleibt erhalten: Der Schalter „Original anzeigen“ holt die unveränderte Aufnahme zurück.

Speisekarten, Schilder und Anleitungen bestehen aus kurzen Textblöcken, und einzeln werden sie wörtlich übersetzt: Aus „Grilled“ und „salmon“ werden zwei getrennte Wörter statt eines Gerichts. Im präzisen Modus gehen alle Textblöcke des Fotos als eine Aufgabe und in Lesereihenfolge an ein Sprachmodell, das sie als zusammenhängenden Text übersetzt. Dafür wird der erkannte Text an unseren Server und an das Modell übermittelt (die Empfänger stehen auf der Seite zu den KI-Anbietern); das Foto selbst wird im Browser erkannt.