Tradutor de fotos: pela câmera ou de um arquivo

«Traduzir pela câmera» abre um visor: o enquadramento é reconhecido no próprio navegador e a tradução é desenhada em plaquinhas sobre os textos. Uma passagem custa cerca de 0,13 s num aparelho com WebGPU e cerca de 0,29 s em wasm comum, mais a tradução das cadeias novas — textos já vistos voltam sem espera. Se uma passagem passar de 2,6 s, o modo contínuo se desliga sozinho e dá lugar ao botão «Ler a imagem»: nesse aparelho o enquadramento muda antes de a tradução chegar. Na detecção automática o idioma de origem é decidido uma vez, pelo primeiro enquadramento lido. «Capturar imagem» guarda a imagem atual e a entrega ao caminho normal, onde a tradução entra na própria foto.

Antes da primeira leitura o navegador baixa o modelo: 4,5 MB para localizar o texto mais 7,5–15,8 MB conforme a escrita escolhida. O tamanho é informado antes de a transferência começar. Depois o modelo vem do cache e as fotos seguintes começam de imediato. Mudar para outra escrita acrescenta apenas o novo leitor: a localização do texto é comum a todas.

Quase sempre é o tamanho da letra: se um traço é mais fino que dois pixels, não há o que ler. Um enquadramento mais próximo ou com mais resolução resolve. A segunda causa comum é «detectar automaticamente» numa legenda de duas palavras: a detecção não tem base, informe o idioma manualmente. A terceira é um ângulo acentuado: acima de uns quarenta graus a leitura piora bastante.

O texto é reduzido e quebrado em linhas para caber no espaço do original — alemão e russo costumam ocupar cerca de um terço a mais que o inglês. Se ficou pequeno demais, encurte a tradução à mão: toque no texto na própria foto ou na linha dele na lista de trechos — a alteração redesenha na hora.

Sim, e é nas capturas que o reconhecimento é mais preciso: tipografia uniforme, sem reflexo nem perspectiva. As mensagens são lidas como trechos separados, então o diálogo continua linha a linha.

O japonês é lido pelo modelo chinês: os kanji são comuns aos dois e saem exatos, enquanto hiragana e katakana saem pior, porque esse modelo nunca os viu especificamente. Um modelo japonês próprio acrescentaria cerca de 13 MB ao download; se o japonês tiver procura, ele será adicionado.

Ela é coberta com uma cor amostrada do anel de pixels ao redor, por isso a emenda é invisível no fundo liso de uma placa ou de um documento. Num fundo carregado o preenchimento se esfuma para as bordas e a tradução ganha um fino contorno na cor do fundo para continuar legível. O original é preservado: o botão «Ver original» traz a foto intacta de volta.

Um cardápio, uma placa ou um manual são feitos de blocos de texto curtos, e um a um eles são traduzidos ao pé da letra: “Grilled” e “salmon” viram duas palavras soltas em vez de um prato. No modo preciso, todos os blocos da foto vão para um modelo de linguagem como uma única tarefa, na ordem de leitura, e ele os traduz como um texto corrido. Para isso, o texto reconhecido é enviado ao nosso servidor e ao modelo (os destinatários estão listados na página de provedores de IA); a foto em si é reconhecida no navegador.