Mesmo os Principais Modelos de Linguagem São Propensos a Transcrições ‘Interpretativas’

Pesquisa nova da Amazon descobre que quanto mais inteligente o modelo, mais provável é que ele ‘se torne criativo’ quando solicitado a realizar Reconhecimento Óptico de Caracteres.

Reconhecimento Óptico de Caracteres (OCR) é considerado um problema largamente resolvido. Se você digitalizar algum texto ou apresentar uma foto do texto ao sistema OCR, ele realiza uma individuação elaborada de cada letra, fazendo a melhor suposição que pode em uma base por letra:

Topo esquerdo, a zonação de loci característicos em uma letra identificada segmentada (fonte); imagem principal: resultado de segmentação para um repositório institucional (Fonte).

OCR interpreta caracteres individualmente; esses caracteres, em proximidade suficiente, podem ou não constituir palavras ou outras construções linguísticas. OCR não se importa; uma vez que essas questões surgem, ele já está fora e pronto para o próximo trabalho, porque a verificação ortográfica não está dentro de sua competência.

Um dos sistemas OCR mais populares é o venerável Tesseract, um intérprete estritamente algorítmico, amplamente utilizado em uma variedade de aplicações e fluxos de trabalho de código aberto. Com uma ampla gama de complementos OCR algorítmicos “planos” disponíveis em todos os sistemas operacionais, a capacidade de converter texto de imagem de volta para texto editável alcançou o status de uma commodity gratuita – mesmo que nenhum sistema esteja sem falhas ou peculiaridades.

Além disso, para permanecer relevante, organizações e produtos comerciais tradicionalmente competindo no espaço de OCR algorítmico adaptaram seus sistemas legados em sistemas de gerenciamento de documentos auxiliados por IA. No entanto, a tecnologia central – expelindo grupos estimados de letras segmentadas e identificadas – permanece inalterada.

Palavra

Juntamente com uma variedade de tarefas, OCR está sendo cada vez mais tratado pela nova geração de Modelos de Linguagem de Visão (VLMs); confrontado com texto não editável ou rasterizado, versões agênticas desses sistemas mais recentes podem ler e transliterar habilmente, se necessário.

Entretanto, de acordo com um novo artigo de pesquisa da Amazon.com, aqueles que acreditam que a IA replicará exatamente a mesma função que o OCR podem estar em para uma surpresa: o novo estudo descobriu que o seu modelo de linguagem favorito provavelmente “irá além” na transcrição, independentemente de você querer ou não; excedendo o contexto por letra em contexto por palavra – e corrigindo quaisquer “erros” que encontra, de maneiras que poderiam ter consequências indesejadas para áreas como jurídica, médica e transliteração histórica.

Os autores afirmam:

‘Modelos de Linguagem de Visão (VLMs) estão sendo cada vez mais utilizados no lugar de pipelines OCR tradicionais para compreensão de documentos.

‘[Nós] mostramos que eles não sempre agem como transcritores fiéis: quando o texto é imperfeito, eles frequentemente tendem a reescrevê-lo em uma forma mais plausível – um comportamento que benchmarks de OCR de texto limpo não podem detectar.’

Os autores introduzem um conjunto de dados curados e uma referência volumosa intitulada FaithC4, que testaram em uma seleção de 15 modelos de código aberto e de código fechado, incluindo versões do ChatGPT e do Google Gemini.

Eles descobriram que modelos de IA de propósito geral eram muito mais propensos do que sistemas OCR tradicionais a substituir palavras imperfeitas por palavras mais “plausíveis”, às vezes reescrevendo quase 65% de palavras embaralhadas, enquanto erros locais pequenos também causavam erros em outros lugares do texto que de outra forma era preciso.

Palavras curtas eram especialmente vulneráveis, e instruções explícitas não para fazer correções reduziram o problema, embora não o eliminem.

O artigo afirma*:

‘Embora o comportamento de reescrita possa ser benéfico para recuperar alguns erros genuínos, ele pode ser problemático para alguns domínios que podem exigir transcrição literal, como documentos legais, registros médicos e manuscritos históricos.

‘Apesar de sua importância, esse comportamento de reescrita foi amplamente negligenciado na pesquisa de VLM. As referências de OCR existentes OCR benchmarks se concentram no reconhecimento de texto limpo e, portanto, são insuficientes para investigar como os modelos podem lidar com entradas imperfeitas.’

A mensagem central é que sistemas de IA mais avançados lutam para não corrigir erros que plataformas OCR algorítmicas podem facilmente ser configuradas para entregar “brutas”; em muitos casos, a interpretação humana é essencial para resolver o problema; mas se uma “correção” incorreta já foi aplicada, o problema tenderá a passar despercebido pela maioria dos sistemas de verificação.

O novo artigo é intitulado Os VLMs Leem ou Reescrevem? Sobre a Fidelidade da Transcrição em Modelos de Linguagem de Visão, e vem de cinco pesquisadores da Amazon.com.

Dados e Método

Para popularizar seu conjunto de dados de referência, os autores se basearam no Corpus de Crawled Limpo Colossal – também conhecido como C4 – uma coleção de web-crawled em escala hiperscale de 2020. A partir desse corpus, 1.455 documentos de página única foram selecionados em inglês, chinês e coreano, com cada passagem dimensionada para caber em uma página renderizada.

O conjunto de dados de referência final contém 500 documentos em inglês, 500 documentos em chinês e 455 documentos em coreano, fornecendo um teste multilíngue para medir se os sistemas de IA copiam o texto fielmente ou de alguma forma o reescrevem.

Para testar se os modelos de IA copiariam fielmente o que viam, erros controlados foram introduzidos nos documentos antes que fossem renderizados como imagens, com cerca de 8% das palavras elegíveis alteradas, cada uma contendo pelo menos quatro caracteres. Versões não alteradas desses foram usadas como verdade fundamentada.

Três variantes de perturbação foram aplicadas então: embaralhar embaralhou as letras internas das palavras, preservando as primeiras e últimas letras; aleatório substituiu cada caractere por um caractere aleatório do mesmo sistema de escrita; e visual substituiu caracteres visualmente semelhantes que permaneciam plausíveis para o olho, enquanto alterava o texto subjacente.

A variante chinesa omitiu a embaralhar condição porque seu sistema de escrita não tem palavras delimitadas por espaços, em vez disso, usou janelas de quatro caracteres fixas para as outras perturbações; além disso, a menor longitude média de palavras coreanas significou que menos palavras se qualificavam para modificação.

Cada documento foi então renderizado como uma página de PDF e passado para os sistemas de transcrição concorrentes.

Testes

Os testes para o estudo cobriram tanto modelos de propósito geral de código fechado, nomeadamente GPT-5.4-mini; Gemini-3-Flash; e Gemini-2.5-Flash; e modelos de código aberto, compreendendo os modelos de propósito geral Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; e Gemma4-E2B.

Além disso, modelos OCR especializados foram incluídos, compreendendo olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; e LightOnOCR-2-1B. Finalmente, os motores OCR tradicionais Tesseract e docTR também foram testados.

Os três grupos dependem da linguagem em diferentes graus: modelos de IA de propósito geral se baseiam fortemente no conhecimento linguístico amplo adquirido durante o pré-treinamento; modelos OCR especializados colocam maior ênfase na transcrição fiel de documentos por meio de treinamento específico da tarefa; e sistemas OCR tradicionais se baseiam no reconhecimento de caracteres, em vez de inferência linguística.

Dois métricas foram adotadas, começando com Word Error Rate (WER), a métrica OCR padrão para determinar quantas palavras completas um sistema transcreveu incorretamente. Em vez de simplesmente contar caracteres errados, WER registra substituições, exclusões e inserções em relação ao texto original, tornando-o sensível tanto a palavras incorretas quanto a palavras que foram omitidas ou adicionadas.

Para o chinês, onde as palavras não são separadas por espaços, a mesma abordagem foi aplicada no nível de caractere, como Character Error Rate (CER).

Para capturar erros mais sutis, a métrica Edit Distance Similarity (EDS) também foi usada. EDS compara o texto previsto com o original no nível de caractere e – ao contrário do WER – pode distinguir entre uma palavra que está completamente errada e uma que difere apenas por um ou dois caracteres. Naturalmente, isso a torna útil para detectar quase-erros, bem como reescritas parciais que poderiam parecer semelhantes.

Como mostrado no gráfico abaixo, os sistemas OCR tradicionais provaram ser os mais resistentes a todos os três tipos de perturbação, com pouca perda de precisão porque eles reconhecem principalmente caracteres individuais em vez de tentar inferir palavras do contexto:

Alterações na Taxa de Erro de Palavra (à esquerda) e na Semelhança de Distância de Edição (à direita) em inglês, chinês e coreano após a aplicação dos três métodos de perturbação de texto. Os sistemas OCR tradicionais mostraram a menor degradação de desempenho geral, os modelos OCR especializados ocuparam o meio do caminho, enquanto os modelos de IA de propósito geral foram afetados pelos textos corrompidos. Fonte

Modelos OCR especializados ocuparam o meio do caminho; MinerU e LightOn permaneceram relativamente robustos; e olmOCR e DeepSeek-OCR mostraram maior sensibilidade a textos corrompidos, indicando que o treinamento específico do documento reduziu, mas não eliminou, a tendência de reinterpretar o que estava sendo lido.

Modelos de IA de propósito geral apresentaram o pior desempenho geral, exibindo o maior aumento nos erros de transcrição quando confrontados com textos perturbados. A maioria sofreu uma degradação substancialmente maior do que os modelos OCR especializados ou os sistemas OCR tradicionais – embora o Gemini-3-Flash se destacasse como uma exceção notável, apresentando um desempenho mais semelhante ao de um sistema OCR convencional.

No geral, a classificação se alinhou estreitamente com o grau em que cada modelo dependia do conhecimento linguístico, com fortes priors linguísticos correspondendo a uma maior tendência a reescrever em vez de simplesmente transcrever o texto.

Uma quebra de tipos de erros, mostrada na tabela abaixo, indica que os sistemas OCR tradicionais produziram principalmente erros de transcrição convencionais, como substituições, inserções e exclusões:

Resultados do teste de perturbação ‘Embaralhar’ em inglês, mostrando como cada sistema de transcrição distribuiu seus erros em reescritas exatas, transcrições de quase-acerto (‘Próximo’), erros de transcrição mais substanciais (‘Moderado’) e saídas incorretas (‘Errado’). Os modelos são ordenados por sua taxa de reescrita de palavras corrompidas.

Inversamente, os modelos de IA de propósito geral foram muito mais propensos a substituir palavras corrompidas por alternativas plausíveis, preservando a sentença circundante, fornecendo fortes evidências de que eles não estavam simplesmente lendo mal o texto danificado, mas ativamente reescrevendo-o usando o contexto linguístico.

O estudo também descobriu que os erros de transcrição não permaneceram confinados às palavras corrompidas:

Resultados da análise de propagação de erros, mostrando as taxas de erro por palavra em palavras perturbadas e não perturbadas após cada tipo de perturbação. Alterar cerca de 4,7% das palavras causou erros de transcrição a se espalharem para o texto não modificado circundante em muitos modelos.

Como mostrado na tabela de resultados acima e no gráfico abaixo, alterar cerca de 4,7% das palavras em um documento em inglês aumentou substancialmente as taxas de erro em texto não modificado circundante:

Resultados adicionais da análise de propagação de erros, mostrando o aumento nos erros de transcrição em palavras perturbadas e não perturbadas após cada tipo de perturbação. Os modelos de IA de propósito geral exibiram a maior amplificação de erros, com erros frequentemente se espalhando além das palavras originalmente corrompidas.

Modelos de IA de propósito geral foram os mais afetados, com taxas de erro em palavras não tocadas aumentando em até dez vezes em relação à linha de base. Inversamente, os sistemas OCR tradicionais mostraram apenas aumentos modestos. Modelos que reescreveram a maior proporção de palavras corrompidas também exibiram a propagação de erros mais forte, sugerindo que ambos os comportamentos derivam da mesma dependência subjacente do contexto linguístico.

Na prática, isso significa que uma pequena quantidade de texto danificado pode comprometer a precisão de um documento que de outra forma é intacto, tornando as pontuações de benchmark de OCR limpo uma guia não confiável para a fidelidade de transcrição no mundo real.

Finalmente, os autores também examinaram se o comprimento da palavra influenciou o comportamento de reescrita, descobrindo que palavras mais curtas eram substancialmente mais vulneráveis do que as mais longas.

Porque elas contêm menos pistas visuais, palavras breves parecem encorajar os VLMs a confiar mais pesadamente no conhecimento linguístico contextual – aumentando a probabilidade de que o texto danificado seja silenciosamente substituído por uma alternativa plausível, em vez de ser transcrito literalmente (o que poderia causar um alerta útil para a supervisão humana).

Os autores também descobriram que, embora instruções explícitas não para corrigir erros reduzissem essa tendência, elas não a eliminavam. Isso pareceria indicar que a transcrição interpretativa é uma característica inerente dos VLMs atuais, em vez de um comportamento que possa ser suprimido de forma confiável por meio de prompts.

Os autores concluiram:

‘Para aplicações que exigem transcrição literal, como processamento de documentos legais, digitalização de manuscritos históricos e perícia, os sistemas OCR tradicionais ou os VLMs OCR especializados cuidadosamente selecionados permanecem a escolha mais segura, enquanto os VLMs de propósito geral introduzem reescrita sistemática que os benchmarks de texto limpo não capturam.’

Conclusão

Este estudo reitera o que está se tornando uma linha repetitiva na literatura de LLM: que, embora os modelos de linguagem treinados sejam extremamente poderosos, eles também são resistentes a instruções críticas – neste caso, Leia e parse as letras que você encontra na imagem.

Os modelos mais avançados simplesmente não conseguem fazer isso, parece – como se considerassem isso ‘trabalho braçal’, ou estivessem irracionalmente compelidos a concluir uma ‘tarefa meio feita’.

* Minha conversão das citações inline dos autores para links.

Publicado pela primeira vez na segunda-feira, 27 de julho de 2026