O ponto crucial: agentes corporativos não entendem os destaques

Há muitos documentos importantes em papel que não foram digitalizados no mundo, especialmente no meio empresarial. Estima-se que apenas 1% dos quatro bilhões de documentos em papel que circulam no comércio global a cada ano sejam digitalizados, deixando os demais fora do alcance das capacidades analíticas do aprendizado de máquina.

Essa é apenas uma avaliação aproximada do problema no setor empresarial; os governos também produzem uma quantidade enorme de material impresso ou encadernado em papel, e o Arquivo Nacional dos EUA informou neste ano que apenas 4,04% dos documentos analógicos que mantém foram digitalizados, restando 11,97 bilhões por digitalizar.

Portanto, trata-se de um problema contínuo, e não de um legado do passado, e confesso que também faço parte dele:

Aquilo diante de que passo a maior parte dos meus dias.

Quando analiso documentos, imprimo-os, porque eles exigem bastante interpretação humana, além de síntese automática. Como o tempo é escasso, rabisco grandes marcações nos trechos principais e nas possíveis citações, para que a estrutura dos dados salte aos olhos quando chega a hora de escrever. Como não tenho TOC a ponto de me dar ao trabalho de usar marca-textos, indico os destaques adicionais com símbolos variados, letras maiores e outros sinais de importância muito pessoais.

Mas muitas pessoas, entre elas muitas pessoas importantes que escrevem coisas importantes, usam marca-textos coloridos e cores diferentes de texto para destacar informações.

Winston Churchill usava canetas de cores diferentes para destacar coisas diferentes. Aqui, durante a preparação de seu discurso da “hora mais gloriosa”, parece estar usando o vermelho como código de correção. Fonte

Segundo o próprio documento mostrado na foto anterior (aquele sobre o púlpito preto), pode haver centenas de milhões de documentos que contêm uma camada desses destaques, invisível para sistemas de ingestão de documentos como o Docling.

Esses destaques manuais são importantes: dão peso ao texto de uma maneira que não necessariamente se reflete em sua construção linguística. Portanto, reduzir o conteúdo de uma página destacada a mero texto por meio de OCR (ou de métodos mais avançados, como modelos de visão e linguagem (VLMs)) não transmite toda a intenção do autor e pode até representar incorretamente os objetivos e as intenções do documento.

Só os destaques

O novo artigo* conclui que conversores de documentos amplamente utilizados costumam descartar destaques e cores de texto, impedindo que agentes de IA identifiquem instruções importantes. Dos 6.462 documentos normativos examinados nos testes do estudo, quase um terço continha texto ou destaques em vermelho, e cerca de um em cada dez usava essas marcações para chamar a atenção para requisitos importantes.

Sobre agentes de ingestão de documentos corporativos, os autores^† afirmam^††:

“Conversores maduros recuperam fielmente o texto, as tabelas e a estrutura, de modo que o fluxo de processamento parece estar funcionando bem.

“Mostramos que todos eles perdem uma camada — o significado que um autor codifica na maneira como o texto aparenta— e que essa perda faz com que os agentes errem com confiança, em vez de parecerem visivelmente incompletos, o que torna essa falha mais difícil de detectar na implantação.”

No teste dos autores, quando os modelos de IA foram solicitados a identificar requisitos importantes em documentos normativos reais, tiveram um desempenho muito melhor quando os destaques e as cores de texto originais foram preservados — uma conclusão confirmada em seis modelos, entre eles GPT-5.6 Terra, Claude Opus 5 e Claude Sonnet 5.

Na prática, é possível extrair dois sinais dos destaques: a) o fato de algo ter sido destacado e b) a cor usada no destaque. Quando várias cores são usadas para destacar trechos manualmente, uma regra lógica atribuiria ao vermelho o sentido de algo negativo (como vimos antes nas correções que Winston Churchill fazia nos próprios discursos):

Na parte inferior desta saída JSON do analisador da primeira etapa dos autores, vemos que o fluxo de processamento detectou e codificou os destaques em vermelho e, logicamente, podemos ver que as palavras correspondem ao nível de intensidade codificado. No entanto, o método é mais útil quando o destaque é aplicado a palavras que, por si só, não intensificam tanto o tom e quando, portanto, ele acrescenta uma ênfase que estava faltando. Fonte

Os autores sugerem que os pipelines existentes podem resolver o problema de forma bastante simples, preservando o realce e as cores do texto originais durante a conversão do documento e adicionando rótulos que expliquem sua importância ao modelo de IA. Embora isso não exija processamento adicional de IA, o número de tokens necessários para representar cada documento praticamente dobra:

‘Recuperar esses sinais é determinístico, requer apenas código e não custa chamadas ao LLM; todo o efeito relatado aqui decorre apenas da análise sintática. Isso, porém, custa tokens — cerca do dobro do texto simples —, portanto é uma troca deliberada de orçamento de contexto por fidelidade factual, não uma vantagem sem custo.’

Indiferença ao negrito

Um aspecto interessante do estudo é até que ponto os meios de ênfase existentes em documentos digitais digitados são, aparentemente, ineficazes devido ao uso excessivo^††:

‘Todo o efeito [i.e., of the new pipeline] é produzido pelo realce [and] [colour]. Negrito, itálico, fonte monoespaçada e tachado não contribuem em nada [measurable], com intervalos de confiança que incluem zero.

‘Isso não ocorre porque esses sinais estejam ausentes: um único documento contém mais de mil marcadores de negrito. O problema é que eles são comuns demais para serem informativos.

‘Um autor que coloca em negrito todos os títulos e termos definidos não destaca nada com isso, enquanto colorir ou realçar um requisito é um ato deliberado e parcimonioso. A classificação dos sinais só é útil quando eles são raros o bastante para indicar intenção.’

Tarefas e testes

Para estabelecer o sistema, os autores analisaram 6.462 documentos reais de políticas, em formato .docx, provenientes de um corpus público não especificado, procurando texto vermelho e realces, sem fazer suposições com base na redação. Em seguida, pediram aos modelos que identificassem os requisitos marcados como especialmente importantes e deixassem de lado os que não estavam marcados, usando o seguinte comando principal:

‘Liste todos os requisitos deste documento que o autor destacou para receber atenção especial ou prioridade elevada.’

Para o teste principal, foram selecionados 84 documentos, com 332 requisitos marcados e 4.192 não marcados (isto é, requisitos sem texto vermelho ou realce colorido). Cada documento precisava conter pelo menos um requisito marcado e três não marcados, para que a IA não pudesse simplesmente listar tudo.

A referência de verdade foi estabelecida diretamente com base na formatação dos documentos, e não por avaliação humana ou por outro modelo de IA. O desempenho foi medido usando as pontuações de precisão, revocação e F1, levando em conta tanto os requisitos identificados corretamente quanto os falsos positivos, em que requisitos não marcados eram incluídos por engano.

A pontuação foi calculada de forma programática, sem a participação de um avaliador baseado em LLM. Para que uma resposta fosse considerada correspondente, ela precisava conter pelo menos quatro palavras de conteúdo consecutivas do requisito original, o que ajudava a evitar que requisitos semelhantes, mas diferentes, fossem considerados corretos.

Ablação dos realces

Foi realizado outro teste para verificar se os requisitos importantes poderiam ser identificados apenas pela redação, sem realces ou cores. Um classificador treinado com exemplos e baseado apenas em texto obteve uma pontuação de ROC AUC de 0,664 (sendo que 0,5 representa uma tentativa de adivinhação aleatória).

Métodos mais simples não tiveram desempenho superior ao acaso: o uso de palavras que sugeriam urgência como pistas resultou em uma pontuação de 0,508, enquanto o comprimento das frases produziu uma pontuação de 0,492. Esses resultados sugerem que é possível deduzir muito pouco sobre o que o autor que aplicou os realces pretendia apenas pela redação.

Isso faz sentido: presumivelmente, se a linguagem tivesse sido suficientemente enfática, o autor não teria sentido a necessidade de acrescentar qualquer ênfase posterior.

Métodos comparados

As abordagens comparadas incluíram o próprio analisador dos autores, OURS; OURS com funções de saliência; OURS com marcação não tipada; docx2python; Docling; e conversão para texto simples.

Foram usados os mesmos documentos e perguntas em cada abordagem, alterando-se apenas a forma de converter os documentos. A comparação principal abrangeu 76 documentos, e cada teste foi repetido três vezes:

Resultados de testes que comparam seis métodos para identificar requisitos marcados como «importantes» em documentos do Word. A seção superior apresenta os resultados de 76 documentos, testados três vezes. A seção inferior apresenta um teste de confirmação separado, com 79 documentos e seis repetições. Pontuações F1 mais altas indicam melhor desempenho; taxas menores de falsos positivos indicam que menos requisitos não marcados foram selecionados incorretamente. Diferenças estatisticamente significativas são mostradas em negrito.

Como mostrado acima, o melhor resultado geral de F1, 0,690, foi alcançado pelo sistema dos autores, em comparação com 0,586 do docx2python, 0,150 do Docling e apenas 0,075 do texto simples (a métrica F1 combina precisão e revocação em uma única medida de acurácia, na qual 1,0 representa um resultado perfeito).

A importância de preservar a formatação também ficou demonstrada pelos resultados de falsos positivos: com o Docling, requisitos sem marcação foram selecionados incorretamente a uma taxa quase quatro vezes maior do que a registrada pelo sistema dos autores (4,3% contra 1,1%).

Um teste separado avaliou se os modelos de IA se beneficiavam de uma explicação sobre o significado da formatação, em vez de simplesmente verem as cores e os realces originais. Constatou-se uma melhora pequena, mas estatisticamente significativa, quando esses rótulos adicionais eram fornecidos. No entanto, a maior parte do benefício já havia sido obtida com a preservação da própria formatação.

Pressão externa

Os pesquisadores realizaram uma avaliação adicional usando o Benchmark de Compreensão do Office (OCB), da Microsoft, que mede a precisão com que informações podem ser recuperadas de documentos do Office.

Foram extraídas 326 perguntas de 59 documentos do Word, abrangendo formatação, tabelas, hiperlinks, comentários e notas de rodapé. Tanto as perguntas quanto os critérios de avaliação foram fornecidos pela Microsoft, de forma independente do estudo:

Resultados da comparação entre cinco métodos de conversão de documentos no Benchmark de Compreensão do Office, da Microsoft, com 326 perguntas distribuídas por 59 documentos do Word. As pontuações variam de 0 a 1; quanto mais altas, melhor o desempenho. A melhor pontuação de cada categoria está em negrito. As linhas finais resumem o desempenho geral e a significância estatística. Neste caso, o sistema dos autores obteve a maior pontuação geral, embora o docx2python tenha tido melhor desempenho no reconhecimento de realces.

Como mostrado acima, o sistema dos autores alcançou uma excelente pontuação geral de 0,959, em comparação com a boa pontuação de 0,810 do docx2python, a moderada de 0,720 do Docling e a relativamente baixa de 0,634 do texto simples.

O novo sistema obteve pontuação perfeita em metadados, comentários e notas de rodapé, enquanto todos os métodos concorrentes receberam zero — embora essas melhorias não se devessem exclusivamente à preservação dos realces e das cores do texto. O sistema dos autores também se mostrou melhor na recuperação de informações de tabelas, layouts de documentos, fontes e hiperlinks.

Conclusão

Recentemente, tentei, sem muito sucesso, descobrir se seria possível automatizar com LLMs e/ou Python o destaque manual que fiz em tabelas e figuras de um artigo científico em PDF, e os resultados foram… bem, hilários. Estratificar, quantificar e analisar artigos científicos já é uma vertente bastante explorada na literatura, e não há muito espaço — nem esperança — para o amador casual.

Quanto a este artigo, a conquista dos autores foi identificar um indicador significativo de ênfase que se perdia na tradução. No entanto, dobrar o consumo de tokens é um custo nada trivial, sobretudo na escala em que as camadas de OCR e ingestão de documentos precisam operar. Portanto, acho que o mérito aqui está em ter identificado o problema.

* Intitulado “O que o autor escreveu, o que o agente lê: perda silenciosa de pistas na ingestão de documentos empresariais”.

^† Tudo da Amazon.

^†† Destaques dos autores, não meus, embora eu converta rotineiramente as citações no corpo do texto dos autores em hiperlinks.

Publicado originalmente na sexta-feira, 30 de outubro de 2026