Por que é mais difícil entender textos gerados por IA do que você imagina

Os modelos de IA talvez estejam ficando mais difíceis de entender porque, cada vez mais, seu treinamento recompensa a resolução eficiente de problemas, em vez de explicações claras para as pessoas.

A frase acima, sem edição, foi escrita pelo ChatGPT em resposta a um pedido de resumo de um artigo científico em uma única frase, no estilo ELI5; nela, aparecem pelo menos alguns dos traços de deformação linguística explicados nesse novo estudo*. O novo trabalho conclui que esse problema afeta todos os modelos de ponta, assim como modelos próximos da fronteira e alguns modelos de pesos abertos que também foram testados.

Por exemplo, o trecho inicial “seu treinamento recompensa cada vez mais a resolução eficiente de problemas” exemplifica a tese do artigo de que, às vezes, os modelos de IA atribuem ações humanas a coisas inanimadas (já que, no exemplo acima, o “treinamento” é descrito como algo que recompensa ativamente alguma coisa).

Isso pode dificultar a compreensão rápida da expressão, pois precisamos reconhecer mentalmente essa atribuição como um recurso ilustrativo, em vez de interpretá-la literalmente (o que é bem mais simples).

O trecho final “recompensa cada vez mais a resolução eficiente de problemas” também reúne várias ideias, obrigando os leitores a entender o que está sendo recompensado, o que está sendo resolvido e o que está se tornando mais eficiente.

O artigo afirma^†:

“[Readers] recorrer à animacidade como pista durante o processamento e, sem contexto adicional, uma incompatibilidade pode provocar uma resposta P600^†† associada à reanálise.

“No entanto, reformular essas frases para evitar sujeitos inanimados talvez exigisse torná-las mais longas: por exemplo, a palavra ‘morde’ substitui ‘causa um problema’.

“Nossa hipótese é que, durante o treinamento, os modelos podem ter convergido para o uso dessas construções como formas eficientes, embora não convencionais, de expressar significados que, de outro modo, exigiriam mais tokens.”

Como assim?

Esse é o ponto central do artigo: como modelos modernos de IA, como ChatGPT, Claude e Gemini, são otimizados para vários tipos de resolução de problemas, e não especificamente para a comunicação, tendem a produzir textos muito condensados, que precisam ser decodificados.

Isso me surpreendeu, pois estou sempre tentando convencer o ChatGPT e seus semelhantes a serem menos prolixos e mais concisos — um problema que a literatura reconhece e aborda.

Em vez disso, o artigo apresenta a prolixidade como uma espécie de bomba zip que impede a compreensão fácil, mesmo em uma frase não muito longa. Portanto, ao combinar os dois problemas — o tamanho excessivo das respostas padrão e a observação do artigo sobre a compressão excessiva —, podemos imaginar que o padrão característico das respostas padrão da IA de ponta é bastante distinto (e, presumivelmente, esse estilo bastante conciso é usado, em parte, como critério por detectores de textos gerados por IA, embora o artigo não trate disso).

Os autores também examinam compostos nominais encadeados, exemplificados pela problemática expressão Esquadrão ajuda mordida de cachorro^†:

“Em inglês, os substantivos podem modificar livremente outros substantivos, funcionando como adjetivos: na expressão coffee shop, coffee modifica shop, embora normalmente apareça como substantivo. Esse recurso permite encadear vários substantivos em palavras compostas que expressam significados muito específicos.

No entanto, essas sequências podem gerar ambiguidade de estrutura, como na manchete Esquadrão ajuda vítima de mordida de cachorro, e prejudicar a leitura.”

Então, se os LLMs são prolixos por meio da compressão, eles ficam duplamente prolixos ao produzir volumes excessivos de texto comprimido em resposta a uma consulta? Isso significa que, além de haver muito texto para ler em resposta à sua consulta, o próprio texto pode conter muitos significados “implícitos” que precisam ser decodificados.

Um artigo de 2023 propôs que os LLMs podem se tornar desnecessariamente prolixos devido ao uso de avaliadores de IA durante o treinamento, já que eles costumam recompensar respostas mais longas — mesmo quando, nos testes do estudo, as pessoas preferiram respostas mais curtas.

Os autores do novo trabalho atribuem (veja a citação anterior) algumas das tendências à compressão dos modelos de ponta a uma predisposição arquitetônica para economizar tokens, uma interpretação generosa nos dias de hoje.

Vamos analisar os métodos, os dados e os testes realizados pelos autores do estudo.

Dados e métodos

Combinações incomuns de palavras (medidas por meio de n-gramas, ou sequências de palavras) foram analisadas quanto à sua imprevisibilidade; combinações raras foram associadas a maior dificuldade de leitura.

O comprimento das dependências (a distância entre palavras ligadas gramaticalmente) também foi medido, pois distâncias maiores exigem mais da memória de trabalho — sobretudo quando o sujeito e o verbo são separados por várias palavras intervenientes.

As orações relativas de objeto (construções como “a casa que os empreiteiros construíram”) foram analisadas, especialmente quando palavras opcionais eram omitidas (como “que” em “a casa que os empreiteiros construíram”).

Os já mencionados compostos nominais encadeados (três ou mais substantivos unidos, como em “gerador de trilhas sonoras para filmes de terror”) também foram investigados, pois as relações entre as palavras que os compõem podem ser ambíguas.

Os verbos denominais (substantivos usados como verbos, como “garfeie-o” em vez de “coloque-o no garfo”) foram analisados, assim como os sujeitos inanimados associados a verbos normalmente ligados a seres vivos (como mencionado anteriormente). Ambas as construções permitem condensar significados em menos palavras, mas podem exigir interpretação adicional por parte dos leitores.

Os concorrentes

Os pesquisadores reuniram conversas geradas por IA de 14 modelos: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 e Fable 5; GPT-5.6 Luna, Terra e Sol; Olmo Base, Instruct e Think; e Llama Base and Instruct.

Os testes incluíram dez prompts iniciais para conversas gerais e cinco para programação. Em cada tarefa, o modelo precisava clonar um repositório público real do GitHub, encontrar erros e corrigi-los em um ambiente isolado.

As conversas foram limitadas a 12 turnos, enquanto as sessões de programação foram limitadas a 11, seguidas de uma mensagem final predefinida. Em um teste separado, pediu-se a cada modelo que escrevesse sete redações com base em propostas do conjunto de dados PERSUADE 2.0.

Para comparação, foram selecionados textos escritos por humanos em fontes que correspondiam, tanto quanto possível, aos três tipos de conteúdo gerado por IA: OpenSubtitles (uma coleção de legendas de filmes e programas de televisão, sem relação com a plataforma de legendas de código aberto) foi usada para conversas gerais; o StackExchange (rede on-line de fóruns de perguntas e respostas), para discussões sobre programação; e redações de estudantes do conjunto de dados PERSUADE 2.0 mencionado anteriormente, para as tarefas de escrita. A Wikipédia também foi usada como fonte adicional de comparação.

Quando havia dados humanos adequados disponíveis, as mesmas características linguísticas eram medidas em textos escritos por humanos e em textos gerados por IA. Esses conjuntos de referência também foram usados para avaliar a frequência das combinações de palavras.

A tradução de ida e volta (do inglês para o japonês e novamente para o inglês, usando o modelo NLLB-200) foi empregada para distinguir preferências estilísticas de necessidades linguísticas. O significado foi, em grande parte, preservado, enquanto a estrutura das frases foi alterada, permitindo identificar formulações desnecessariamente complexas.

Resultados

Experimento 1

Como mostrado abaixo, várias construções difíceis foram encontradas com maior frequência nos textos originais gerados por IA, sobretudo nos modelos de ponta. Isso foi interpretado como evidência de uma preferência por formulações desnecessariamente complexas:

Comparação entre textos originais gerados por IA e versões traduzidas para o japonês e novamente para o inglês. Os pontos verdes mostram padrões linguísticos mais frequentes nos textos originais; os pontos rosas, padrões mais frequentes após a tradução. Em geral, as diferenças foram maiores nos modelos GPT e Claude. Fonte

As seis características linguísticas foram comparadas em 14 modelos de IA, em três contextos (conversa, programação e redação). Foram testados 12 modelos em conversas, nove em programação e os 14 em redação:

Comparação de seis características linguísticas entre modelos de IA em conversas, programação e redação. Cada losango representa o resultado agregado de um modelo; as barras horizontais mostram os intervalos de confiança de 95%. As linhas verticais tracejadas indicam os valores de referência de textos escritos por humanos: OpenSubtitles (conversas), StackExchange (programação) e redações de estudantes do PERSUADE 2.0 (redação). As linhas pontilhadas indicam as comparações com a Wikipédia. Valores mais altos geralmente indicam uso mais frequente da construção medida ou maior complexidade linguística. Consulte o artigo original para ver uma versão com melhor resolução.

O texto originalmente gerado por IA também foi comparado com suas versões retraduzidas, o que permitiu medir as diferenças na estrutura das frases:

Comparação entre o texto originalmente gerado por IA (losangos preenchidos) e as versões traduzidas para o japonês e depois novamente para o inglês usando o NLLB-200 (círculos vazios). As linhas rosas indicam características usadas com mais frequência após a tradução; as linhas verdes indicam características usadas com mais frequência nos originais. Os asteriscos indicam significância estatística (um, dois ou três asteriscos representam evidências estatísticas cada vez mais fortes). A tradução reduziu a maioria das construções associadas à dificuldade de leitura, sobretudo nos modelos de fronteira. Consulte o artigo original para ver uma versão com melhor resolução.

Observou-se que os modelos de fronteira e quase de fronteira usavam em excesso combinações incomuns de palavras, verbos denominais, sujeitos inanimados e orações relativas de objeto com palavras opcionais omitidas (veja o gráfico acima). Essas tendências eram, em geral, menos acentuadas no Llama e no Olmo Base, mas mais pronunciadas no Olmo Think.

As diferenças observadas na redação de ensaios foram menores do que as encontradas em conversas ou na programação. Isso foi atribuído ao fato de os ensaios se basearem em um único comando, enquanto conversas prolongadas, com trocas sucessivas, podem favorecer maior compressão linguística.

Os autores observam:

«Os ensaios do PERSUADE apresentam mudanças menores em várias categorias após a tradução de ida e volta (medidas de n-gramas, comprimentos de dependência, substantivos em sequência e verbos denominais) do que as conversas e a [coding].»

«Nossa hipótese é que isso ocorre porque eles envolvem um único comando, ao contrário das muitas interações sucessivas em conversas e na programação. Supomos que certos padrões possam surgir em conversas longas, com muitas trocas (que podem exigir maior compressão de informações).»

As menores mudanças após a tradução foram observadas no Llama e nas versões Base e Instruct do Olmo, que também foram as que mais se aproximaram dos ensaios de estudantes no uso de combinações de palavras e verbos. Em contrapartida, observou-se que o Olmo Think se comportava mais como os modelos de fronteira. O Claude Opus 5.5 usou menos construções difíceis do que o Opus 5 em 19 de 21 comparações; em oito delas, os intervalos de confiança de 95% não se sobrepunham.

Experimento 2

O segundo experimento foi concebido para testar se uma pressão subjacente para produzir respostas mais curtas e com maior densidade de informações poderia levar os modelos a preferir construções linguísticas mais difíceis de entender para as pessoas.

Neste experimento, o Qwen2.5-1.5B-Instruct foi ajustado usando a otimização de política relativa ao grupo (GRPO), e o modelo recebeu a tarefa de transformar descrições estruturadas de eventos, formatadas em JSON, em frases em inglês.

Dois aspectos do treinamento foram ajustados: o quanto o modelo podia alterar sua escolha habitual de palavras (β) e a intensidade da penalização por produzir respostas mais longas (λ). Cada evento podia ser expresso de duas maneiras gramaticalmente válidas, com uma diferença conhecida na quantidade de tokens.

Por exemplo, «Ele nos enviou uma foto» exigia seis tokens, enquanto «Ele enviou uma foto para nós» exigia sete. Também foi usado um teste separado em que duas maneiras de dizer a mesma coisa exigiam a mesma quantidade de tokens, para verificar se as diferenças eram causadas pelo comprimento das frases.

O efeito foi testado em frases inéditas usando quatro construções encontradas durante o treinamento; duas construções não treinadas que envolviam a palavra opcional «that»; e construções não relacionadas que envolviam possessivos, quantificadores, voz passiva e orações de finalidade.

Os testes foram concebidos para determinar se a preferência por formulações mais curtas seria aprendida e se estenderia a construções nunca encontradas durante o treinamento:

O efeito de penalizar respostas mais longas durante o treinamento. Um exemplo de formulação mais curta e mais longa é apresentado em A. As preferências por construções mais curtas são medidas em B, enquanto testes com construções que não haviam sido treinadas são apresentados em C e D. A cor laranja indica treinamento sem uma restrição às mudanças em relação ao modelo original; a azul indica treinamento com essa restrição. As linhas tracejadas mostram as preferências do modelo original. Em geral, penalidades mais fortes levaram a uma preferência maior por formulações mais curtas, mesmo em construções ausentes do treinamento. Consulte o artigo original para ver uma versão em maior resolução.

À medida que a penalidade por respostas mais longas aumentava, formulações mais curtas eram escolhidas com maior frequência (como ilustrado logo acima). Sem a penalidade KL (uma restrição sobre o quanto o modelo podia se afastar de suas previsões originais de palavras), a mudança era rápida; com ela, o mesmo efeito ocorria de forma mais gradual. Sem nenhuma das duas penalidades, as preferências variavam bastante entre as execuções do treinamento, mas até mesmo uma penalidade por comprimento pequena gerava uma preferência consistente por alternativas mais curtas.

Essa preferência também foi observada em construções frasais inéditas que envolviam a palavra opcional ‘that’. A transferência para construções gramaticais mais distantes foi muito mais fraca: só se constatou um efeito nos possessivos quando a penalidade KL estava ausente.

Os autores concluem:

“Consideramos esses resultados uma prova de conceito de que uma penalidade por comprimento aplicada durante o aprendizado por reforço com GRPO pode afetar diretamente características gramaticais. ”

“Observamos que o modelo não recebeu instruções diretas para usar uma linguagem compacta ou densa, nem informações explícitas sobre a disponibilidade de alternâncias sintáticas. ”

“Em vez disso, a penalidade levou ao surgimento de uma preferência por formas mais curtas nas alternâncias sintáticas.”

Conclusão

Há algum tempo me interesso pelas âncoras — tanto involuntárias quanto intencionais — que caracterizam os textos gerados por IA. Por isso, este novo estudo lança luz sobre o aparente conflito entre a verbosidade atribuída aos LLMs e sua tendência, hoje igualmente reconhecida, de condensar informações de maneiras que parecem “fáceis de ler” simplesmente porque usam poucas palavras — mas essa é claramente a interpretação errada desse indício.

Nos LLMs, a brevidade do texto gerado pode indicar complexidade, e não uma destilação do essencial, como se a IA nos entregasse um quebra-cabeça em vez dos conceitos diretos por trás das palavras. Tudo, aparentemente, para que um único modelo possa programar e escrever.

* Intitulado “Por que a linguagem gerada por IA é tão difícil de entender?”, o artigo é de dois autores da New York University e da The University of Texas.

^† Minha conversão das citações em linha dos autores em hiperlinks.

^†† https://mikeydoes.com/glossary/p600/

Publicado pela primeira vez na segunda-feira, 26 de outubro de 2026