Ângulo de Anderson
O progresso científico impulsionado pela IA está ameaçado por uma estranha obsessão

Pontos-chaveRevisores de IA mais recentes fixam-se nos apêndices, enquanto revisores humanos se…
Ver mais
- Revisores de IA mais recentes fixam-se nos apêndices, enquanto revisores humanos se concentram nas principais conclusões de um artigo.
- Os modelos de linguagem tratam cada passagem como igualmente importante, por isso não percebem quais secções realmente importam.
- O viés dos apêndices persiste em todos os métodos de acesso e produz comentários superficiais que mal ajudam os autores a melhorar.
Um novo estudo dos EUA sugere que modelos de IA que revisam artigos científicos estão desenvolvendo uma estranha obsessão pelos apêndices dos artigos, em vez de se concentrarem no texto principal, muitas vezes dando mais atenção a detalhes secundários de apoio do que às principais descobertas. À medida que os modelos de linguagem passam a ser usados cada vez mais para auxiliar ou até substituir revisores humanos, essa tendência recém-identificada parece estar se disseminando para a revisão por pares feita por humanos, podendo prejudicar o progresso da pesquisa em IA:

Do novo artigo: o aumento das críticas relacionadas aos apêndices em revisões científicas por pares feitas por humanos. Depois de permanecer abaixo de 11% por anos, a proporção chegou a 27,6% nas revisões mais recentes, após o lançamento de modelos de IA que, segundo se constatou, extraem mais da metade de suas críticas dos apêndices. As linhas tracejadas indicam os principais lançamentos de modelos. Fonte
Em um teste com 2.000 artigos científicos selecionados em quatro conferências populares, os pesquisadores do novo estudo constataram que os modelos mais recentes extraem cerca de 50% a 70% de suas críticas dos apêndices, em comparação com menos de 30% no caso do GPT-5, mais antigo.
Dois dos mais destacados modelos de IA recentes, que aparentemente estão levando até mesmo revisores humanos a se voltar para os apêndices e deixar de lado os resultados principais, mais importantes, são o GPT-6.1-Sol e o GPT-6-Astra, da OpenAI, ambos lançados em 2026.
O artigo afirma*:
‘A diferença entre as gerações é grande. No GPT-5, apenas uma pequena parcela das fragilidades está relacionada ao apêndice. Os dois modelos mais recentes, GPT-6.1-Sol e GPT-6-Astra, dependem muito mais dele, e isso ocorre em todas as conferências.
‘Isso sugere que o viés em favor do apêndice é sobretudo uma característica dos modelos mais recentes. Embora os novos modelos representem uma melhoria, seu viés em favor do apêndice aumentou. A capacidade de ler um artigo em detalhes não lhes ensinou quais partes são mais importantes.’
O estudo também constatou que essa fixação nos apêndices varia conforme os métodos usados para fornecer o artigo à IA, já que as interfaces de API, Codex e web não avaliam PDFs da mesma forma — e o Codex não lê o meio de um PDF de extensão média; se necessário, só o examina depois, em pequenos trechos. Ainda assim, constatou-se que todos os métodos favorecem o material dos apêndices.
Até recentemente, as revisões humanas e as feitas por IA não compartilhavam essa obsessão:
‘[Human] revisores tratam o corpo principal do artigo e o material suplementar de maneira muito diferente dos LLMs. Os LLMs atribuem mais de 50% de suas fragilidades a materiais relacionados aos apêndices, enquanto os humanos atribuem menos de 10%.
‘A diferença também aparece quando se analisa cada revisão individualmente. Dos 200 artigos selecionados a cada ano entre 2021 e 2024, apenas 159 receberam, no total, uma revisão humana que apontasse alguma fragilidade relacionada aos apêndices. Em contrapartida, todas as 200 revisões geradas por LLMs para a ICLR 2027 incluíram pelo menos uma crítica aos apêndices.’

Comparação das críticas relacionadas aos apêndices em revisões por pares feitas por humanos e geradas por IA. Os revisores humanos atribuíram apenas 8,4% das fragilidades identificadas ao material dos apêndices, em comparação com 62% no caso dos modelos de IA. A segunda coluna mostra as críticas referentes exclusivamente aos apêndices, sem que houvesse um problema correspondente no artigo principal.
Como mostra a tabela do teste acima, os revisores de IA tinham mais de sete vezes mais probabilidade do que os humanos de identificar fragilidades nos apêndices e mais de três vezes mais probabilidade de apontar críticas referentes apenas ao material suplementar — um indício de que alguns dos mais recentes modelos de IA de ponta estão priorizando detalhes que os revisores humanos tradicionalmente considerariam secundários em relação à principal contribuição científica de um artigo.
Por quê?
Pelo que se pode perceber — este é o primeiro estudo a identificar essa síndrome —, parte do problema é que as IAs não reconhecem, ou não aprenderam com o vasto material de treinamento a que foram expostas, que o conteúdo central de um artigo normalmente não fica no apêndice; a tendência geral de tratar todo o texto como igualmente importante faz com que ignorem o contexto do material dos apêndices, que muitas vezes não é curado e é apresentado de maneira muito mais rudimentar do que o corpo principal:
‘Os LLMs quase nunca criticam as páginas iniciais, nas quais o artigo apresenta o problema e explica por que ele é importante. Os humanos costumam contestar justamente esse enquadramento, enquanto os LLMs parecem aceitá-lo e passar aos números.
‘[Humans and LLMs] leram o apêndice de maneira muito diferente. As críticas humanas diminuem rapidamente à medida que o apêndice avança e quase desaparecem nas últimas páginas. As fragilidades dos LLMs não diminuem. Na verdade, elas atingem o auge bem depois do início do apêndice e persistem mesmo após a página 30, onde os revisores humanos quase não apontam problemas.
‘Para um LLM, um detalhe na página 25 é um alvo tão legítimo quanto a tabela principal de resultados.’
Os autores observam que a abordagem igualitária dos LLMs em relação ao texto pode tê-los levado naturalmente a se concentrar mais no material dos apêndices, pois, como mencionado acima, esse material tende a conter mais erros.
Portanto, a visão geral que extraio deste novo estudo é que, com o tempo, os LLMs passaram a se concentrar em uma seção dos novos artigos científicos onde costuma haver muitos erros ou confusões, simplesmente porque essa parte é tratada com tanta frequência pelos autores humanos como um depósito desorganizado de provas e evidências secundárias.
Por esse motivo, a IA considera cada vez mais interessantes os apêndices do que o corpo principal, altamente selecionado, porque há mais material para analisar e corrigir neles; por consequência, observa o artigo, os LLMs tendem a tratar a parte inicial do artigo como um relato factual, aceitando-a sem questionar:
‘Os humanos esperam que o corpo principal se sustente por si só e, por isso, se opõem quando seções essenciais são relegadas ao apêndice. Os LLMs quase nunca levantam essa questão.
‘Isso evidencia uma diferença fundamental: os humanos reconhecem que o corpo principal tem mais peso do que o apêndice, mas os LLMs não. ‘
Consequências e soluções
Esse foco inesperado em detalhes menores pode ter sérias implicações para a pesquisa científica assistida por IA, sobretudo se a importância das principais descobertas de um artigo for ignorada. Como essa tendência parece ter surgido apenas nos modelos mais recentes, seus efeitos a longo prazo ainda são desconhecidos.
O artigo reconhece que revisores de IA podem detectar erros importantes, mesmo quando eles estão enterrados em um apêndice. No entanto, alerta que se pode dar atenção excessiva a detalhes menores em detrimento das principais descobertas de um artigo, resultando em avaliações longas e de pouco valor prático:
‘Os revisores LLM elevam o padrão, pois não deixam nenhuma parte do artigo sem examinar. No entanto, uma avaliação eficaz também exige discernimento sobre o que é mais importante. Quando a maioria das fragilidades de uma avaliação decorre de conteúdo do apêndice sem relação com a principal contribuição, o feedback fica na superfície. Não aborda o cerne do artigo e pouco ajuda os autores a aprimorá-lo. ‘
Os autores do novo estudo, intitulado As avaliações de IA são tendenciosas em favor do apêndice, decidiram investigar essa questão depois de notar certos padrões incomuns na maneira como avaliações assistidas ou geradas por LLMs analisavam os próprios trabalhos submetidos. O código do estudo está disponível no GitHub.
Métodos e testes
Para os testes, foram selecionados quatro modelos de IA de ponta da OpenAI e da Anthropic: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; e Claude-Sonnet-5.5. Os modelos foram acessados por meio do Codex e do Claude Code, e seu comportamento na avaliação foi comparado ao acesso por API e por interface web.
Os artigos de pesquisa foram coletados em quatro importantes conferências de inteligência artificial e processamento de linguagem natural: ACL 2026; EMNLP 2026; COLM 2026; e ICLR 2027 — todas escolhidas por adotarem formatos semelhantes de submissão e avaliação, com limites rigorosos de páginas para o artigo principal, mas, em geral, sem restrições para os apêndices incluídos após as referências.
Foram examinados 2.000 artigos no total: 1.200 da ICLR 2021–2026 e 800 de quatro conferências recentes (200 selecionados de cada uma). Todos os 800 artigos recentes tinham apêndices com pelo menos 15 páginas. As submissões à ICLR 2027 já eram anônimas, enquanto os nomes dos autores, as afiliações, os endereços de e-mail e os links que permitiam identificá-los foram removidos dos artigos da ACL, da EMNLP e da COLM para impedir que os revisores de IA descobrissem quem eram os autores.
O acesso à internet foi desativado para os modelos, garantindo que as avaliações se baseassem inteiramente nos arquivos PDF fornecidos.
Primeiro, pediu-se à IA que produzisse uma avaliação no estilo da conferência em questão, abordando os pontos fortes e fracos do artigo e atribuindo-lhe uma nota geral. As instruções foram mantidas deliberadamente simples, para refletir como a IA poderia ser usada por um revisor de verdade. Em seguida, o artigo e a avaliação concluída foram devolvidos ao mesmo modelo de IA, que deveria identificar a seção do artigo a que cada crítica se referia. Isso foi determinado examinando cada crítica junto com o artigo original:

O processo de revisão em três etapas utilizado no estudo. Artigos com apêndices de pelo menos 15 páginas foram selecionados de quatro conferências e anonimizados antes de serem avaliados por modelos de IA. Em seguida, cada avaliação foi examinada junto com o artigo original, e cada crítica foi atribuída à seção a que se referia.
Ao separar essas tarefas, foi possível examinar as partes dos artigos que atraíram críticas sem que as avaliações originais fossem influenciadas por instruções adicionais.
Entre os resultados ainda não discutidos está o teste dos autores sobre onde se originam os pontos fracos das avaliações geradas por LLMs:

Comparação dos pontos em que avaliações geradas por IA identificaram fragilidades em quatro conferências. O verde representa críticas ao artigo principal; o vermelho, críticas relacionadas aos apêndices; e as áreas hachuradas indicam críticas referentes apenas aos apêndices. Em quase todos os testes, mais da metade das críticas foi atribuída ao material dos apêndices, e o viés mais acentuado foi registrado no GPT-6-Astra.
Como mostrado acima, cerca de metade ou mais das críticas feitas pelos quatro modelos de IA se baseava em material dos apêndices — um padrão observado nas quatro conferências. Algumas críticas se dirigiam exclusivamente ao apêndice, sem relação com o artigo principal, e correspondiam a 17,33% das fragilidades identificadas pelos modelos GPT, em comparação com 10,16% no caso do Claude.
Segundo o artigo, os resultados indicam que se dava atenção desproporcional ao material dos apêndices, e que detalhes relativamente pequenos às vezes eram tratados como motivos para criticar o artigo como um todo.
Foi feita uma comparação entre métodos para determinar se o viés em relação aos apêndices era afetado pela forma de acesso à IA. Usando o GPT-6-Astra, cem submissões à ICLR 2027 foram avaliadas pelo Codex, pela interface web do ChatGPT e por uma API à qual foi fornecido o PDF original ou o texto extraído.
Com o Codex, o texto foi extraído e examinado por meio de comandos; pela API, foi fornecido diretamente o PDF completo ou o texto extraído; já os documentos enviados pela interface web foram processados pelo próprio sistema (opaco) da plataforma:

Comparação das críticas relacionadas aos apêndices entre modelos de IA e métodos de acesso. À esquerda, constatou-se que o GPT-5 citava material dos apêndices com muito menos frequência do que os modelos GPT mais recentes nas quatro conferências. À direita, verificou-se que o viés persistia nas quatro formas de acesso ao GPT-6-Astra, com críticas relacionadas aos apêndices representando de 62.2% a 73.7% do total. As áreas hachuradas indicam críticas dirigidas exclusivamente aos apêndices.
Como mostrado acima, material relacionado aos apêndices foi citado em 62.2% a 73.7% das críticas nos quatro métodos, e a maior proporção foi registrada quando o texto extraído era fornecido diretamente pela API. Portanto, constatou-se que o viés persistia independentemente da forma de acesso ao modelo.
A maior parte dos outros testes já foi apresentada anteriormente no artigo; para obter mais informações, remetemos o leitor ao material de origem.
Manobras nas submissões
Assim como o tema é pessoal para os autores do novo trabalho, também é para mim, pois leio muitos artigos científicos e aprendi da maneira mais difícil as regras ocultas — e as formas de contorná-las — que determinam como os artigos são redigidos e apresentados.
A IA não é inteiramente culpada por dar atenção aos apêndices, mesmo que o faça pelos motivos errados, pois os autores muitas vezes escondem ali as “armadilhas” do artigo — fatores ou resultados que podem praticamente anular ou, então, restringir severamente as afirmações feitas no corpo principal do texto.
Os autores também não são necessariamente culpados por transferir material importante para o apêndice, pois os modelos de publicação de veículos populares, como os usados como fontes de dados no novo estudo, estabelecem limites máximos de páginas ou palavras para o corpo principal do artigo.
Ao relatar resultados de estudos complexos, muitos autores claramente consideram essa restrição severa; naquilo que eu chamaria de “os piores casos”†, o corpo principal do artigo simplesmente se transforma em um índice do material transferido para o final a fim de evitar as diretrizes (embora as diretrizes estejam começando a alcançar e proibir e proibir esse “truque”).
A tensão crescente nesse cenário opõe a necessidade das instituições de que os autores disciplinem e contenham suas apresentações — algo cada vez mais importante à medida que aumenta o volume de artigos submetidos — à evidente frustração dos pesquisadores, que desejam apresentar os frutos de seu trabalho árduo em um contexto tão completo e abrangente quanto, a seu ver, o esforço merece.
* Ênfases dos autores, não minhas.
† Porque, ao fazer a triagem dos artigos a abordar, pode ser difícil até mesmo para a IA identificar esse deslocamento para os apêndices; mas isso pode atrapalhar bastante o revisor caso ele tenha reservado tempo para avaliar dez páginas e agora descubra que precisa analisar 30 páginas de material no mesmo intervalo de tempo.
Publicado originalmente na segunda-feira, 16 de novembro de 2026












