IA cita os mesmos artigos repetidamente – Assim como os humanos

ChatGPT e outras ferramentas de escrita com IA podem estar transformando a ciência em um concurso de popularidade, direcionando repetidamente os pesquisadores para os mesmos artigos enquanto ignoram trabalhos novos e inovadores que realmente poderiam avançar a área.

Monocultura, em termos de frequência e estatísticas, é quando o mesmo conjunto limitado de fontes ou recursos se repete incessantemente, abafando vozes novas e perspectivas frescas: o mesmo conjunto limitado de músicas na programação de rádio; o mesmo conjunto de autores e livros nas bancas de aeroportos; e a mesma seleção restrita de frutas e legumes nos supermercados:

Yes, we have these bananas – and only these bananas. Homogeneity of fruit and vegetables in western food chains disregards the hundreds of other species possibilities in each case, because the various generation and transport chains are too expensive to industrialize for diverse types of fruit or vegetables.  Source

Isso também ocorre nas citações que aparecem em novas pesquisas científicas, onde os pesquisadores, talvez por preguiça, recorrem a um conjunto “confiável” de fontes que ganha impulso até dominar ramos de investigação.

Isso é conhecido como o Efeito Matthew – uma teoria sociológica que sugere que os incumbentes sempre se beneficiam; a síndrome tem sido comparada à promessa feita em Mateus 13:12, que afirma “Quem tem receberá mais, e terá abundância. Quem não tem, até o que tem lhe será tirado.”.

A Multidão

Uma das grandes esperanças da pesquisa aumentada por IA era que novos métodos de aprendizado de máquina pudessem romper o Efeito Matthew – também conhecido como viés de popularidade – e começar a citar trabalhos menos conhecidos que poderiam ser mais incisivos ou mais adequados ao ponto que se quer defender em um artigo.

No entanto, com base na forma como as rotinas de treinamento de IA interpretam os conjuntos de dados, nunca houve motivo sólido para esse otimismo; e tem sido constatado repetidamente que, quando a IA não está inventando citações de forma direta – um problema crônico até hoje – ela está, de fato, perpetuando o Efeito Matthew, assim como os humanos – embora talvez não pelos mesmos motivos.

Durante o treinamento, um modelo aprende a classificar altamente o artigo mais citado (ou “mais repetido”) em um conjunto de treinamento, porque as rotinas são projetadas para extrair padrões significativos e para desconsiderar outliers como “ruído” ou anomalias estatísticas.

Nesse regime, o equivalente à teoria da relatividade de Einstein jamais receberia atenção da máquina, que, uma vez treinada, sente que já encontrou seus princípios e referentes, podendo apenas ajustar levemente essa postura ao buscar publicações mais recentes através de RAG ou por outros meios que ampliem o alcance do modelo além da sua matriz treinada.

O problema é que a IA não credita esses trabalhos novos da mesma forma que os “favoritos antigos” que já conhecia, ou sequer os credita, porque seus vieses estatísticos já estão bastante enraizados.

Portanto, a IA não está realmente observando e imitando o comportamento humano ao perpetuar o Efeito Matthew – ela apenas conta quantas vezes os pesquisadores, por preguiça, recorrem aos mesmos artigos antigos e, consequentemente, os classifica em posições elevadas. Nesse sentido, o problema da repetição de citações está ligado ao desafio de escolher um artigo científico genuinamente interessante dentro da nevasca crescente de publicações de IA, já que o trabalho mais forte costuma ter o sinal mais fraco.

Diagnosticando a Monocultura

Essa questão é abordada em um novo artigo interessante dos EUA intitulado When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. O estudo – uma colaboração entre a University of Texas at Austin, Stevens Institute of Technology, Washington University at St Louis, Rice University e University of Notre Dame – busca provar definitivamente a existência de monocultura de citações em aprendizado de máquina, para que suas variáveis possam ser eventualmente tratadas diretamente no futuro, juntamente com o próprio problema.

Nos testes, os autores descobriram que onze modelos da OpenAI, Google e Anthropic favoreciam repetidamente o mesmo pequeno grupo de artigos – mesmo após sinais óbvios de popularidade terem sido removidos.

Para testar isso, 120 artigos reais tiveram suas contagens de citações e locais de publicação ocultados, os nomes dos autores substituídos e os anos de publicação reatribuidos aleatoriamente. Conjuntos aleatórios de trinta artigos foram então apresentados a cada modelo, que pôde citar no máximo dez.

Oito especialistas humanos nas áreas relevantes receberam os mesmos artigos cegos, mas não convergiram para os mesmos favoritos das IAs, indicando que o viés era específico dos modelos de IA e não dos próprios artigos:

From the new paper, test results comparing citation choices by AI models and human experts. Across all eleven models, citations were concentrated on a smaller group of papers, while some papers were repeatedly passed over entirely. Human experts showed neither tendency. Source

Os mesmos artigos permaneceram populares mesmo quando os modelos foram solicitados apenas a escolher referências, mostrando que a redação da revisão em si não causou o viés.

O experimento foi então estendido por onze rodadas, com 120 artigos gerados por IA adicionados após cada rodada, para observar o que acontece quando essas preferências compartilhadas operam em um pool crescente de pesquisas produzidas por IA.

À medida que mais artigos gerados por IA foram incluídos, os modelos concentraram suas citações cada vez mais em um número reduzido dos artigos humanos originais.

Os autores afirmam:

‘À medida que os modelos de linguagem passam de redigir textos para operar agentes de busca de literatura com chamadas de ferramentas, referências fabricadas tornam‑se mais fáceis de detectar e limitar.’

‘A falha mais grave começa depois que cada candidato é real: diferentes modelos ainda podem selecionar o mesmo subconjunto estreito, produzindo monocultura de citações sem que nenhuma citação individual esteja errada.’

Como forma de remediar o problema, o artigo argumenta que simplesmente misturar modelos de diferentes fornecedores ou dar exposição igual aos artigos não será suficiente, já que grande parte da preferência é compartilhada entre os modelos. Em vez disso, a preferência subjacente por determinados artigos precisaria mudar – potencialmente ao dar maior destaque deliberado aos trabalhos negligenciados. Contudo, os autores ressaltam que essa abordagem ainda não foi testada.

Abordagens de Teste

O benchmark foi construído a partir de 120 artigos reais de destilação de conhecimento coletados no arXiv e publicados entre 2015 e 2022. Cada um possuía entre 50 e 500 citações no momento da coleta, intervalo escolhido para excluir tanto trabalhos obscuros quanto extremamente influentes.

O experimento começou selecionando aleatoriamente trinta artigos da coleção disponível, ocultando nomes de autores, anos de publicação e contagens de citações. Cada modelo produziu uma breve revisão ou posicionamento citando no máximo dez artigos, e essas escolhas foram comparadas com seleções aleatórias do mesmo material:

Schema for the method used for testing citation preferences. Thirty randomly selected papers were shown to a model with identifying information hidden, after which it could cite up to ten. Its choices were compared with random selection, while each round added 120 AI-written papers to the next round’s collection.

No experimento estendido, 120 novos artigos gerados foram inseridos na coleção após cada rodada, aumentando gradualmente a proporção de pesquisas produzidas por IA.

Nos testes preliminares, os modelos tendiam a citar a maioria dos artigos que lhes eram mostrados, normalmente selecionando de 22 a 27 dos 30. Os pesquisadores, portanto, limitaram a dez citações para o experimento principal, forçando os modelos a fazer escolhas mais seletivas.

A seguir, vemos um resumo do desenho experimental resultante:

Experimental setup used to test citation preferences. The study began with 120 real papers and tested eleven models from three vendors, using randomized sets of 30 papers and a maximum of ten citations. Later rounds added AI-generated papers, expanding the collection to 1,440 papers.

O experimento inicial utilizou onze modelos dos três principais provedores: a OpenAI foi representada por GPT-5, GPT-5 mini, GPT-4.1 e GPT-4.1 mini; a Google por Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro e Gemini 3.1 Flash-Lite; e a Anthropic por Claude Opus 4.8, Claude Sonnet 4.6 e Claude Haiku 4.5.

Nos resultados apresentados abaixo, vemos o quanto cada modelo concentrou suas citações em um pequeno grupo de artigos; quantos artigos foram totalmente ignorados; e quão consistentemente fez as mesmas escolhas quando o experimento foi repetido:

Test results showing how strongly each model concentrated its citations on particular papers and how many papers it ignored entirely. ‘Top-10% share’ shows how many citations went to the 12 most-favored papers, while ‘HHI’ measures how concentrated citations were overall. ‘Reliability’ shows how consistently each model favored the same papers across tests, and ρ shows how similar those preferences were across models. The ‘Matched null’ row indicates what would be expected if papers were chosen at random.

O Que os Modelos Realmente Favorecem?

A preferência foi encontrada como sendo predominantemente impulsionada pelo conteúdo dos próprios artigos. Por exemplo, para o GPT-5 mini, cerca de 90 % da variação nos artigos favorecidos era atribuível ao conteúdo, e não a fatores como ordem da lista, ruído de geração ou metadados fabricados associados a cada artigo. O mesmo efeito “conteúdo dominante” foi reproduzido com o GPT-4.1 mini.

O mapa de preferência (veja abaixo) também mudou pouco quando títulos e resumos foram reescritos substancialmente, mantendo seu sentido. Em quatro testes de paráfrase bem‑sucedidos, obtiveram‑se correlações de 0,95–0,99, apesar de diferentes modelos de três fornecedores terem sido usados para a reescrita.

Alterações no mapa de preferência foram observadas apenas quando o significado subjacente foi alterado de forma mensurável:

Test results comparing citation preferences across the eleven models. The numbers show how closely each pair of models favored the same papers, with higher values indicating greater agreement. Despite differences between models and vendors, broadly similar preferences were found across the group

Assim, os modelos parecem responder principalmente ao conteúdo semântico, e não à redação específica. Contudo, a razão para seu forte acordo não pôde ser determinada de forma conclusiva.

É possível, afirmam os autores, que um consenso de citações comum tenha sido absorvido durante o treinamento. Uma possibilidade alternativa é que julgamentos semelhantes sobre o que constitui um artigo “citável” sejam alcançados de forma independente.

Portanto, a existência da preferência compartilhada foi confirmada, mas sua origem final permanece desconhecida.

Os autores sugerem que o uso generalizado de IA na pesquisa pode estreitar o leque de trabalhos que recebem atenção, porque diferentes modelos tendem a favorecer muitos dos mesmos artigos; e à medida que a literatura gerada por IA se acumula, essas preferências compartilhadas podem ser reforçadas ainda mais por citações repetidas, tornando pesquisas menos favorecidas progressivamente mais difíceis de descobrir. Diversidade de citações e monitoramento da concentração de citações são, portanto, propostos como possíveis salvaguardas.

O benchmark do estudo para concentração recursiva de citações está agora disponível no GitHub.

Conclusão

Opinião Como alguém que lê um número desmesurado de artigos de pesquisa em IA semanalmente, já vi “ondas de citações” surgir e desaparecer. Um pilar perene é o Attention Is All You Need, o artigo original dos Transformers, que provavelmente já está codificado nos modelos de submissão.

Outro infrator recorrente, por muito tempo, foi o artigo de 2014 Generative Adversarial Networks, embora tenha sido eventualmente substituído em frequência por Denoising Diffusion Probabilistic Models e outros estudos baseados em difusão.

Na maioria dos casos, essas citações “recorrentes” não são erradas, per se; porém costumam ser amplamente abrangentes demais para constituir um suporte útil ao artigo em que são citadas; e, nesse sentido, representam algo semelhante a “lavagem de citações” – a inclusão de citações “confiáveis”, mas principalmente decorativas, para conferir uma aparência de credibilidade com pouco esforço.

Primeira publicação segunda‑feira, 24 de agosto de 2026