O ‘Survey Paper DDoS Attack’ Que Está Sobrecarregando a Pesquisa Científica

Modelos de IA gerativos, como o ChatGPT, agora estão inundando plataformas de publicação acadêmica com artigos de pesquisa gerados por IA em níveis que estão tornando a relação sinal-ruído crítica. Um novo estudo afirma que essa inundação está sobrecarregando os pesquisadores, distorcendo citações e erodindo a confiança no registro científico, comparando a enxurrada de artigos auxiliados por IA a um ‘ataque DDoS’ à própria ciência.

(Parcialmente) opinião  Na semana passada, pela primeira vez em sete anos de acompanhamento da literatura científica relacionada à IA, tive que admitir a derrota e reconhecer que, pelo menos nos horários de pico, agora devo escolher entre estar por dentro das novas publicações essenciais ou ter algum tempo para escrever sobre algumas delas.

O número total de entradas em um número muito limitado de categorias relevantes (Visão Computacional, Aprendizado de Máquina, Modelos de Linguagem, e algumas outras seções menos assinadas) estava em bem mais de mil – apenas para as submissões de um dia.

Em tal volume, mesmo folheando todos os novos títulos e ocasionalmente se deliciando com alguns resumos de abstracts seria um dia improdutivo.

Isso foi na terça-feira, 7 de outubro. Em contraste, na categoria Aprendizado de Máquina, essa terça-feira passada (14 de outubro) ofereceu um volume de publicação ligeiramente menos intenso do que os 400 ou mais registros da terça-feira da semana anterior; teve apenas 354 entradas:

354 submissões para a categoria Aprendizado de Máquina em um dia. Fonte: https://arxiv.org/

Você teria que ter lido o Arxiv todos os dias, por alguns anos, para perceber como esses números estão se tornando loucos.

Admitidamente, a terça-feira é o ‘horário de pico’ do Arxiv para submissões, talvez porque seja o primeiro dia de trabalho após os fins de semana longos dos influentes que os pesquisadores esperam alcançar; e a categoria Aprendizado de Máquina é uma seção ‘guarda-chuva’ com um número menor de artigos únicos (artigos que não são publicados simultaneamente em canais mais especializados) do que a maioria das outras categorias.

No entanto, o aumento nas submissões de artigos já é um fenômeno notado na academia e na mídia.

Talvez o aspecto mais chocante dessa escalada seja como todas as outras categorias adjacentes estão mais ou menos inalteradas em sua frequência nos últimos três anos, enquanto a categoria Ciência da Computação (veja se você consegue encontrá-la nos números oficiais do Arxiv abaixo) está em uma trajetória severamente ascendente:

O aumento de artigos de ciência da computação (CS) nos últimos três anos. Fonte: https://info.arxiv.org/about/reports/submission_category_by_year.html

Há pouco mais de três anos, a saída de artigos de IA do Arxiv era estimada para dobrar a cada poucos anos; e será interessante ler o próprio resumo anual do Arxiv sobre tendências no final de 2025.

Volume no 11

As duas razões mais óbvias para isso estão acontecendo são a) compromisso financeiro sem precedentes com IA gerativa é atraindo níveis massivos de investimento em pesquisa nos setores privado e acadêmico, que frequentemente colaboram; e b) o fato de que sistemas de modelos de linguagem de IA, como o ChatGPT, agora tornam a submissão de artigos de pesquisa (incluindo artigos sobre IA) um processo quase industrializado.

No entanto, a qualidade das submissões de pesquisa não está aumentando em conjunto com o volume (embora a saída com erros da IA tenda a fazer mais manchetes no setor jurídico do que no acadêmico, não menos porque as ramificações são mais óbvias lá).

Uma política de tolerância zero é difícil de implementar nesse caso, mesmo que reconhecer conteúdo gerado por IA fosse mais fácil; além do fato de que a IA em si é um benefício manifesto para a pesquisa científica em geral, seu uso em submissões de artigos de pesquisa geralmente* melhorou a clareza do trabalho de muitos submetentes não anglófonos – indivíduos e equipes que até agora operavam em desvantagem.

Mas o problema de reduzir a barreira linguística dessa forma é que isso também aumenta o número de submetentes globais, sem aumentar o nível de supervisão humana que dá valor a esse trabalho.

Se os níveis de submissão continuarem a aumentar exponencialmente, a relação sinal-ruído se tornará tão ingovernável que apenas a IA poderia possivelmente navegar as novas inundações e afluentes de artigos de IA; uma tarefa para a qual ela não está mais apta do que provar sua própria saída. Ironia, a pesquisa científica é uma empreitada humana intensamente.

Um Ataque à Pesquisa

A causa dessa reflexão é uma colaboração interessante nova da China intitulada Pare de Atacar a Comunidade de Pesquisa com Artigos de Pesquisa Gerados por IA.

O novo artigo de posição se concentra especificamente em submissões de pesquisas – resumos de alto esforço de certas vertentes de pesquisa, que tradicionalmente tanto listaram quanto contextualizaram, interpretando tendências e fazendo previsões informadas:

Uma fração minúscula do vasto e sempre crescente corpo de pesquisas disponíveis em seções relacionadas ao aprendizado de máquina e IA, no arxiv.org

Como as pesquisas curam em vez de originar, elas são incomumente fáceis de automatizar com IA, e os autores do novo trabalho caracterizam a proliferação de pesquisas de baixo esforço em termos de ameaça de segurança ao setor de pesquisa^†:

‘[O] recente aumento de pesquisas geradas por IA, especialmente habilitadas por grandes modelos de linguagem (LLMs), transformou esse gênero tradicionalmente trabalhoso em uma saída de alto volume e baixo esforço. Embora essa automação reduza as barreiras de entrada, também introduz uma ameaça crítica: o fenômeno que denominamos “ataque de pesquisa de papel DDoS” à comunidade de pesquisa.

‘Isso se refere à proliferação descontrolada de manuscritos de pesquisas superficialmente abrangentes, mas frequentemente redundantes, de baixa qualidade ou até mesmo alucinados, que inunda plataformas de pré-impressão, sobrecarrega os pesquisadores e erode a confiança no registro científico.

‘[Nós] argumentamos que devemos parar de fazer o upload de grandes quantidades de artigos de pesquisa gerados por IA (ou seja, ataque de pesquisa de papel DDoS) para a comunidade de pesquisa, instituindo fortes normas para a escrita de revisões auxiliadas por IA.’

Os autores afirmam que essa aceleração desenfreada da produção de pesquisas ameaça inundar o ecossistema de pesquisa com relatórios polidos que, no entanto, carecem de profundidade crítica, e que provavelmente propagarão erros factuais e/ou citações alucinadas.

O artigo alerta que, sem melhores regras ou supervisão, as pesquisas geradas por IA podem se transformar em cópias rasas que distorcem quais tópicos são importantes, escondem análises significativas e tornam as revisões da literatura menos confiáveis:

‘As implicações para a qualidade da pesquisa e a confiança são profundas. Primeiro, avanços genuínos arriscam ser obscurecidos por reescritas geradas algoritmicamente de trabalhos existentes.

‘Novatos e acadêmicos interdisciplinares podem lutar para localizar visões confiáveis entre o barulho. Além disso, erros ou vieses introduzidos por redação automatizada podem se propagar sem controle, semeando pesquisas subsequentes com premissas falhas.

‘Em resumo, a inundação de pesquisas não revisadas por pares geradas por IA coloca em risco tanto a rigorosidade das revisões da literatura quanto a credibilidade do registro científico.’

Autores ‘Anormais’

Os pesquisadores do novo artigo fornecem algumas análises interessantes sobre a evolução das submissões de pesquisas:

Esquerda: a contagem anual de artigos de pesquisa de ciência da computação de 2020 a 2024. Meio: pontuações de geração de IA para esses artigos no mesmo período. Direita: número de autores marcados como anormais (aqueles com saída de pesquisa excepcionalmente alta, diversidade de coautoria limitada e padrões institucionais recorrentes) a cada ano. As três tendências mostram um aumento acentuado começando em 2023, coincidindo com o lançamento do ChatGPT e outros grandes modelos de linguagem.

Na primeira coluna, vemos tendências de crescimento: a curva começa a se inclinar por volta de 2022, justo quando o ChatGPT surgiu e os grandes modelos de linguagem começaram a se tornar mainstream, e modelos de acompanhamento, como Claude, PaLM e Gemini manteriam esse ímpeto ao longo de 2023.

O gráfico do meio mostra um aumento acentuado nas submissões após 2022, coincidindo com o lançamento do ChatGPT. Uma equipe de pesquisa encontrou que, em 2024, mais de 10% dos resumos científicos haviam sido processados por um LLM. Um relatório separado de uma empresa de detecção de IA estimou o salto pós-ChatGPT em 72% para artigos no Arxiv que podem ter sido escritos com a ajuda de IA. O número de artigos com pontuações de geração de IA altas também dobrou em um ano, de 3,6% para 6,2%.

O gráfico da direita mostra um aumento constante no número de padrões de autor ‘anormais’ (pesquisadores que submetem três ou mais pesquisas dentro de um mês enquanto trabalham com menos de dois colaboradores), com um aumento mais acentuado começando em 2022.

Os autores afirmam que muitos desses artigos de pesquisa podem ter sido redigidos por IA, por diversas razões; alguns são escritos por autores solitários ou pequenos grupos que submetem múltiplas pesquisas em um curto período de tempo; muitos cobrem tópicos não relacionados; e, em alguns casos, os autores não têm registro prévio nos campos que estão resumindo.

Além disso, alguns são publicados sob coletivos anônimos sem vínculos institucionais claros – padrões que sugerem uma inundação coordenada do campo com pesquisas rápidas, possivelmente para ganhar citações ou melhorar perfis acadêmicos, em vez de fazer alguma contribuição real para a literatura.

Problemas

Embora não possamos cobrir todas as controvérsias do novo artigo, devemos dar uma olhada nas observações mais notáveis, bem como lançar um olhar crítico sobre as soluções propostas pelos autores para esses problemas.

Qualidade e Originalidade

O problema não é apenas o volume: muitas pesquisas escritas por IA pulam o que torna uma boa pesquisa útil: estrutura clara, análise profunda, crédito correto e assíduo, e insights reais. Em vez disso, o artigo sugere que as pesquisas auxiliadas por IA frequentemente leem como resumos costurados, sem o devido cuidado ou curadoria.

Os autores observam, além disso, que as pesquisas escritas por IA frequentemente carecem de estrutura, mas simplesmente listam artigos sem direção clara, pulando seções-chave e falhando em criar contexto. As pesquisas escritas por humanos, por contraste, tendem a estabelecer categorias apropriadas e contar uma história mais coerente.

Também, muitas pesquisas potencialmente auxiliadas por IA parecem simplesmente copiar quebras de tópicos existentes, às vezes diretamente da Wikipedia. Por exemplo, o artigo nota que múltiplas pesquisas sobre Transformadores de Visão contêm títulos de seção comuns e estrutura, denotando saída de modelo de linguagem de IA baseada em templates:

‘Em contraste, uma pesquisa bem elaborada escrita por humanos pode introduzir uma nova taxonomia, por exemplo, categorizando ViT por estratégias de eficiência. A falta de tal estrutura original em muitas pesquisas pré-impressas recentes levanta preocupações de que elas possam ter sido geradas por IA com insight humano limitado.’

Não Me Quote Isso

Talvez o mais embaraçoso publicamente, as pesquisas escritas por IA frequentemente obtêm citações erradas, perdendo artigos-chave, incluindo artigos não relevantes, e às vezes até mesmo listando artigos inexistentes – erros que sugerem que as referências originam-se de correspondência de padrão de superfície, em vez de expertise real.

Os autores também apontam que algumas pesquisas recentes, frequentemente de equipes completamente diferentes, compartilham até 70% de suas listas de referências – um nível de sobreposição tão alto que, argumentam eles, sugere uma dependência compartilhada de LLMs, que extraem da mesma pequena piscina de material de origem.

De fato, usuários casuais do ChatGPT sabem que, quanto mais obscuro o tópico, menor a diversidade de fontes para o modelo generalizar; muito frequentemente, localizar as próprias fontes limitadas do modelo na web é mais útil do que interagir com essa informação por meio de uma IA que não teve dados adequados em um domínio particular.

Um Estilo Homogêneo Emergente

Os autores também notam que muitas pesquisas sobre o mesmo tópico escritas por IA parecem e soam quase idênticas, à medida que os LLMs reutilizam frases e estruturas, especialmente para assuntos populares, resultando em uma torrente de artigos quase idênticos que adicionam pouco valor e também adicionam ruído significativo para os pesquisadores que buscam respostas de domínio*:

‘Quando vários autores pedem a um LLM que “escreva uma revisão da literatura sobre X”, o modelo frequentemente produz respostas muito semelhantes, especialmente para definições comuns ou fatos bem conhecidos. Pesquisas recentes mostraram um aumento acentuado no uso de certos padrões de escrita ligados a LLMs, sugerindo que muitos artigos agora compartilham o mesmo estilo.’

Seu ChatGPT Está Aparecendo

O artigo observa que uma maneira rápida de detectar pesquisas escritas por IA é através da presença de frases como ‘como um modelo de linguagem de IA’ ou ‘meu corte de conhecimento’, sugerindo curadoria mínima ou mesmo zero da saída dos modelos de linguagem antes de submeter os artigos (embora uma busca direcionada no momento da escrita não tenha revelado nenhum desses tells indexados no Google Search).

O artigo nota que muitas ‘suspeitas’ de pesquisas mostram menor diversidade de palavras e frases repetidas, por exemplo, começando múltiplos parágrafos com Além disso. Esse tipo de padrão, sugerem os autores, é típico de escrita no estilo GPT, e poderia ser uma bandeira útil para detectar texto auto-gerado.

(Meu comentário pessoal sobre isso é que as restrições do jornalismo online frequentemente exigem que um escritor liste muitos itens em uma forma de prosa não estilizada. Portanto, o ChatGPT e seus pares provavelmente aprenderam esse mau hábito de escritores humanos que enfrentaram um número limitado de alternativas léxicas. Além disso, a conjectura dos autores mostra que eles estão brincando com os princípios da detecção de conteúdo de IA, que é um campo complexo e em desenvolvimento, com poucos constantes duradouros do tipo que os autores sugerem)

Embora os pesquisadores prossigam para desenvolver um discurso fascinante sobre o impacto negativo das pesquisas de IA na cultura de pesquisa e confiança, devemos remeter o leitor ao artigo de origem para uma profundidade maior sobre isso.

Soluções?

A solução do artigo é fascinante, radical e, ao mesmo tempo, estranhamente não original: que a utilidade dos artigos de pesquisa deveria ser substituída por uma Pesquisa Dinâmica ao Vivo – por interpretação, um híbrido entre um Wiki e uma página do GitHub, constantemente alimentada com novos dados de LLMs e outros sistemas de IA, mas com commits sendo feitos apenas por humanos, para que a IA não possa essencialmente ‘auto-publicar’ atualizações.

O sistema proposto compartilharia a versão e ramificação do GitHub, essencialmente transformando um recurso de informação em uma lista constantemente atualizada semelhante à ‘incrível’ linhagem de listas curadas no GitHub:

‘Sob essa estrutura, um membro da comunidade primeiro estabelece um tópico de pesquisa wiki, especificando o escopo, questões de pesquisa-chave e referências seminais, que, portanto, define uma fronteira temática clara e estrutura inicial.

‘Em seguida, um agente de ingestão baseado em LLM monitora continuamente arquivos de pré-impressão, atas de conferência e placares de benchmark. Ele extrai automaticamente resumos, figuras e métricas de desempenho-chave; sintetiza resumos concisos de novos resultados; atualiza o gráfico de citação para refletir as relações entre artigos; e sinaliza tendências de pesquisa emergentes para revisão adicional.

‘Por design, essas atualizações automatizadas ocorrem dentro de horas da publicação, garantindo que o repositório permaneça à vanguarda.

‘Os contribuintes humanos então entram para fornecer a profundidade interpretativa que as máquinas sozinhas não podem oferecer. Eles refinam taxonomias evoluindo para capturar distinções metodológicas sutis, coordenam interpretações conflitantes de inovações algorítmicas em diferentes subcampos e fornecem comparações críticas mais profundas ao documento.’

O Livro das Mutações

Os autores expõem entusiasticamente e com detalhes essa proposta, e basicamente a justificam com algo que é muito verdadeiro: pesquisas de alto esforço escritas por humanos sobre tópicos voláteis em torno da IA envelhecem tão rapidamente que mal valem a pena ser escritas; e o artigo observa que um prazo de três meses para um novo artigo de pesquisa provavelmente significará que ele estará desatualizado (ou mesmo severamente desatualizado) no momento do seu dia de publicação agendado:

‘Ano após ano, as comunidades são inundadas com visões repetitivas ou superficiais que rapidamente perdem relevância, deixando práticos e novatos igualmente lutando para distinguir sinal de ruído. O ciclo de publicação tradicional (ou seja, rascunho, submissão, revisão e publicação) pode levar vários meses, após os quais as principais descobertas podem ter mudado o cenário.

‘Além disso, o volume crescente de pesquisas estáticas adiciona à sobrecarga cognitiva, pois os leitores devem vasculhar vários documentos sobrepostos para encontrar insights substanciais.’

Infelizmente, a solução do artigo compartilha muitas das piores e mais criticadas qualidades do Discord: mais especialmente que seria um recurso constantemente mudando e mudando.

Como qualquer parte de uma Pesquisa Dinâmica ao Vivo pode desaparecer ou ser alterada a qualquer momento, seria impossível usá-la como uma fonte citável e estável; exceto, talvez, vinculando a um ‘commit anterior’, de maneira semelhante à forma como archive.is e o Wayback Machine, entre outros sites de arquivamento, fornecem links para snapshots de conteúdo de página da web congelados em um momento específico. Mas quais recursos precisaria um commit desses, e poderia ser confiável para permanecer ativo ao longo do tempo?

Além disso, uma plataforma/Wiki com definições e conteúdo constantemente mudando seria um desafio para indexar, seja por mecanismos de busca tradicionais ou LLMs.

Talvez a parte mais fraca do sistema proposto seja a ideia de que pessoas reais deveriam supervisionar os commits dos agentes LLM; como sempre, pessoas reais são caras. O que está sendo proposto é algo entre um museu e uma biblioteca – ambos precisarão de provisionamento de ‘carne’ proporcional ao volume de dados e número de tópicos cobertos.

Se ‘use pessoas reais’ for a única resposta a um problema de desenvolvimento de IA, é justo dizer que o problema permanece aberto e sem solução.

Conclusão

No momento, a vida curta das pesquisas de pesquisa é irritante; se a tendência atual de escrita automatizada e submissão em grande escala continuar, como imaginada no novo artigo, a relação sinal-ruído se tornará crônica, e a literatura, ingovernável.

Nessa situação, seria ainda mais difícil do que é agora para vozes menores, sub-FAANG, serem ouvidas na tempestade de submissões, e os principais líderes de mercado provavelmente ganhariam ainda mais proeminência.

Além das pesquisas ao vivo, o novo artigo propõe que os autores não apenas sejam limitados a declarar quando a IA é usada em qualquer parte de uma submissão, mas também que as seções auxiliadas por IA sejam explicitamente rotuladas dentro de um artigo (talvez com um arquivo JSON lateral…?).

Como isso é uma perspectiva onerosa, o artigo sugere alternativamente o que só posso caracterizar como um ‘gueto de IA’ – uma seção distinta na submissão que é reservada para contribuições de IA.

Em resumo, o novo trabalho tem, pelo menos na minha opinião, nenhuma solução realista para oferecer; mas os autores prestaram um serviço útil ao enquadrar os desafios à frente.

O artigo Pare de Atacar a Comunidade de Pesquisa com Artigos de Pesquisa Gerados por IA pode ser encontrado em https://arxiv.org/abs/2510.09686, e é escrito por seis autores de diferentes departamentos da Universidade de Shanghai Jiao Tong.

___________________________________

* Nem todos sentem que é o caso.

^† Ênfase dos autores, não minha. Além disso, onde aplicável, minha conversão das citações em linha dos autores em hiperlinks.

Publicado pela primeira vez na sexta-feira, 17 de outubro de 2025