A IA costuma citar páginas da web que nem sequer leu

Às vezes, surge no fluxo de publicações do dia um artigo que realmente me tira do sério — não por ser impreciso ou ofensivo, mas por perceber e estudar algo que, de maneira vaga e indefinida, vem me incomodando há muito tempo, num canto da consciência (talvez porque eu estivesse ocupado demais para fazer qualquer coisa além de ignorar o assunto).

Um artigo desse tipo foi publicado hoje por três autores do Departamento de Computação do Imperial College London. Intitulado Recuperado, mas não lido: entendendo por que os modelos de linguagem de grande escala aumentados por busca não conseguem usar as evidências disponíveis, o novo trabalho investiga por que os modelos de linguagem de grande escala (MLGs) frequentemente apresentam URLs como respaldo (citações de artigos irrelevantes, links para artigos falsos na web etc.) sem sequer os ler.

Os autores afirmam:

“Constatamos que os modelos muitas vezes respondem com base em trechos de resultados de busca sem abrir as páginas das fontes, o que está associado a taxas mais altas de respostas desatualizadas e citações infiéis. Nossos experimentos controlados e nossa análise por camadas revelam uma lacuna entre a disponibilidade das evidências e seu uso efetivo.

“Mesmo quando as evidências recuperadas influenciam as previsões internas, os modelos ainda podem favorecer informações desatualizadas nas respostas finais.”

Os autores testaram um modelo de linguagem proprietário (o GPT-5.6 Luna, da OpenAI) e seis configurações de modelos com pesos abertos, comparando-os com centenas de fatos que haviam mudado desde os limites temporais dos dados de treinamento dos modelos.

Em seguida, analisaram com que frequência os sistemas se baseavam em trechos dos resultados de busca em vez de abrir as páginas das fontes; como isso afetava a precisão das respostas e das citações; e por que informações desatualizadas às vezes prevaleciam mesmo quando evidências mais recentes eram fornecidas diretamente.

Os testes mostraram que os modelos frequentemente respondiam a perguntas sem abrir nenhuma das páginas encontradas pelas buscas na web e que esse comportamento estava associado a taxas significativamente mais altas de respostas desatualizadas e citações enganosas:

Resultados de testes que mostram com que frequência os modelos de IA citam fontes da web sem realmente lê-las. Em oito configurações, os pesquisadores mediram a precisão das respostas, a dependência de trechos de resultados de busca sem abrir as páginas das fontes e as citações que contradiziam as afirmações dos modelos. Em alguns casos, mais da metade das buscas terminou sem que nenhuma página fosse aberta. Todos os valores são porcentagens; a primeira linha usa busca na web em tempo real, enquanto as demais usam resultados de busca padronizados. Fonte

Os pesquisadores também constataram que fornecer diretamente as evidências corretas podia reduzir substancialmente essas falhas, embora alguns modelos continuassem a favorecer informações desatualizadas mesmo quando os fatos mais recentes eram apresentados diretamente a eles.

Motivações ocultas?

As duas razões mais óbvias para os MLGs nos despejarem com frequência documentos comprobatórios que “parecem corretos”, mas não são pertinentes, são: a) economizar dinheiro, pois baixar e ler até mesmo um resumo do material original — que talvez nem esteja disponível — consome largura de banda e tempo; e b) reduzir a latência, como se fosse melhor nos dar rapidamente uma resposta errada ou parcialmente errada do que atrasar um pouco para oferecer uma resposta melhor.

No entanto, os autores do novo trabalho estão mais interessados em estabelecer os mecanismos básicos por trás dessa deficiência de qualidade do que em investigar como ela pode ter sido inicialmente projetada ou premeditada.

Sem surpresa, minha experiência até agora ao discutir com modelos de ponta a economia de escala dos MLGs me levou ao que só posso presumir ser uma resposta defensiva predeterminada.

A economia de manipular dessa forma o comportamento dos MLGs ao citar fontes faz sentido, pelo menos para mim; mas as tecnologias em si ainda são pouco compreendidas, estão em constante mudança e tendem a produzir resultados excêntricos, o que torna difícil comprovar essas motivações neste momento.

Metodologia

Para testar até que ponto os modelos realmente usam evidências da web, os pesquisadores reuniram 225 fatos que haviam mudado desde 16 de fevereiro de 2026 — a data mais recente de limite dos dados de treinamento informada entre os modelos testados.

Os fatos foram obtidos de informações sobre medicamentos da FDA (62 fatos); finanças (52); esportes (47); pessoas (43); documentos apresentados à SEC (13); e classificações químicas (8). Foram excluídas as mudanças que já haviam entrado em vigor até a data-limite ou tinham sido anunciadas antes de 1º de fevereiro, assim como as alegações médicas que podiam ser respondidas com conhecimentos gerais. Fatos que não haviam mudado também foram usados como controles, permitindo aos pesquisadores distinguir as falhas relacionadas a informações novas de erros mais gerais.

Para estabelecer uma referência inicial, GPT-5.6 Luna foi testado sem acesso à pesquisa na web e respondeu corretamente a apenas 23,3% das 103 perguntas sobre os fatos que haviam mudado.

Um modelo de IA não especificado foi usado para reescrever cláusulas de rotulagem da FDA do conjunto de dados mencionado anteriormente em afirmações factuais que pudessem ser testadas individualmente; em seguida, cada uma foi revisada manualmente*.

As configurações de modelos de pesos abertos testadas foram GLM-5.3-Flash, da Z.ai; gpt-oss-120b e gpt-oss-20b, da OpenAI; gemma-4-31b, da Google DeepMind, testado com e sem raciocínio; e qwen3-8b, da Qwen.

Os modelos de pesos abertos e GPT-5.6 Luna receberam os mesmos resultados de pesquisa na web, para que suas respostas pudessem ser comparadas de forma justa. Luna também foi testado separadamente com seu próprio recurso integrado de pesquisa na web.

Para 223 dos 225 fatos, foram coletados antecipadamente dez resultados de pesquisa usando Brave Search. Todos os modelos receberam os mesmos resultados e puderam abrir páginas ou pesquisar dentro delas com ferramentas idênticas.

A página que continha a resposta “correta” era sempre disponibilizada: se aparecesse naturalmente entre os dez primeiros resultados, sua posição não era alterada; caso contrário, era inserida nos resultados em uma posição definida antecipadamente, permitindo aos pesquisadores examinar como os modelos usavam as evidências disponíveis em condições comparáveis.

Para tornar os testes mais consistentes, a temperatura foi definida como zero nos modelos compatíveis com essa configuração, e cada modelo foi executado pelo mesmo provedor durante todos os experimentos.

Apresentação dos prompts

Dos dois prompts usados para testar os fatos, o primeiro fazia uma pergunta aberta, como “Em qual clube Bernardo Silva joga?” — com ou sem um pedido de fonte; o segundo pedia ao modelo que verificasse uma afirmação que continha informações atuais ou desatualizadas, permitindo aos pesquisadores comparar como cada versão era tratada.

Nos resultados combinados, foram usados quatro tipos adicionais de prompt: perguntas abertas com pistas; pedidos de citações; pedidos de uma citação que respaldasse uma afirmação fornecida; e verificações de fichas informativas, nas quais o modelo tinha a tarefa de identificar uma afirmação desatualizada entre várias afirmações corretas.

Exemplos dos prompts efetivamente usados para testar os modelos, com base em perguntas e afirmações sobre o jogador de futebol Bernardo Silva. A tabela mostra como a mesma questão factual foi apresentada por meio de diferentes solicitações de respostas, verificações, citações e referências. Todos os prompts começavam com a data de 8 de agosto de 2026, e a maioria exigia uma resposta final padronizada, especificada pelas instruções identificadas por letras abaixo da tabela.

Todos os prompts especificavam uma data, e a maioria exigia respostas em um formato fixo que permitia responder “NÃO É POSSÍVEL VERIFICAR”, o que possibilitava avaliar os resultados sem a necessidade de arbitragem humana ou baseada em modelos de linguagem de grande porte.

As métricas usadas foram profundidade de leitura (se as páginas de origem eram abertas e citadas); precisão das respostas (porcentagem de respostas corretas, excluindo as abstenções); e fidelidade das citações (se as páginas citadas contradiziam as afirmações do modelo).

Sempre que possível, a avaliação foi automatizada, sendo permitido que um modelo de linguagem de grande porte (não especificado) aprovasse citações somente quando respaldadas por uma passagem exata da página arquivada; avaliações negativas que exigiam interpretação eram encaminhadas a revisores humanos; e fatos de controle que não haviam mudado eram usados para estabelecer a taxa inicial de erros de citação de cada modelo.

Resultados

Nos testes iniciais (apresentados no início deste artigo), o acesso à pesquisa na web melhorou a capacidade dos modelos de responder corretamente às perguntas. Ao verificar se afirmações factuais eram precisas, as pontuações aumentaram de 27 a 42 pontos percentuais. Ao responder diretamente às perguntas, os modelos acertaram em 85,8–95,4% dos casos.

No entanto, muitas respostas foram produzidas sem que os modelos realmente acessassem os sites retornados pelas pesquisas. Em vez disso, eles se basearam nos breves trechos de texto exibidos junto aos resultados da pesquisa. Mesmo quando recebiam os mesmos resultados, a proporção de pesquisas em que nenhuma página era aberta variava de 2,6% a 76%, dependendo do modelo.

Nesse contexto, GPT-5.6 Luna apresentou um desempenho particularmente pouco empenhado:

“Com os mesmos resultados de pesquisa, os modelos respondem a 2,6–76,0% dos casos sem abrir nenhuma página. Em sua pesquisa nativa, Luna responde a 53,6% dos casos apenas com base nos trechos.”

Resultados dos testes que comparam respostas desatualizadas e citações enganosas de acordo com o grau de profundidade com que os modelos examinaram os resultados da pesquisa. Snippet significa que nenhuma página da web foi aberta; Opened significa que uma página foi aberta, mas não citada; Cit. significa que uma página aberta foi citada. Todos os valores são percentuais agregados entre sete configurações de modelo e todos os tipos de prompt. Em geral, os erros eram mais frequentes quando os modelos se baseavam exclusivamente nos snippets dos resultados da pesquisa.

Entre sete configurações de modelo, 6,4% das respostas baseadas apenas em snippets estavam desatualizadas, em comparação com 1,3% quando as páginas abertas eram citadas. Como mostrado acima, as citações enganosas também eram mais frequentes: 6,4% contra 2,3%. Em perguntas sobre esportes, as respostas desatualizadas entre os modelos de pesos abertos chegaram a 20,2%, contra 2,1%. Quando as respostas estavam desatualizadas, 81,8% das citações que sustentavam essas afirmações as contradiziam, em comparação com apenas 0,9% no caso das respostas atualizadas. Padrões semelhantes foram observados nos testes com fichas informativas.

Na prática, isso significa que os modelos de IA estudados têm maior probabilidade de dar respostas erradas quando se baseiam nas descrições breves exibidas nos resultados da pesquisa, em vez de ler as páginas da web propriamente ditas. Pior ainda, às vezes eles incluem links para páginas que demonstram que suas respostas estão erradas.

Falha compartilhada

A menos que a seleção usada nesses testes seja formada por casos atípicos em conjunto, parece razoável supor que outros modelos, tanto fechados quanto de código aberto, também sejam afetados por esse problema. De fato, sete dos nove tipos de falha observados nas pesquisas na web em tempo real do GPT-5.6 Luna estavam significativamente associados a falhas de outros modelos testados com os mesmos resultados de pesquisa fixos, o que sugere que os problemas não se limitavam ao Luna.

Fornecer diretamente a página correta da Wikipédia reduziu as respostas desatualizadas: o número de falhas caiu de 14 para zero no gemma-4-31b; de 11 para uma no gpt-oss-20b; e de 16 para oito no qwen3-8b. Repetir a pergunta original após a abertura de cada página também corrigiu 26,1% das verificações de fichas informativas que haviam falhado anteriormente.

Resultados que mostram com que frequência gemma-4-31b, gpt-oss-20b e qwen3-8b aceitaram afirmações desatualizadas em diferentes condições. As mesmas evidências foram ocultadas, fornecidas diretamente no prompt ou disponibilizadas por meio dos resultados da pesquisa; em testes separados, foram solicitadas fontes de apoio. Fornecer diretamente a página correta foi muito mais eficaz do que exigir que os modelos a encontrassem por conta própria. Os valores mostram o número de falhas em relação ao total de testes.

Regras dos clubes

Por fim, para entender melhor por que a IA às vezes ignora informações corretas, os pesquisadores testaram três modelos de pesos abertos com jogadores de futebol que haviam mudado de clube: gpt-oss-20b; gemma-4-31b; e qwen3-8b.

Cada modelo recebeu informações desatualizadas sobre o clube de um jogador, às vezes acompanhadas da página correta da Wikipédia, e foi examinado para determinar qual resposta favorecia durante o processamento.

Os resultados mostraram que os modelos podiam reconhecer o clube correto — mas ainda assim davam a resposta errada:

Resultados dos testes que mostram como o qwen3-8b ponderou os clubes corretos e desatualizados durante a elaboração de uma resposta. O gráfico à esquerda mostra as respostas corretas, nas quais o clube correto permaneceu à frente; o da direita mostra as falhas, nas quais o clube desatualizado ultrapassou o correto nas etapas finais do processamento. As áreas sombreadas indicam a variação entre os testes.

No qwen3-8b, às vezes o clube correto assumia a liderança internamente, mas era ultrapassado pelo clube desatualizado pouco antes de a resposta ser produzida (veja acima). Um padrão semelhante apareceu no gpt-oss-20b, enquanto o gemma-4-31b geralmente favorecia o clube «desatualizado» do início ao fim.

Portanto, parece que, mesmo quando as evidências corretas estão disponíveis e são reconhecidas, elas ainda podem ser preteridas em favor de informações desatualizadas na resposta final.

Em conclusão, os autores sugerem que os modelos precisam aproveitar melhor as páginas da web que recuperam, em vez de confiar nos trechos exibidos nos resultados de busca. Eles também esperam descobrir por que os modelos às vezes se atêm a informações desatualizadas apesar de terem a resposta correta e se mudanças na forma como processam as informações poderiam ajudar. Mas nenhuma solução definitiva é sugerida.

Conclusão

Embora ofereça algumas percepções valiosas, o novo artigo não explica por que os LLMs usam citações e referências com tanta displicência. Como consumidor e alguém que também analisa razoavelmente bem os padrões, tenho a impressão de que os LLMs que uso recomendam artigos ou URLs porque eles são recomendados por outros… sites recomendados…? Então, de onde vem, de fato, essa impressão de autoridade?

Na verdade, esse não é um problema que conseguimos resolver nem mesmo no mundo pré-IA; portanto, talvez não seja surpreendente se os LLMs acabarem não economizando dinheiro nem reduzindo a latência, mas apenas propagando os mesmos rumores chineses que nos convencemos de que são “verdade”.

* O artigo não informa quem realizou essas análises.

Publicado originalmente na sexta-feira, 16 de outubro de 2026