O Verdadeiro Motivo pelo Qual Seu Pipeline RAG Continua Alucinando

Você conhece o ritual. O pipeline alucinou na frente de um cliente, então você trocou o modelo de embedding. Em seguida, atualizou o LLM. Em seguida, adicionou um prompt de sistema que diz, em letras maiúsculas cada vez mais desesperadas, APENAS USE O CONTEXTO FORNECIDO. E esta manhã, ele citou confiantemente um documento de política que não existe.

Você está em boa companhia. Quando os pesquisadores do RegLab e HAI de Stanford auditaram as ferramentas de pesquisa jurídica de IA vendidas pela LexisNexis e Thomson Reuters (TRI ), produtos comercializados como “livres de alucinações” graças à geração aumentada por recuperação, eles encontraram taxas de alucinação entre 17% e 34% em consultas jurídicas pré-registradas. O RAG realmente ajudou: o GPT-4 bruto alucinou muito mais. Mas a lacuna entre “reduzido” e “eliminado” é onde os sistemas de produção vivem, e essa lacuna tem uma estrutura.

A alucinação em um pipeline RAG raramente é um fracasso. São três, conspirando: a recuperação falha silenciosamente, o modelo foi treinado para responder de qualquer forma, e nada no pipeline mede o espaço entre esses dois fatos. Trocar modelos não aborda nenhum deles.

Cúmplice um: a recuperação falha mais frequentemente do que você pensa

A evidência mais recente aqui também é a mais desconfortável. Em novembro de 2025, uma equipe que incluía 18 especialistas médicos produziu 80.502 anotações em 800 saídas RAG em consultas reais de pacientes e estilo USMLE. O RAG padrão não apenas não atendeu; ele degradou a factualidade em até 6% e a completude em 5% em comparação com os mesmos modelos executados sem recuperação. A causa raiz estava a montante do LLM inteiramente: apenas 22% das passagens recuperadas no top-16 eram relevantes para a consulta.

Antes de você descartar isso como um problema de domínio difícil, a Anthropic mediu a falha de recuperação em corpora limpos e curados enquanto desenvolvia sua técnica de recuperação contextual e encontrou que a pesquisa de embedding padrão falhou em superfície o pedaço necessário nos resultados do top 20 5,7% do tempo. Uma consulta em dezoito, em dados bem cuidados, sem nada exótico acontecendo.

Isso é por que a taxonomia de engenharia canônica de falhas RAG, Barnett et al.’s sete pontos de falha, importa tanto: três dos sete (conteúdo perdido, documentos de classificação superior perdidos e falhas de consolidação de contexto) ocorrem antes que o modelo de linguagem gere um único token. O Unite.AI publicou uma caminhada minuciosa dessa taxonomia e os quadros de avaliação que mapeiam para ela, então não vou reconstruí-la aqui. O ponto que este artigo adiciona é sobre incentivos: a semelhança de embedding é um proxy para relevância, não uma garantia dela, e o trabalho teórico recente da Google DeepMind indica que os embeddings de vetor único têm limites matemáticos difíceis sobre quais combinações de documentos relevantes eles podem representar em todos. Um recuperador que retorna pedaços plausíveis, mas errados, está fazendo exatamente o que a semelhança de cosseno faz.

Cúmplice dois: o modelo foi treinado para adivinhar

Agora, dê esse contexto defeituoso a um modelo de linguagem e pergunte o que o treinamento do modelo ensinou a fazer com lacunas.

A OpenAI respondeu diretamente em seu artigo de setembro de 2025 Por que os modelos de linguagem alucinam: o treinamento e avaliação padrão recompensam adivinhação sobre reconhecer incerteza. Os benchmarks pontuam a precisão binária, abster-se pontua zero, e assim, como estudantes enfrentando um exame de múltipla escolha, os modelos aprendem que uma suposição confiante bate um espaço em branco. O próprio artigo comparação faz isso concreto: no SimpleQA, um modelo de raciocínio absteve-se 1% do tempo e estava errado 75% do tempo, enquanto um irmão afinado absteve-se 52% do tempo e reduziu sua taxa de erro para 26%.

Os benchmarks RAG específicos mostram o que esse incentivo faz dentro de um pipeline. O benchmark RGB testou se os modelos se recusam a responder quando recebem apenas documentos irrelevantes. A melhor taxa de rejeição negativa em todos os modelos testados foi de 45%, o que significa que mesmo o melhor modelo, dado nada mais que lixo de contexto, respondeu de qualquer forma mais da metade do tempo. O ClashEval encontrou a falha espelho: quando o conteúdo recuperado contradisse o conhecimento que o modelo já tinha certo, os modelos abandonaram sua própria resposta correta em favor do contexto errado mais de 60% do tempo. A fidelidade falha em ambas as direções, e a FaithEval da Salesforce adiciona o corolário inquietante de que os modelos maiores não são fiéis de forma confiável.

A equipe de interpretabilidade da Anthropic até rastreou o mecanismo. Em sua análise, a recusa é o circuito padrão do modelo; um recurso de “entidade conhecida” suprime essa recusa quando o modelo reconhece algo. A alucinação acontece quando o recurso dispara, quando o modelo reconhece a forma da sua pergunta, falta a substância e confabula fluentemente na lacuna.

E se você está esperando que a fronteira simplesmente supere isso: o leaderboard de alucinação da Vectara mede algo muito mais fácil do que o RAG, resumindo um único documento colocado diretamente na frente do modelo, e até a atualização de maio de 2026, o GPT-4o ainda fabricou em 9,6% dos resumos e o Claude Opus 4 em 12%. Mesmo com a recuperação resolvida perfeitamente, a geração vaza.

A solução instintiva piora as coisas

Diante disso, a maioria das equipes busca volume. Recupere mais pedaços. Compre a janela de contexto maior. Encha tudo o que possa ajudar e deixe o modelo resolver.

A evidência corre hard no sentido oposto. O estudo de rotação de contexto da Chroma testou 18 modelos, incluindo GPT-4.1, Claude 4 e Gemini 2.5, e encontrou o desempenho crescendo “cada vez mais instável à medida que o comprimento da entrada cresce”, com um único documento de distração cortando a precisão e quatro distrações cortando substancialmente. A pesquisa anterior Perdido no Meio encontrou a famosa curva em U: as informações enterradas no meio do contexto são ignoradas, mesmo por modelos de contexto longo. E a auditoria médica acima é como essas dinâmicas parecem de ponta a ponta, um sistema recuperando dezesseis passagens das quais doze ou mais são irrelevantes, e então entregando o monte a um modelo treinado para nunca dizer “não sei”.

Mais recuperação sem mais precisão apenas fabrica distrações. A precisão supera a recall em geração fundamentada, e não é próximo.

Cúmplice três: ninguém está medindo a lacuna

Barnett et al. colocou a verdade operacional em uma linha: “a validação de um sistema RAG é apenas viável durante a operação”. Você não pode assinar um pipeline RAG em staging, porque seus modos de falha são uma propriedade conjunta do seu corpus, suas consultas e seus usuários, nenhum dos quais se mantém parado.

No entanto, a maioria dos pipelines de produção acompanha a qualidade da resposta de ponta a ponta no máximo, o que confunde os dois cúmplices acima em um número inexplicável. A decomposição padrão, às vezes chamada de triade RAG, separa a relevância do contexto (a recuperação encontrou o material certo?), a fundamentação (a resposta se agarra àquele material?) e a relevância da resposta (ela aborda a pergunta?). Quadros como RAGAS e TruLens implementam isso. Serei honesto que nenhuma pesquisa rigorosa existe quantificando quantas equipes de produção executam esses; o que existe é o registro do praticante, e ele descreve principalmente a avaliação por vibrações. Se sua equipe não tiver um painel distinguindo falhas de recuperação de falhas de fidelidade, cada alucinação continuará parecendo um problema do modelo, e você continuará comprando soluções com forma de modelo.

O que realmente funciona, em ordem

Mantenha a recuperação separada da geração. A solução sem glamour que todos pulam, e na minha opinião o item de maior alavancagem nesta lista, porque converte um argumento sobre qual modelo comprar em um diagnóstico. Se a relevância do contexto for ruim, nenhum gerador pode salvá-lo. Se a fundamentação for ruim com um bom contexto, nenhum recuperador pode.

Construa a pilha de precisão. Os números publicados da Anthropic são a demonstração mais clara de soluções de recuperação empilhadas em qualquer lugar: os embeddings de chunk contextual reduziram a falha de recuperação no top 20 de 5,7% para 3,7%, adicionando a pesquisa híbrida BM25 (correspondência de palavra-chave clássica ao lado da pesquisa de vetor) a 2,9%, e adicionando um re-ranqueador, um modelo de segunda etapa que re-pontua os pedaços candidatos para relevância real, alcançou 1,9%, uma redução total de 67%. O Unite.AI cobriu por que a recuperação de duas etapas atinge acima do seu peso em detalhes.

Recompense a abstenção. A prescrição da OpenAI é penalizar erros confiantes mais do que incerteza expressa, e você pode implementar a versão local hoje: solicite e avalie respostas “não sei” e adicione uma verificação de fundamentação, um modelo de implicação (NLI) que verifica cada afirmação gerada é apoiada pelo texto recuperado antes que a resposta seja enviada. O trabalho RAGTruth mostrou que um pequeno detector ajustado pode corresponder ao prompting baseado em GPT-4 ao capturar afirmações não apoiadas.

Reescreva consultas e filtre evidências. Na auditoria médica, a reformulação da consulta mais a filtragem de evidências recuperou até 12 pontos de factualidade. Barato, chato, eficaz.

Considere a recuperação agente por último. A recuperação de múltiplos passos que raciocina sobre o que buscar em seguida (primer aqui) realmente ajuda em consultas de multi-hop difíceis, mas adiciona latência, custo e novos modos de falha. É um coroamento, não uma fundação.

O modelo era a parte menos quebrada

Olhe para o ritual do início. Cada etapa dele, a troca de embedding, a atualização do modelo, o prompt de sistema gritando, tratou a alucinação como um defeito no gerador. A evidência diz que o gerador estava fazendo o que seu treinamento recompensa, com os materiais que seu recuperador entregou, não observado por nenhuma métrica que pudesse dizer qual deles estava falhando.

Seu pipeline RAG não está quebrado. É obediente. Ele faz exatamente o que seus incentivos recompensam, e até que você meça a recuperação e a geração separadamente e faça “não sei” uma categoria de pontuação em vez de uma falha, esses incentivos dizem: adivinhe.