La Vraie Raison Pour Laquelle Votre Pipeline RAG Continue à Halluciner

Vous connaissez le rituel. Le pipeline a halluciné devant un client, vous avez donc échangé le modèle d’embedding. Ensuite, vous avez mis à niveau le LLM. Ensuite, vous avez ajouté une invite de système qui dit, en lettres de plus en plus désespérées, N’UTILISEZ QUE LE CONTEXTe FOURNI. Et ce matin, il a cité avec confiance un document de politique qui n’existe pas.

Vous êtes en bonne compagnie. Lorsque les chercheurs de RegLab et HAI de Stanford ont audité les outils de recherche juridique basés sur l’IA vendus par LexisNexis et Thomson Reuters, des produits commercialisés comme “sans hallucination” grâce à la génération assistée par récupération, ils ont constaté des taux d’hallucination compris entre 17% et 34% sur des requêtes juridiques préenregistrées. Le RAG a réellement aidé : le GPT-4 brut a halluciné beaucoup plus. Mais l’écart entre “réduit” et “éliminé” est là où vivent les systèmes de production, et cet écart a une structure.

L’hallucination dans un pipeline RAG est rarement une seule défaillance. Il s’agit de trois conspirateurs : la récupération échoue discrètement, le modèle a été formé pour répondre quand même, et rien dans le pipeline ne mesure l’espace entre ces deux faits. Changer de modèles n’en résout aucun.

Conspirateur un : la récupération échoue plus souvent que vous ne le pensez

La preuve la plus fraîche ici est également la plus inconfortable. En novembre 2025, une équipe comprenant 18 experts médicaux a produit 80 502 annotations sur 800 sorties RAG sur des requêtes réelles de patients et de style USMLE. Le RAG standard n’a pas seulement sous-performé ; il a dégradé la factualité de jusqu’à 6% et la complétude de 5% par rapport aux mêmes modèles exécutés sans récupération. La cause profonde se trouvait en amont du LLM lui-même : seuls 22% des passages récupérés dans les 16 premiers étaient pertinents pour la requête.

Avant de rejeter cela comme un problème de domaine difficile, Anthropic a mesuré l’échec de récupération sur des corpus propres et curés lors du développement de sa technique de récupération contextuelle et a constaté que la recherche d’embedding standard a échoué à afficher le morceau nécessaire dans les 20 premiers résultats 5,7% du temps. Une requête sur dix-huit, sur des données bien entretenues, sans rien d’exotique en cours.

C’est pourquoi la taxonomie d’ingénierie canonique des défaillances RAG, Barnett et al.’s seven failure points, compte tant : trois des sept (contenu manquant, documents de premier rang manqués et échecs de consolidation de contexte) se produisent avant que le modèle de langage ne génère un seul jeton. Unite.AI a publié une analyse approfondie de cette taxonomie et des cadres d’évaluation qui s’y rattachent, donc je ne la reconstruirai pas ici. Le point que cet article ajoute concerne les incitations : la similarité d’embedding est un proxy de pertinence, et non une garantie de celle-ci, et des travaux théoriques récents de Google DeepMind indiquent que les embeddings de vecteur unique ont des limites mathématiques difficiles sur les combinaisons de documents pertinents qu’ils peuvent représenter. Un récupérateur qui renvoie des morceaux plausibles mais incorrects fait exactement ce que la similarité cosinus fait.

Conspirateur deux : le modèle a été formé pour deviner

Maintenant, donnez ce contexte défectueux à un modèle de langage et demandez ce que la formation du modèle lui a appris à faire avec les lacunes.

OpenAI a répondu directement à cela dans son article de septembre 2025 Why Language Models Hallucinate : la formation et l’évaluation standard récompensent la supposition plutôt que la reconnaissance de l’incertitude. Les benchmarks notent la précision binaire, l’abstention est notée zéro, et ainsi, comme les étudiants face à un examen à choix multiple, les modèles apprennent qu’une supposition confiante bat un blanc. L’article compare cela concrètement : sur SimpleQA, un modèle de raisonnement a abstenu 1% du temps et s’est trompé 75% du temps, tandis qu’un modèle différent a abstenu 52% du temps et a réduit son taux d’erreur à 26%.

Les benchmarks RAG spécifiques montrent ce que cette incitation fait à l’intérieur d’un pipeline. Le RGB benchmark a testé si les modèles refusent de répondre lorsqu’on leur donne uniquement des documents non pertinents. Le meilleur taux de rejet négatif sur tous les modèles testés était de 45%, ce qui signifie que même le meilleur modèle, avec uniquement un contexte de rebut, a répondu quand même plus de la moitié du temps. ClashEval a trouvé l’échec en miroir : lorsque le contenu récupéré contredisait les connaissances que le modèle avait déjà, les modèles ont abandonné leur propre réponse correcte pour le contexte incorrect plus de 60% du temps. La fidélité échoue dans les deux sens, et Salesforce’s FaithEval ajoute la conclusion inquiétante que les plus grands modèles ne sont pas fiablement plus fidèles.

L’équipe d’interprétabilité d’Anthropic a même retracé le mécanisme. Dans leur analyse, le refus est le circuit par défaut du modèle ; une fonction “entité connue” supprime ce refus lorsque le modèle reconnaît quelque chose. L’hallucination se produit lorsque la fonction déclenche une erreur, lorsque le modèle reconnaît la forme de votre question, manque de substance et confabule de manière fluide dans le vide.

Et si vous espérez que la frontière va simplement dépasser cela : le tableau de bord d’hallucination de Vectara mesure quelque chose de beaucoup plus facile que le RAG, en résumant un document unique placé directement devant le modèle, et à partir de sa mise à jour de mai 2026, le GPT-4o a encore fabriqué dans 9,6% des résumés et le Claude Opus 4 dans 12%. Même avec une récupération parfaite, la génération fuit.

La solution instinctive aggrave les choses

Confronté à tout cela, la plupart des équipes se tournent vers le volume. Récupérez plus de morceaux. Achetez la plus grande fenêtre de contexte. Mettez tout ce qui pourrait aider et laissez le modèle le trier.

Les preuves vont dans le sens inverse. L’étude context rot de Chroma a testé 18 modèles, dont le GPT-4.1, le Claude 4 et le Gemini 2.5, et a constaté que les performances devenaient “de plus en plus peu fiables à mesure que la longueur d’entrée augmente”, avec un document distracteur unique qui coupe la précision de manière mesurable et quatre distracteurs qui la coupent de manière substantielle. La recherche Lost in the Middle a trouvé la fameuse courbe en U : les informations enterrées dans le contexte moyen sont ignorées même par les modèles à long contexte. Et l’audit médical ci-dessus est à quoi ressemblent ces dynamiques de bout en bout, un système qui récupère seize passages dont douze ou plus sont non pertinents, puis les remet à un modèle formé à ne jamais dire “Je ne sais pas”.

Plus de récupération sans plus de précision ne fabrique que des distracteurs. La précision bat la recall dans la génération ancrée, et ce n’est pas près.

Conspirateur trois : personne ne mesure l’écart

Barnett et al. ont mis la vérité opérationnelle en une ligne : “la validation d’un système RAG n’est possible que pendant l’exploitation”. Vous ne pouvez pas valider un pipeline RAG en staging, car ses modes de défaillance sont une propriété conjointe de votre corpus, de vos requêtes et de vos utilisateurs, none de ces éléments restant statique.

Pourtant, la plupart des pipelines de production suivent la qualité de réponse de bout en bout au mieux, ce qui confond les deux conspirateurs ci-dessus en un seul nombre inexpliquable. La décomposition standard, parfois appelée la triade RAG, sépare la pertinence du contexte (la récupération a-t-elle trouvé le bon matériau ?), la fidélité (la réponse adhère-t-elle à ce matériau ?) et la pertinence de la réponse (répond-elle à la question ?). Des cadres tels que RAGAS et TruLens les mettent en œuvre. Je serai honnête, aucune enquête rigoureuse n’existe pour quantifier combien d’équipes de production exécutent ceux-ci ; ce qui existe, c’est l’enregistrement des praticiens, et il décrit principalement l’évaluation par des impressions. Si votre équipe n’a pas de tableau de bord distinguant les échecs de récupération des échecs de fidélité, chaque hallucination continuera à ressembler à un problème de modèle, et vous continuerez à acheter des solutions de forme de modèle.

Ce qui fonctionne vraiment, dans l’ordre

Mesurez la récupération séparément de la génération. La solution peu glamour que tout le monde saute, et à mon avis l’élément à plus haute incidence sur cette liste, car il convertit un argument sur quel modèle acheter en un diagnostic. Si la pertinence du contexte est mauvaise, aucun générateur ne peut vous sauver. Si la fidélité est mauvaise avec un bon contexte, aucun récupérateur ne peut.

Construisez la pile de précision. Les chiffres publiés par Anthropic sont la démonstration la plus claire des correctifs de récupération empilés partout : les embeddings de morceaux contextuels ont réduit l’échec de récupération dans les 20 premiers résultats de 5,7% à 3,7%, l’ajout de la recherche hybride BM25 (correspondance de mots clés classique aux côtés de la recherche vectorielle) l’a ramenée à 2,9%, et l’ajout d’un réévaluateur, un modèle de deuxième étape qui réévalue les candidats pour la pertinence réelle, a atteint 1,9%, une réduction totale de 67%. Unite.AI a couvert pourquoi la récupération à deux étapes frappe au-dessus de son poids en détail.

Récompensez l’abstention. La prescription d’OpenAI est de pénaliser les erreurs confiantes plus que l’incertitude exprimée, et vous pouvez mettre en œuvre la version locale aujourd’hui : sollicitez et évaluez les réponses “Je ne sais pas”, et ajoutez un contrôle de fondation, un modèle d’entailment (NLI) qui vérifie chaque affirmation générée est étayée par le texte récupéré avant que la réponse ne soit envoyée. Le travail RAGTruth a montré qu’un petit détecteur affiné peut correspondre au rappel basé sur GPT-4 pour attraper les affirmations non étayées.

Réécrivez les requêtes et filtrez les preuves. Dans l’audit médical, la reformulation de requête et le filtrage des preuves ont récupéré jusqu’à 12 points de factualité. Bon marché, ennuyeux, efficace.

Envisagez la récupération agente en dernier. La récupération multi-étapes qui raisonne sur ce qu’il faut récupérer ensuite (présentation ici) aide réellement les requêtes multi-sauts difficiles, mais elle ajoute de la latence, du coût et de nouveaux modes de défaillance. C’est un couronnement, pas une fondation.

Le modèle était la partie la moins cassée

Regardez en arrière le rituel de l’ouverture. Chaque étape de celui-ci, l’échange d’embedding, la mise à niveau du modèle, l’invite de système criarde, a traité l’hallucination comme un défaut du générateur. Les preuves disent que le générateur faisait ce que sa formation récompensait, avec les matériaux que votre récupérateur lui a remis, non observé par aucune mesure qui aurait pu dire lequel de ceux-ci a échoué.

Votre pipeline RAG n’est pas cassé. Il est obéissant. Il fait exactement ce que ses incitations récompensent, et jusqu’à ce que vous mesuriez la récupération et la génération séparément et fassiez “Je ne sais pas” une catégorie de notation au lieu d’une défaillance, ces incitations disent : devinez.