De Echte Reden Waarom Uw RAG-Pijplijn Blijft Hallucineren

U kent de rituelen. De pijplijn hallucineerde voor een klant, dus hebt u het embedding-model gewisseld. Toen hebt u het LLM opgewaardeerd. Toen hebt u een systeemprompt toegevoegd die, in steeds wanhopiger hoofdletters, ALLEEN HET GELEVERDE CONTEXT GEBRUIKEN zegt. En vanmorgen citeerde het met vertrouwen een beleidsdocument dat niet bestaat.

U bent in goed gezelschap. Toen onderzoekers van Stanford’s RegLab en HAI de AI-rechtsonderzoekstools van LexisNexis en Thomson Reuters (TRI ) auditeerden, producten die als “hallucinatievrij” werden gemarkeerd dankzij retrieval-augmenteerde generatie, vonden ze hallucinatiesnelheden tussen 17% en 34% bij vooraf geregistreerde juridische queries. RAG hielp echt: raw GPT-4 hallucineerde veel meer. Maar de kloof tussen “verminderd” en “geëlimineerd” is waar productiesystemen wonen, en die kloof heeft een structuur.

Hallucinatie in een RAG-pijplijn is zelden één falen. Het zijn er drie, samenzweerders: retrieval faalt stil, het model is getraind om toch antwoord te geven, en niets in de pijplijn meet de ruimte tussen die twee feiten. Modelwisseling lost geen van deze problemen op.

Samenzweerder een: retrieval faalt vaker dan u denkt

Het meest recente bewijs is ook het meest oncomfortabel. In november 2025 produceerde een team met 18 medische experts 80.502 annotaties over 800 RAG-uitvoer op echte patiënt- en USMLE-stijlqueries. Standaard RAG leverde niet alleen onder de maat; het degradeerde feitelijkheid tot 6% en volledigheid tot 5% in vergelijking met dezelfde modellen die zonder retrieval draaiden. De oorzaak zat stroomopwaarts van het LLM: slechts 22% van de top-16 opgehaalde passages waren relevant voor de query.

Voordat u dit afdoet als een hard-domeinprobleem, mat Anthropic retrieval-falen op schone, gecurde corpora tijdens de ontwikkeling van zijn contextuele retrieval-techniek en vond standaard embedding-zoekopdrachten faalde om het benodigde stuk in de top 20 resultaten te laten zien 5,7% van de tijd. Één query in achttien, op nette data, met niets exotisch aan de hand.

Dit is waarom de canonieke technische taxonomie van RAG-falen, Barnett et al.’s zeven falenpunten, zo veel uitmaakt: drie van de zeven (ontbrekende inhoud, gemiste top-gerangschikte documenten en contextconsolidatiefalen) gebeuren voordat de taalmodel één token genereert. Unite.AI heeft een grondige walkthrough van die taxonomie en de evaluatiekaders die daarbij horen gepubliceerd, dus ik hoef het hier niet opnieuw op te bouwen. Het punt dat dit artikel toevoegt, is over incentives: embedding-similariteit is een proxy voor relevantie, niet een garantie ervan, en recent theoretisch werk van Google DeepMind geeft aan dat enkele vector-embeddings harde wiskundige limieten hebben voor welke combinaties van relevante documenten ze allemaal kunnen vertegenwoordigen. Een retriever die plausibele maar verkeerde stukken retourneert, doet precies wat cosine-similariteit doet.

Samenzweerder twee: het model is getraind om te gokken

Nu geeft u die gebrekkige context aan een taalmodel en vraagt u wat het model heeft geleerd te doen met gaten.

OpenAI antwoordde hier direct op in zijn paper van september 2025 Why Language Models Hallucinate: standaardtraining en evaluatie belonen gokken boven het erkennen van onzekerheid. Benchmarks scoren binaire nauwkeurigheid, afzien levert nul op, en dus leren modellen dat een vertrouwelijke gok een blanco verslaat. De vergelijking in het paper maakt het concreet: op SimpleQA zweeg één redenemodel 1% van de tijd en was het 75% van de tijd fout, terwijl een andere, anders afgestemde broer 52% van de tijd zweeg en zijn foutenratio terugbracht tot 26%.

De RAG-specifieke benchmarks laten zien wat die incentive doet in een pijplijn. De RGB-benchmark testte of modellen weigeren te antwoorden wanneer ze alleen irrelevante documenten krijgen. De beste negatieve-weigeringssnelheid over alle geteste modellen was 45%, wat betekent dat zelfs de beste modellen, gegeven niets dan rommelcontext, meer dan de helft van de tijd toch antwoordden. ClashEval vond het spiegelbeeldige falen: wanneer opgehaalde inhoud de kennis van het model zelf tegensprak, lieten modellen hun eigen correcte antwoord vaker dan 60% van de tijd vallen ten gunste van de verkeerde context. Getrouwheid faalt in beide richtingen, en Salesforce’s FaithEval voegt de onrustbarende slotakkoord toe dat grotere modellen niet noodzakelijkerwijs betrouwbaarder zijn.

Anthropics interpretatie-team heeft zelfs het mechanisme getraceerd. In hun analyse is weigering het standaardcircuit van het model; een “bekende entiteit”-functie onderdrukt die weigering wanneer het model iets herkent. Hallucinatie gebeurt wanneer die functie misvuurt, wanneer het model de vorm van uw vraag herkent, de essentie mist en soepel in de kloof fabuleert.

En als u hoopt dat de frontier dit gewoon zal ontgroeien: Vectara’s hallucinatie-leaderboard meet iets veel eenvoudigers dan RAG, het samenvatten van een enkel document dat rechtstreeks voor het model wordt geplaatst, en tot de update van mei 2026 fabriceerde GPT-4o nog steeds in 9,6% van de samenvattingen en Claude Opus 4 in 12%. Zelfs met perfecte retrieval lekt generatie.

De instinctieve oplossing maakt het erger

Wanneer u hiermee wordt geconfronteerd, grijpen de meeste teams naar volume. Haal meer stukken op. Koop het grotere contextvenster. Stop alles erin wat maar enigszins kan helpen en laat het model het uitwerken.

De bewijzen lopen hard de andere kant op. Chroma’s context-rot-studie testte 18 modellen, waaronder GPT-4.1, Claude 4 en Gemini 2.5, en vond prestaties die “steeds onbetrouwbaarder worden naarmate de invoerlengte toeneemt”, met één afleidingsdocument dat de nauwkeurigheid meetbaar verlaagde en vier afleiders die het aanzienlijk verlaagden. Het eerdere Lost in the Middle-onderzoek vond de nu beroemde U-curve: informatie die midden in de context wordt begraven, wordt genegeerd, zelfs door modellen met een lange context. En de medische audit hierboven is wat die dynamica eruitziet van begin tot eind, een systeem dat zestien passages ophaalt waarvan twaalf-plus irrelevant zijn, en vervolgens de stapel aan een model geeft dat getraind is om nooit “ik weet het niet” te zeggen.

Meer retrieval zonder meer precisie maakt alleen maar afleiders. Precisie verslaat recall in geaarde generatie, en het is niet eens close.

Samenzweerder drie: niemand meet de kloof

Barnett et al. zetten de operationele waarheid in één regel: “validatie van een RAG-systeem is alleen mogelijk tijdens operationele gebruik.” U kunt een RAG-pijplijn niet aftekenen in de staging, omdat de falenmodi een gezamenlijke eigenschap zijn van uw corpus, uw queries en uw gebruikers, waarvan geen enkel stil staat.

Toch volgen de meeste productiepijplijnen alleen de eind-tot-eind antwoordkwaliteit, wat de twee samenzweerders hierboven samenbrengt in één onverklaarbaar getal. De standaarddecompositie, soms de RAG-driehoek genoemd, scheidt contextrelevantie (vond retrieval het juiste materiaal?), geaardheid (blijft het antwoord bij dat materiaal?) en antwoordrelevantie (komt het antwoord overeen met de vraag?). Kaders als RAGAS en TruLens implementeren dit. Ik zal eerlijk zijn dat er geen rigoureuze enquête bestaat die aangeeft hoe weinig productieteams deze uitvoeren; wat bestaat, is het praktijkrecord, en dat beschrijft meestal evaluatie op gevoel. Als uw team geen dashboard heeft dat retrieval-falen onderscheidt van getrouwheidsfalen, zal elke hallucinatie blijven lijken op een modelprobleem, en zult u blijven investeren in modelvormige oplossingen.

Wat werkt echt, in volgorde

Meet retrieval afzonderlijk van generatie. De onopvallende oplossing die iedereen overslaat, en naar mijn mening het hoogste rendement op deze lijst, omdat het een discussie over welk model te kopen omzet in een diagnose. Als contextrelevantie slecht is, kan geen enkele generator u redden. Als geaardheid slecht is met goede context, kan geen enkele retriever u redden.

Bouw de precisie-stack. Anthropic’s gepubliceerde cijfers zijn de schoonste demonstratie van gestapelde retrieval-oplossingen ergens: contextuele chunk-embeddings sneden top-20 retrieval-falen van 5,7% tot 3,7%, het toevoegen van BM25-hybride zoekopdrachten (klassieke trefwoordmatching naast vectorzoekopdrachten) bracht het tot 2,9%, en het toevoegen van een reranker, een tweede-fase-model dat de kandidaat-chunks opnieuw scoort voor echte relevantie, bereikte 1,9%, een totale reductie van 67%. Unite.AI heeft uitgelegd waarom twee-fase-retrieval boven zijn gewicht puncht in detail.

Beloon onthouding. OpenAI’s recept is om vertrouwelijke fouten zwaarder te straffen dan uitgesproken onzekerheid, en u kunt de lokale versie vandaag al implementeren: vraag om en evalueer “ik weet het niet”-antwoorden, en voeg een grondingscheck toe, een implicatie-model (NLI) dat elke gegenereerde claim verifieert die wordt ondersteund door de opgehaalde tekst voordat het antwoord wordt verzonden. De RAGTruth-werk liet zien dat een kleine, fijngestemde detector GPT-4-gebaseerde prompting kan evenaren bij het vangen van onondersteunde claims.

Schrijf queries en filter bewijs opnieuw. In de medische audit herstelde query-herschrijving plus bewijsfiltering tot 12 punten feitelijkheid. Goedkoop, saai, effectief.

Overweeg agente-retrieval als laatste. Multi-stap-retrieval die redeneert over wat te halen (primer hier) helpt echt bij moeilijke multi-hop-queries, maar het voegt latentie, kosten en nieuwe falenmodi toe. Het is een kroon, geen fundament.

Het model was het minst gebroken onderdeel

Kijk terug naar het ritueel van het begin. Elke stap ervan, het embedding-wisselen, het model upgraden, de systeemprompt die schreeuwt, behandelde hallucinatie als een defect in de generator. Het bewijs zegt dat de generator deed wat zijn training beloont, met de materialen die uw retriever hem gaf, ongezien door elke metric die had kunnen zeggen welke van die twee faalde.

Uw RAG-pijplijn is niet kapot. Het is gehoorzaam. Het doet precies wat zijn incentives belonen, en totdat u retrieval en generatie afzonderlijk meet en “ik weet het niet” een scorecategorie maakt in plaats van een falen, zeggen die incentives: gok.