Den verkliga anledningen till att din RAG-pipeline fortsätter att hallucinera

Du känner till ritualen. Pipelinen hallucinerade inför en kund, så du bytte ut embeddingsmodellen. Sedan uppgraderade du LLM. Sedan lade du till en systemprompt som säger, i alltmer desperata versaler, ANVÄND BARA DEN TILLGÄNGLIGA SAMMANHANGET. Och i morse citerade den med säkerhet en policysdokument som inte existerar.

Du är i gott sällskap. När Stanfords RegLab och HAI-forskare granskade de AI-verktyg för juridisk forskning som säljs av LexisNexis och Thomson Reuters (TRI ), produkter som marknadsförs som “hallucinationsfria” tack vare retrieval-augmenterad generation, fann de hallucinationsfrekvenser mellan 17% och 34% på förregistrerade juridiska frågor. RAG hjälpte verkligen: rå GPT-4 hallucinerade mycket mer. Men gapet mellan “reducerad” och “eliminerad” är där produktionsystemen bor, och det gapet har en struktur.

Hallucination i en RAG-pipeline är sällan ett enda misslyckande. Det är tre, som konspirerar: retrieval misslyckas tyst, modellen är tränad för att svara ändå, och ingenting i pipelinen mäter gapet mellan dessa två fakta. Att byta modeller åtgärdar ingenting av dem.

Medkonspiratör en: retrieval misslyckas mer ofta än du tror

Den färskaste bevisen här är också den mest obekväma. I november 2025 producerade ett team, inklusive 18 medicinska experter, 80 502 annoteringar över 800 RAG-utdata på riktiga patient- och USMLE-stilfrågor. Standard-RAG underpresterade inte bara; det försämrade faktualiteten med upp till 6% och fullständigheten med 5% jämfört med samma modeller som kördes utan retrieval. Rotorsaken satt uppströms från LLM helt: endast 22% av de topp-16 hämtade passagerna var relevanta för frågan.

Innan du avfärdar detta som ett hårt domänproblem mätte Anthropic retrievalmisslyckande på rena, kuraterade korpusar medan de utvecklade sin kontextuella retrievalteknik och fann att standard-embeddingsökning misslyckades med att hitta den nödvändiga biten i topp-20-resultaten 5,7% av tiden. En fråga av arton, på välgroomade data, med ingenting exotiskt på gång.

Detta är varför den kanoniska ingenjörstaxonomien för RAG-misslyckanden, Barnett et al.’s sju misslyckandepunkter, är så viktigt: tre av de sju (saknad innehåll, missade topprankade dokument och kontextkonsolideringsmisslyckanden) inträffar innan språkmodellen genererar en enda token. Unite.AI har publicerat en grundlig genomgång av den taxonomin och de utvärderingsramar som kartlägger den, så jag kommer inte att återuppbygga den här. Poängen med den här artikeln är om incitamenten: embeddingslikhet är en proxy för relevans, inte en garanti för den, och nyligen teoretiskt arbete från Google DeepMind indikerar att enkla vektorembellningar har hårda matematiska begränsningar för vilka kombinationer av relevanta dokument de kan representera över huvud taget. En retriever som returnerar plausibla men felaktiga bitar gör exakt vad cosinuslikhet gör.

Medkonspiratör två: modellen är tränad för att gissa

Nu ge den felaktiga sammanhanget till en språkmodell och fråga vad modellens utbildning lärde den att göra med gap.

OpenAI svarade direkt på detta i sin september 2025-papper Varför språkmodeller hallucinerar: standardutbildning och utvärdering belönar gissning över erkännande av osäkerhet. Benchmarkmätningar poängsätter binär noggrannhet, avstånd poängsätter noll, och så lär sig modellerna att en självsäker gissning slår en blank. Papperets egen jämförelse gör det konkret: på SimpleQA avstod en resonemodell 1% av tiden och var fel 75% av tiden, medan en annan inställd syskon avstod 52% av tiden och minskade sin felaktighetsgrad till 26%.

De RAG-specifika benchmarkmätningarna visar vad den incitamenten gör inuti en pipeline. RGB-benchmarken testade om modellerna vägrade att svara när de bara fick irrelevanta dokument. Den bästa negativa avvisningsgraden över alla testade modeller var 45%, vilket innebär att även den bästa modellen, givet ingenting annat än skräpkontext, svarade ändå mer än hälften av tiden. ClashEval fann den spegelbilderade misslyckandet: när de hämtade innehållet motsade sig kunskap som modellen redan hade rätt, övergav modellerna sin egen korrekta svar till förmån för den felaktiga kontexten mer än 60% av tiden. Trohet misslyckas i båda riktningarna, och Salesforces FaithEval lägger till den obehagliga kodan att större modeller inte är tillförlitligt mer trogna.

Anthropics tolkningsbarhetsteam har till och med spårat mekanismen. I deras analys är avvisning modellens standardcirkuit; en “känd entitet”-funktion undertrycker den avvisningen när modellen känner igen något. Hallucination inträffar när funktionen misslyckas, när modellen känner igen frågans form, saknar substansen och konfabulerar flytande in i gapet.

Och om du hoppas att fronten ska enkelt växa ur detta: Vectaras hallucinationsledare mäter något mycket enklare än RAG, sammanfattar ett enda dokument som placeras direkt framför modellen, och som av sin maj 2026-uppdatering fabricerade GPT-4o fortfarande i 9,6% av sammanfattningarna och Claude Opus 4 i 12%. Även med retrieval löst perfekt läcker generation.

Den instinktiva lösningen förvärrar problemet

Faced med allt detta, når de flesta team efter volym. Hämta fler bitar. Köp den större kontextfönstret. Stoppa i allt som kan hjälpa och låt modellen sortera ut det.

Bevisen springer hårt åt andra hållet. Chromas kontextrotstudie testade 18 modeller, inklusive GPT-4.1, Claude 4 och Gemini 2.5, och fann prestanda som blev “alltmer opålitlig när indata längden ökar”, med en enda distraktionsdokument som märkbart skar noggrannheten och fyra distraktorer som skar den avsevärt. Den tidigare Lost in the Middle-forskningen fann den nu berömda U-kurvan: information som begravs mitt i kontexten ignoreras även av långkontextmodeller. Och den medicinska revisionen ovan är vad dessa dynamik ser ut som från början till slut, ett system som hämtar sexton passager av vilka tolv plus är irrelevanta, sedan ger högen till en modell som är tränad att aldrig säga “Jag vet inte”.

Mer retrieval utan mer precision tillverkar bara distraktorer. Precision slår recall i grundad generation, och det är inte nära.

Medkonspiratör tre: ingen mäter gapet

Barnett et al. satte den operativa sanningen i en rad: “validering av ett RAG-system är endast möjlig under drift”. Du kan inte godkänna en RAG-pipeline i scenen, eftersom dess misslyckandemönster är en gemensam egenskap hos din korpus, dina frågor och dina användare, vilka inte står stilla.

Men de flesta produktionspipeliner spårar end-to-end-svarskvalitet som bäst, vilket sammanblandar de två medkonspiratörerna ovan till ett enda oförklarligt nummer. Den standardiserade dekompositionen, ibland kallad RAG-triaden, separerar kontextrelevans (hittade retrieval rätt material?), grundadhet (håller svaret fast vid det materialet?) och svarrelevans (tillgodoser det frågan?). Ramverk som RAGAS och TruLens implementerar det. Jag ska vara ärlig och säga att ingen rigorös undersökning finns som kvantifierar hur få produktionslag kör dessa; vad som finns är praktikernas register, och det beskriver i huvudsak utvärdering genom vibbar. Om ditt team inte har någon instrumentpanel som skiljer på retrievalmisslyckanden från trohetsmisslyckanden, kommer varje hallucination att fortsätta se ut som ett modellproblem, och du kommer att fortsätta köpa modellformade lösningar.

Vad som faktiskt fungerar, i ordning

Mät retrieval separat från generation. Den otroliga lösningen som alla hoppar över, och i min åsikt den högsta vinsten på den här listan, eftersom den omvandlar ett argument om vilken modell att köpa till en diagnos. Om kontextrelevans är dålig kan ingen generator rädda dig. Om grundadhet är dålig med bra kontext kan ingen retriever rädda dig.

Bygg precisionstacken. Anthropics publicerade siffror är den renaste demonstrationen av staplade retrieval-lösningar någonstans: kontextuella chunk-embellningar skar topp-20-retrievalmisslyckande från 5,7% till 3,7%, att lägga till BM25-hybrid sökning (klassisk nyckelordsmatchning bredvid vektorsökning) förde det till 2,9%, och att lägga till en omrankare, en andra etapp-modell som omvärderar kandidatbitarna för faktisk relevans, nådde 1,9%, en total minskning med 67%. Unite.AI har täckt varför tvåstegsretrieval slår över sin vikt i detalj.

Belöna avstående. OpenAIs recept är att bestraffa självsäkra fel mer än uttryckt osäkerhet, och du kan implementera den lokala versionen idag: prompt för och utvärdera “Jag vet inte”-svar, och lägg till en grundningskontroll, en implikationsmodell (NLI) som verifierar varje genererat påstående som stöds av det hämtade texten innan svaret skickas. RAGTruth-arbetet visade att en liten finjusterad detektor kan matcha GPT-4-baserad promptning för att fånga osäkra påståenden.

Skriv om frågor och filtrera bevis. I den medicinska revisionen återställde frågeomformulering plus bevisfiltrering upp till 12 poäng av faktualitet. Billigt, tråkigt, effektivt.

Överväg agensretrieval sist. Flerstegsretrieval som resonemera om vad som ska hämtas nästa (primer här) hjälper verkligen till med svåra multi-hop-frågor, men det lägger till latency, kostnad och nya misslyckandemönster. Det är en krona, inte en grund.

Modellen var den minst trasiga delen

Titta tillbaka på ritualen från öppningen. Varje steg av det, embeddingsbytet, modelluppgraderingen, systemprompten som skriker, behandlade hallucinationen som ett fel i generatoren. Bevisen säger att generatoren gjorde vad dess utbildning belönade, med de material som din retriever gav den, oobserverad av någon mätning som kunde ha sagt vilken av dem som misslyckades.

Din RAG-pipeline är inte trasig. Den är lydig. Den gör exakt vad dess incitament belönar, och tills du mäter retrieval och generation separat och gör “Jag vet inte” till en poängkategori istället för ett misslyckande, säger dessa incitament: gissa.