Motivul Real Pentru Care Conducta RAG Vă Încetează Să Hallucineze

Știți ritualul. Conducta a hallucinat în fața unui client, așa că ați înlocuit modelul de încorporare. Apoi ați actualizat LLM. Apoi ați adăugat un prompt de sistem care spune, în litere din ce în ce mai mari, UTILIZAȚI DOAR CONTEXTUL FURNIZAT. Și astăzi a citat cu încredere un document de politică care nu există.

Sunteți într-o companie bună. Când RegLab și cercetătorii HAI de la Stanford au auditat uneltele de cercetare juridică AI vândute de LexisNexis și Thomson Reuters (TRI ), produse comercializate ca “fără halucinații” datorită generării augmentate de recuperare, au găsit rata de halucinație între 17% și 34% la interogări juridice preînregistrate. RAG a ajutat cu adevărat: GPT-4 brut a hallucinat mult mai mult. Dar golul dintre “redus” și “eliminat” este unde trăiesc sistemele de producție, și acel gol are o structură.

Halucinația într-o conductă RAG este rareori o singură eșec. Este una din trei conspirații: recuperarea eșuează în mod tacit, modelul a fost instruit să răspundă oricum, și nimic în conductă nu măsoară spațiul dintre aceste două fapte. Înlocuirea modelelor nu abordează niciuna dintre ele.

Conspirator unu: recuperarea eșuează mai des decât credeți

Cea mai proaspătă dovadă de aici este și cea mai incomodă. În noiembrie 2025, o echipă care includea 18 experți medicali a produs 80.502 de anotări pe 800 de ieșiri RAG pe interogări reale de pacienți și de stil USMLE. RAG standard nu a făcut doar subperformanță; a degradat faptualitatea cu până la 6% și completețea cu 5% în comparație cu același model care rulează fără recuperare. Cauza de bază a stat în amonte de LLM în întregime: doar 22% din pasajele recuperate în top-16 au fost relevante pentru interogare.

Înainte de a respinge acest lucru ca pe o problemă de domeniu dificil, Anthropic a măsurat eșecul de recuperare pe corpora curate și curate în timp ce dezvolta tehnica sa de recuperare contextuală și a găsit că căutarea standard de încorporare a eșuat în a aduce la suprafață fragmentul necesar în primele 20 de rezultate 5,7% din timp. O interogare din optsprezece, pe date bine îngrijite, fără nimic exotic care se întâmplă.

Acesta este motivul pentru care taxonomia inginerească canonică a eșecurilor RAG, Barnett et al.’s șapte puncte de eșec, contează atât de mult: trei dintre cele șapte (conținut lipsă, documente de top ratate, și eșecuri de consolidare a contextului) apar înainte ca modelul de limbă să genereze un singur token. Unite.AI a publicat o trecere în revistă aprofundată a acestei taxonomii și a cadrului de evaluare care se potrivește cu aceasta, așa că nu o voi reconstrui aici. Punctul pe care acest articol îl adaugă este despre stimulente: similaritatea de încorporare este un proxy pentru relevanță, nu o garanție a acesteia, și lucrările teoretice recente de la Google DeepMind indică faptul că încorporările vectoriale unice au limite matematice stricte cu privire la care combinații de documente relevante pot fi reprezentate în totalitate. Un recuperator care returnează fragmente plauzibile, dar greșite, face exact ceea ce face similaritatea cosinusului.

Conspirator doi: modelul a fost instruit să ghicească

Acum dați această context defectuos unui model de limbă și întrebați ce a învățat modelul să facă cu golurile.

OpenAI a răspuns direct la această întrebare în articolul său din septembrie 2025 De ce modelele de limbă hallucinează: antrenamentul standard și evaluarea răsplătesc ghicirea mai mult decât recunoașterea incertitudinii. Benchmarkele punctează acuratețea binară, abținerea punctează zero, și astfel, ca studenții care se confruntă cu un examen cu multiple alegeri, modelele învață că o ghicire încrezătoare bate un spațiu gol. Articolul face o comparație concretă: pe SimpleQA, un model de raționament a abținut 1% din timp și a fost greșit 75% din timp, în timp ce un frate diferit de reglare a abținut 52% din timp și a redus rata de eroare la 26%.

Benchmark-urile RAG specifice arată ce face această stimulentă în interiorul unei conducte. Benchmark-ul RGB a testat dacă modelele refuză să răspundă atunci când li se dau doar documente irelevante. Cea mai bună rată de respingere negativă de-a lungul tuturor modelelor testate a fost de 45%, ceea ce înseamnă că chiar și cel mai bun model, dat doar cu context de gunoi, a răspuns oricum mai mult de jumătate din timp. ClashEval a găsit eșecul de oglinzi: atunci când conținutul recuperat a contradicționat cunoștințele pe care modelul le avea deja corect, modelele au abandonat propriul răspuns corect în favoarea contextului greșit mai mult de 60% din timp. Loialitatea eșuează în ambele direcții, și Salesforce’s FaithEval adaugă o codă neliniștitoare că modelele mai mari nu sunt în mod fiabil mai loiale.

Echipa de interpretare a lui Anthropic a urmărit chiar mecanismul. În analiza lor, refuzul este circuitul implicit al modelului; o trăsătură “entitate cunoscută” suprimă acel refuz atunci când modelul recunoaște ceva. Halucinația are loc atunci când trăsătura dă greș, atunci când modelul recunoaște forma întrebării dvs., îi lipsește substanța, și confabulează fluent în gol.

Și dacă sperați că frontiera va depăși pur și simplu acest lucru: tabla de clasament a halucinației a lui Vectara măsoară ceva mult mai ușor decât RAG, rezumând un document unic plasat direct în fața modelului, și până la actualizarea sa din mai 2026, GPT-4o a fabricat încă 9,6% din rezumate și Claude Opus 4 în 12%. Chiar și cu recuperarea rezolvată perfect, generarea scurgerilor.

Repararea instinctivă lucrurile mai rele

Confruntat cu toate acestea, majoritatea echipelor ajung la volum. Recuperați mai multe fragmente. Cumpărați fereastra de context mai mare. Băgați tot ce-ar putea ajuta și lăsați modelul să trieze.

Dovezile merg în direcția opusă. Studiul context rot al lui Chroma a testat 18 modele, inclusiv GPT-4.1, Claude 4 și Gemini 2.5, și a găsit performanța crescând “din ce în ce mai nesigură pe măsură ce lungimea de intrare crește”, cu un singur document distractor tăind acuratețea și patru distractori tăind-o substanțial. Cercetarea anterioară Lost in the Middle a găsit U-curvea: informațiile îngropate în mijlocul contextului sunt ignorate chiar și de modelele cu context lung. Și auditul medical de mai sus este ceea ce aceste dinamici arată de la cap la coadă, un sistem care recuperează șaisprezece pasaje din care doisprezece sau mai multe sunt irelevante, apoi le înmânează modelului care a fost instruit să nu spună “Nu știu”.

Mai multă recuperare fără mai multă precizie doar produce distractori. Precizia bate recolta în generarea bazată pe fapte, și nu este aproape.

Conspirator trei: nimeni nu măsoară golul

Barnett et al. au pus adevărul operațional într-o singură linie: “validarea unui sistem RAG este posibilă doar în timpul operațional.” Nu puteți semna o conductă RAG în etapa de testare, pentru că modurile sale de eșec sunt o proprietate comună a corpusului dvs., a interogărilor dvs. și a utilizatorilor dvs., niciunul dintre acestea nefiind stabil.

Cu toate acestea, majoritatea conductelor de producție urmăresc calitatea răspunsului de la cap la coadă, cel mult, ceea ce confundă cei doi conspiratori de mai sus într-un singur număr neverosimil. Dezagregarea standard, uneori numită triada RAG, separă relevanța contextului (a găsit recuperarea materialul potrivit?), fundamentarea (rămâne răspunsul atașat de materialul respectiv?), și relevanța răspunsului (adresează întrebarea?). Cadruri precum RAGAS și TruLens implementează acest lucru. Sunt de acord că nu există niciun sondaj riguros care să cuantifice cât de puține echipe de producție rulează acestea; ceea ce există este înregistrarea practicianului, și aceasta descrie în mare parte evaluarea prin vibrații. Dacă echipa dvs. nu are niciun dashboard care să diferențieze eșecurile de recuperare de la eșecurile de loialitate, fiecare halucinație va continua să arate ca o problemă a modelului, și veți continua să cumpărați reparații modelate.

Ce funcționează cu adevărat, în ordine

Măsurați recuperarea separat de generare. Reparația fără glorie pe care toată lumea o sară, și, în opinia mea, articolul cu cea mai mare forță de pe această listă, pentru că transformă o discuție despre care model să cumpărați într-un diagnostic. Dacă relevanța contextului este rea, niciun generator nu vă poate salva. Dacă fundamentarea este rea cu un context bun, niciun recuperator nu vă poate salva.

Construiți stiva de precizie. Numerele publicate de Anthropic sunt cea mai curată demonstrație a reparațiilor de recuperare împileate de nicăieri: încorporările de fragment contextual au tăiat eșecul de recuperare din primele 20 de rezultate de la 5,7% la 3,7%, adăugarea căutării hibride BM25 (potrivirea cheie de cuvânt clasică alături de căutarea vectorială) a adus-o la 2,9%, și adăugarea unui reevaluator, un model de a doua etapă care reevaluează candidații de fragmente pentru relevanță reală, a ajuns la 1,9%, o reducere totală de 67%. Unite.AI a acoperit de ce recuperarea în două etape lovește mai mult decât greutatea sa în detaliu.

Răsplătiți abținerea. Prescripția OpenAI este de a penaliza erorile încrezătoare mai mult decât incertitudinea exprimată, și puteți implementa versiunea locală astăzi: solicitați și evaluați răspunsurile “Nu știu”, și adăugați o verificare a fundamentării, un model de implicare (NLI) care verifică fiecare pretenție generată este susținută de textul recuperat înainte de a trimite răspunsul. Lucrarea RAGTruth a arătat că un detector mic reglat poate egala promptarea bazată pe GPT-4 la detectarea pretențiilor nesuportate.

Rescrieți interogările și filtrați dovezi. În auditul medical, reformularea interogării plus filtrarea dovezilor a recuperat până la 12 puncte de faptualitate. Ieftin, plictisitor, eficient.

Luați în considerare recuperarea agențială în ultimul rând. Recuperarea multi-pași care se gândește la ce să recupereze următorul (primer aici) ajută cu adevărat la interogări grele multi-sărituri, dar adaugă întârziere, cost și moduri noi de eșec. Este o piatră de temelie, nu o fundație.

Modelul a fost cea mai puțin defectă parte

Priviți înapoi la ritualul de la deschidere. Fiecare pas al acestuia, schimbul de încorporare, actualizarea modelului, promptul de sistem care strigă, a tratat halucinația ca pe o defecțiune a generatorului. Dovezile spun că generatorul a făcut ceea ce îi răsplătește antrenamentul, cu materialele pe care recuperatorul le-a dat, neremarcat de orice metrică care ar fi putut spune care dintre acestea a eșuat.

Conducta dvs. RAG nu este defectă. Este ascultătoare. Face exact ceea ce îi răsplătesc stimulentele, și până când măsurați recuperarea și generarea separat și faceți “Nu știu” o categorie de scorare în loc de eșec, acele stimulente spun: ghici.