Prawdziwa przyczyna, dla której twój pipeline RAG ciągle halucynuje

Znasz ten rytuał. Pipeline halucynował przed klientem, więc zamieniłeś model osadzania. Następnie uaktualniłeś LLM. Następnie dodałeś systemowy prompt, który mówi, w coraz bardziej desperackich wielkich literach, UŻYWAJ TYLKO PODANEGO KONTekSTU. I tym rankiem z pewnością cytował dokument polityczny, który nie istnieje.

Jesteś w dobrej kompanii. Kiedy RegLab i HAI z Stanfordu przeprowadzili audyt narzędzi do badań prawnych AI sprzedawanych przez LexisNexis i Thomson Reuters, produkty marketingowe jako “wolne od halucynacji” dzięki generacji uzupełnionej przez odzyskiwanie, znaleźli stopy halucynacji między 17% a 34% w przypadku wcześniej zarejestrowanych zapytań prawnych. RAG naprawdę pomógł: surowy GPT-4 halucynował o wiele więcej. Ale przepaść między “zmniejszonym” a “wyeliminowanym” jest tam, gdzie żyją systemy produkcyjne, a ta przepaść ma strukturę.

Halucynacja w pipeline RAG jest rzadko jednym niepowodzeniem. To trzy, spiskujące: odzyskiwanie nie powiodło się cicho, model został przeszkolony, aby odpowiedzieć tak czy inaczej, i nic w pipeline nie mierzy przestrzeni między tymi dwoma faktami. Zamiana modeli nie rozwiązuje żadnego z nich.

Spiskowiec jeden: odzyskiwanie nie powiodło się częściej, niż myślisz

Najświeższe dowody tutaj są również najmniej wygodne. W listopadzie 2025 roku zespół, w tym 18 ekspertów medycznych, wyprodukował 80 502 adnotacje w 800 danych wyjściowych RAG w przypadku rzeczywistych pacjentów i zapytań w stylu USMLE. Standardowy RAG nie tylko nie dorównał; obniżył faktualność o 6% i kompletność o 5% w porównaniu z tymi samymi modelami bez odzyskiwania. Przyczyną leżącą u podstaw była odzyskiwanie, a nie LLM: tylko 22% z 16 odzyskanych fragmentów było istotnych dla zapytania.

Przed odrzuceniem tego jako trudnego problemu, Anthropic zmierzył niepowodzenie odzyskiwania na czystych, opracowanych korpusach podczas opracowywania swojej techniki odzyskiwania kontekstowego i stwierdził, że standardowa wyszukiwarka embedding nie powiodła się w przypadku uzyskania potrzebnego fragmentu w wynikach w ciągu 20 razy na 100. Jeden zapytanie na osiemnaście, na dobrze przygotowanych danych, bez niczego egzotycznego.

To jest powodem, dla którego kanoniczna taksonomia inżynierska niepowodzeń RAG, Barnett et al.’s seven failure points, jest tak ważna: trzy z siedmiu (brakująca zawartość, pominięte najwyżej oceniane dokumenty i awarie konsolidacji kontekstu) występują przed wygenerowaniem przez model jednego tokenu. Unite.AI opublikował przemyślaną wędrówkę po tej taksonomii i ramach oceny, które do niej pasują, więc nie będę ją odtwarzał tutaj. Punkt, który ten artykuł dodaje, dotyczy zachęt: podobieństwo osadzania jest proxy dla istotności, a nie gwarancją, a ostatnie prace teoretyczne z Google DeepMind wskazują, że pojedyncze wektory osadzania mają trudne matematyczne ograniczenia dotyczące kombinacji istotnych dokumentów, które mogą reprezentować. Odzyskiwarka, która zwraca prawdopodobne, ale błędne fragmenty, robi dokładnie to, co robi podobieństwo kosinusowe.

Spiskowiec dwa: model został przeszkolony, aby zgadywać

Teraz podaj tę wadliwą kontekst do modelu językowego i zapytaj, czego nauczyła go trening w przypadku luk.

OpenAI odpowiedział na to bezpośrednio w swoim wrześniowym artykule z 2025 roku Dlaczego modele językowe halucynują: standardowy trening i ocena nagradzają zgadywanie bardziej niż uznawanie niepewności. Benchmarki oceniają dokładność binarną, wstrzymanie się ocenia na zero, a więc, jak studenci stający przed egzaminem wielokrotnego wyboru, modele uczą się, że pewna odpowiedź bije pustą. Własne porównanie w artykule czyni to konkretnym: w SimpleQA jeden model rozumowania wstrzymywał się 1% czasu i był błędny 75% czasu, podczas gdy inaczej dostrojony brat wstrzymywał się 52% czasu i zmniejszył swoją częstotliwość błędów do 26%.

Wyniki benchmarków RAG pokazują, co ta zachęta robi wewnątrz pipeline. RGB benchmark przetestował, czy modele odmawiają odpowiedzi, gdy otrzymują tylko nieistotne dokumenty. Najlepszy wskaźnik odmowy negatywnej wśród wszystkich przetestowanych modeli wyniósł 45%, co oznacza, że nawet najlepszy model, otrzymując tylko złą kontekst, odpowiedział tak więcej niż połowę czasu. ClashEval znalazł lustrzane niepowodzenie: gdy odzyskana zawartość sprzeciwia się wiedzy, którą model już miał, modele porzuciły swoją poprawną odpowiedź na rzecz błędnej kontekstu więcej niż 60% czasu. Niewierność zawodzi w obie strony, a Salesforce’s FaithEval dodaje niepokojącą konkluzję, że większe modele nie są niezawodnie bardziej wierne.

Zespół interpretowalności Anthropic nawet prześledził mechanizm. W ich analizie odmowa jest domyślnym obwodem modelu; funkcja “znana jednostka” tłumi tę odmowę, gdy model rozpoznaje coś. Halucynacja występuje, gdy funkcja nie działa, gdy model rozpoznaje kształt Twojego pytania, brakuje mu treści i konfabuluje płynnie w lukę.

A jeśli masz nadzieję, że na froncie po prostu wyrosną z tego: lista liderów halucynacji Vectara mierzy coś znacznie łatwiejszego niż RAG, podsumowując pojedynczy dokument umieszczony bezpośrednio przed modelem, i od czasu jego aktualizacji w maju 2026 roku GPT-4o nadal fałszował w 9,6% podsumowań, a Claude Opus 4 w 12%. Nawet jeśli odzyskiwanie zostanie rozwiązane idealnie, generacja wycieka.

Natychmiastowe rozwiązanie sprawia, że jest gorzej

Stając w obliczu tego, większość zespołów sięga po objętość. Odzyskaj więcej fragmentów. Kup większe okno kontekstowe. Włóż wszystko, co mogłoby pomóc, i pozwól modelowi to rozwiązać.

Dowody idą hard w przeciwnym kierunku. Badanie kontekstu Chroma przetestowało 18 modeli, w tym GPT-4.1, Claude 4 i Gemini 2.5, i stwierdził, że wydajność staje się coraz mniej wiarygodna wraz ze wzrostem długości wejścia, a single dokument rozpraszający zmniejsza znacznie dokładność, a cztery dokumenty rozpraszające ją znacznie. Wcześniejsze badanie Lost in the Middle znalazło słynną krzywą U: informacje pogrzebane w środku kontekstu są ignorowane nawet przez modele o długim kontekście. A audyt medyczny powyżej to wygląda tak, jak te dynamiki wyglądają od końca do końca, system odzyskuje szesnaście fragmentów, z których dwanaście lub więcej jest nieistotnych, a następnie przekazuje stertę modelowi, który jest przeszkolony, aby nigdy nie mówić “nie wiem”.

Więcej odzyskiwania bez większej precyzji po prostu wytwarza rozpraszacze. Precyzja bije recall w ugruntowanej generacji, i to nie jest bliskie.

Spiskowiec trzy: nikt nie mierzy przepaści

Barnett i inni położyli operacyjną prawdę w jednej linii: “walidacja systemu RAG jest możliwa tylko podczas operacji”. Nie możesz zaakceptować pipeline RAG na etapie testowania, ponieważ jego tryby niepowodzenia są wspólną własnością Twojego korpusu, Twoich zapytań i Twoich użytkowników, żadnego z nich nie utrzymuje się.

Jednak większość pipeline produkcyjnych śledzi jakość odpowiedzi od końca do końca, co łączy dwóch spiskowców powyżej w jedną niewyjaśnioną liczbę. Standardowa dekompozycja, czasem nazywana triadą RAG, oddziela istotność kontekstu (czy odzyskiwanie znalazło odpowiedni materiał?), ugruntowanie (czy odpowiedź trzyma się tego materiału?) i istotność odpowiedzi (czy odpowiada na pytanie?). Ramy takie jak RAGAS i TruLens implementują to. Będę szczery, że nie ma surowego badania, które ilościowo określa, jak niewielu zespołów produkcyjnych prowadzi te; to, co istnieje, to rekord praktyka, i w większości opisuje ocenę przez wibracje. Jeśli Twój zespół nie ma pulpitu, który różnicuje niepowodzenia odzyskiwania od niepowodzeń wierności, każda halucynacja będzie wyglądała jak problem modelu, i będziesz kupował rozwiązania w kształcie modelu.

Co naprawdę działa, w porządku

Mierzyć odzyskiwanie oddzielnie od generacji. Nieglamurujące rozwiązanie, które wszyscy pomijają, i moim zdaniem najbardziej efektywny punkt na tej liście, ponieważ przekształca argument o tym, jaki model kupić, w diagnozę. Jeśli istotność kontekstu jest zła, żaden generator nie może cię uratować. Jeśli ugruntowanie jest złe z dobrym kontekstem, żaden odzyskiwarka nie może.

Zbuduj stos precyzji. Liczby opublikowane przez Anthropic to najczystszy dowód naprawdę skutecznych poprawek odzyskiwania gdziekolwiek: kontekstowe osadzanie fragmentów obniżyło niepowodzenie odzyskiwania w pierwszych 20 wynikach z 5,7% do 3,7%, dodanie BM25 hybrydowego wyszukiwania (klasyczne dopasowanie słów kluczowych obok wyszukiwania wektorowego) sprowadziło je do 2,9%, a dodanie ponownego klasyfikatora, drugiego modelu, który ponownie ocenia kandydujące fragmenty pod kątem rzeczywistej istotności, osiągnęło 1,9%, co stanowi łączne zmniejszenie o 67%. Unite.AI opisał dlaczego dwuetapowe odzyskiwanie bije swoją wagę w szczegółach.

Nagradzać powstrzymywanie się. Przepis OpenAI brzmi: karać pewne błędy bardziej niż wyrażaną niepewność, i możesz wdrożyć lokalną wersję już dziś: poproś o i ocenij odpowiedzi “nie wiem”, i dodaj kontrolę ugruntowania, model implikacji (NLI), który potwierdza każde wygenerowane twierdzenie jest wspierane przez odzyskany tekst przed wysłaniem odpowiedzi. Praca RAGTruth pokazała, że mały, dostrojony detektor może dorównać wywoływaniu opartemu na GPT-4 w przypadku wykrywania niepopartych twierdzeń.

Przepisać zapytania i przefiltrować dowody. W audycie medycznym przepisanie zapytania i filtrowanie dowodów odzyskało do 12 punktów faktualności. Tanie, nudne, skuteczne.

Rozważ agenci odzyskiwania na końcu. Wieloetapowe odzyskiwanie, które rozważa, co odzyskać jako następne (podstawy tutaj) naprawdę pomaga w przypadku trudnych, wieloetapowych zapytań, ale dodaje opóźnienia, koszt i nowe tryby niepowodzenia. To jest zwieńczenie, a nie podstawa.

Model był najmniej uszkodzoną częścią

Spójrz ponownie na rytuał z otwarcia. Każdy krok, zamiana osadzania, uaktualnienie modelu, krzykliwy systemowy prompt, traktował halucynację jako wadę generatora. Dowody mówią, że generator robił to, czego jego trening nagradza, z materiałami, które Twoja odzyskiwarka mu podała, nieobserwowanymi przez żaden wskaźnik, który mógłby powiedzieć, który z nich zawiodł.

Twój pipeline RAG nie jest złamany. Jest posłuszny. Robi dokładnie to, czego jego zachęty nagradzają, i dopóki nie zmierzyłeś odzyskiwania i generacji oddzielnie i nie uczyniłeś “nie wiem” kategorią oceny zamiast niepowodzenia, te zachęty mówią: zgadnij.