Насправді причина, через яку ваша система RAG продовжує бачити галюцинації

Ви знаєте ритуал. Система бачила галюцинації перед клієнтом, тому ви замінили модель ембеддингу. Потім ви оновили LLM. Потім ви додали системний промпт, який говорить, усе більш відчаємними великими літерами, ВЖИВАТИ ТІЛЬКИ КОНТЕКСТ, ЯКИЙ БУВ НАДАНО. І цього ранку вона впевнено посилалася на політичний документ, якого не існує.

Ви у добрій компанії. Коли дослідники RegLab Стенфордського університету та HAI провели аудит інструментів юридичних досліджень штучного інтелекту, продаваних компаніями LexisNexis і Thomson Reuters, продуктами, які були маркетовані як “без галюцинацій” завдяки генерації з підтримкою пошукових запитів, вони виявили рівень галюцинацій між 17% і 34% на попередньо зареєстрованих юридичних запитах. RAG дійсно допоміг: сирі GPT-4 бачили галюцинації ще частіше. Але розрив між “зниженим” і “виключеним” є тим місцем, де живуть системи виробництва, і цей розрив має структуру.

Галюцинація в системі RAG рідко буває однією невдачею. Це три змовники: пошук видає помилкові результати тихо, модель була навчена відповідати в будь-якому випадку, і нічого в системі не вимірює простір між цими двома фактами. Заміна моделей не вирішує жодної з цих проблем.

Змова перший: пошук видає помилкові результати частіше, ніж ви думаєте

Свіжий доказ тут також є найбільш незручним. У листопаді 2025 року команда, до складу якої входили 18 медичних експертів, створила 80 502 анотації по 800 результатам RAG на реальних запитах пацієнтів і запитах у стилі USMLE. Стандартний RAG не тільки не виправдав очікувань, але й погіршив фактичність на 6% і повноту на 5% порівняно з тими ж моделями, які працювали без пошукових запитів. Коренева причина лежала вище за LLM: лише 22% з 16 пасажів, отриманих у результаті пошукових запитів, мали відношення до запиту.

Перед тим, як ви відкинути це як проблему складної галузі, команда Anthropic виміряла невдачі пошукових запитів на чистих, відібраних корпусах під час розробки свого контекстуального пошукового механізму і виявила, що стандартний пошук ембеддингів не зміг знайти потрібний фрагмент у перших 20 результатах 5,7% часу. Один запит з十八, на добре підтримуваних даних, без нічого екзотичного.

Це пояснює, чому канонічна інженерна таксономія невдач RAG, сім точок невдач Barnett et al., має таку велику важливість: три з семи (відсутність контенту, пропущені документи верхнього рівня та невдачі консолідації контексту) відбуваються до того, як мова генерує один символ. Unite.AI опублікував детальний огляд цієї таксономії та оцінювальних кадрів, які до неї відносяться, тому я не буду її тут повторювати. Точка, яку ця стаття додає, стосується стимулів: подібність ембеддингу є заміною для релевантності, а не гарантією її, і недавня теоретична робота команди Google DeepMind свідчить про те, що векторні ембеддинги мають математичні обмеження щодо комбінацій релевантних документів, які вони можуть представляти. Пошуковий механізм, який повертає правдоподібні, але неправильні фрагменти, робить саме те, що робить косинусна подібність.

Змова другий: модель була навчена здогадуватися

Тепер передайте цю помилкову інформацію мовній моделі і запитайте, що її навчання вчить робити з пробілами.

OpenAI відповіла на це безпосередньо у своїй статті вересня 2025 року Чому мовні моделі бачать галюцинації: стандартне навчання та оцінювання винагороджують здогадки над визнанням невизначеності. Бенчмарки оцінюють двійкову точність, утримання оцінюється як нуль, і тому моделі вчаться, що впевнена здогадка краще, ніж порожній простір. У статті порівнюється це зcretely: на SimpleQA одна модель утримувалася 1% часу і була неправильною 75% часу, тоді як інша модель, налаштована по-іншому, утримувалася 52% часу і знизила рівень помилок до 26%.

Бенчмарки, специфічні для RAG, демонструють, що цей стимул робить усередині системи. Бенчмарк RGB перевіряв, чи відмовляються моделі відповідати, коли їм передаються лише неважливі документи. Найкращий показник негативної відмови серед усіх моделей, які були протестовані, становив 45%, що означає, що навіть найкраща модель, отримавши тільки неправильний контекст, відповідала все одно більш ніж у половині випадків. ClashEval виявила дзеркальну невдачу: коли контекст суперечив знанням, які модель вже мала правильними, моделі відмовлялися від своїх правильних відповідей на користь неправильного контексту більш ніж 60% часу. Вірність виходить з ладу в обидві сторони, і Salesforce’s FaithEval додає незручний висновок, що більші моделі не є надійно вірними.

Команда інтерпретації Anthropic навіть відстежила механізм. У їхньому аналізі відмову було за замовчуванням моделі; функція “відомої сутності” пригнічувала цю відмову, коли модель впізнавала щось. Галюцинація відбувається, коли ця функція неправильно спрацьовує, коли модель впізнає форму вашого питання, але не має сутності, і плідно заповнює пробіл.

Якщо ви сподіваєтеся, що передовий край просто виросте з цього: таблиця лідерів галюцинацій Vectara міряє щось значно простіше, ніж RAG, підсумовуючи один документ, розміщений безпосередньо перед моделлю, і станом на оновлення травня 2026 року GPT-4o все ще фабрикувала в 9,6% підсумків, а Claude Opus 4 – у 12%. Навіть якщо пошук буде вирішено ідеально, генерація все одно протече.

Інстинктивне виправлення погіршує ситуацію

Стикаючись з усіма цими проблемами, більшість команд хапаються за об’єм. Відновіть більше фрагментів. Купіть більше контекстного вікна. Запхайте все, що може допомогти, і дайте моделі розібратися з цим.

Докази свідчать про протилежне. Дослідження контекстуальної деградації Chroma тестувало 18 моделей, включаючи GPT-4.1, Claude 4 і Gemini 2.5, і виявило, що продуктивність стає “дедалі менш надійною, коли довжина входу зростає”, а один документ-дистрактор помітно знижує точність, а чотири дистрактори знижують її суттєво. Раніше дослідження “Загублені в середині” виявило знаменитий U-криву: інформація, похована в середині контексту, ігнорується навіть довгоконтекстними моделями. А медичний аудит вище показує, як ці динаміки виглядають з кінця в кінець: система, яка відновлює шістнадцять пасажів, з яких дванадцять і більше є неважливими, а потім передає їх моделі, яка ніколи не навчилася говорити “Я не знаю”.

Більше пошукових запитів без більшої точності просто виробляє дистрактори. Точність переважує повноту у ґрунтовній генерації, і це не близьке.

Змова третій: ніхто не вимірює розрив

Barnett et al. поставили оперативну правду в одну лінію: “валідування системи RAG є можливим лише під час операції”. Ви не можете підписати систему RAG на стадії тестування, оскільки її режими невдачі є спільною властивістю вашого корпусу, запитів і користувачів, жодна з яких не залишається на місці.

Все ж таки більшість виробничих систем відстежують лише кінцеву якість відповідей, що з’єднує двох змовників вище в одну незрозумілу цифру. Стандартна декомпозиція, іноді звана RAG-триадою, розділяє релевантність контексту (чи пошук знайшов правильний матеріал?), ґрунтовність (чи відповідь прилипає до цього матеріалу?) і релевантність відповіді (чи вона відповідає на питання?). Кадри, такі як RAGAS і TruLens, реалізують це. Я буду чесним, що жодного суворого опитування не існує, яке кваліфікує, скільки виробничих команд використовують ці кадри; те, що існує, це запис практиків, і він переважно описує оцінку настрою. Якщо ваша команда не має панелі, яка розрізняє невдачі пошукових запитів і невдачі вірності, кожна галюцинація буде продовжувати виглядати як проблема моделі, і ви будете продовжувати купувати рішення у вигляді моделей.

Що насправді працює, в порядку

Виміряйте пошук окремо від генерації. Негламурне виправлення, яке всі пропускають, і на мою думку, найвищий леверажний пункт у цьому списку, оскільки воно перетворює суперечку про те, яку модель купувати, на діагноз. Якщо релевантність контексту погана, жодна генерація не може врятувати вас. Якщо ґрунтовність погана з хорошим контекстом, жоден пошук не може.

Побудуйте стек точності. Числа, опубліковані Anthropic, є найчистішим демонстрацією фіксів пошукових запитів будь-де: контекстні ембеддинги фрагментів знизили невдачі пошукових запитів у топ-20 з 5,7% до 3,7%, додавання гібридного пошуку BM25 (класичного підтримання ключових слів поряд з векторним пошуком) знизили це до 2,9%, а додавання рейтера, другої стадії моделі, яка переоцінює кандидатські фрагменти за фактичну релевантність, досягли 1,9%, загальне зниження на 67%. Unite.AI висвітлив чому двостадійний пошук виходить за свої рамки у деталі.

Винагороджуйте утримання. Рецепт OpenAI полягає в тому, щоб покарати впевнені помилки більше, ніж виражену невизначеність, і ви можете реалізувати місцеву версію сьогодні: запитайте і оцініть відповіді “Я не знаю”, і додайте перевірку ґрунтовності, модель імплікації (NLI), яка підтверджує кожну згенеровану твердження, підтримується отриманим текстом перед відправкою відповіді. Робота RAGTruth показала, що малий дообучений детектор може відповідати GPT-4-основному запиту на виявлення непідтриманих тверджень.

Перепишіть запити і фільтруйте докази. У медичному аудиті переформулювання запитів і фільтрація доказів відновили до 12 пунктів фактичності. Дешево, нудно, ефективно.

Розгляньте агентський пошук останнім. Багатостадійний пошук, який міркує про те, що отримати далі (примірник тут), дійсно допомагає у складних багаторівневих запитах, але він додає затримку, вартість і нові режими невдачі. Це фінал, а не фундамент.

Модель була найменш пошкодженою частиною

Погляньте назад на ритуал з початку. Кожен крок його, заміну ембеддингу, оновлення моделі, крикливий системний промпт, ставили галюцинацію як дефект генератора. Докази свідчать про те, що генератор робив те, що його навчання винагороджує, з матеріалами, які ваш пошуковий механізм йому дав, непоміченим жодним метриком, який міг би сказати, який з них був неправильним.

Ваша система RAG не пошкоджена. Вона слухняна. Вона робить саме те, що її стимули винагороджують, і поки ви не будете вимірювати пошук і генерацію окремо і робити “Я не знаю” категорією оцінювання замість невдачі, ці стимули кажуть: здогадайся.