Лідери думок
Як створити надійну RAG-систему: сім точок відмови та фреймворки оцінювання
Ключові моментиDeepEval інтегрується в CI/CD пайплайни, щоб виявляти регресії RAG до розгортання в…
Показати більше
- DeepEval інтегрується в CI/CD пайплайни, щоб виявляти регресії RAG до розгортання в продакшен.
- RAGAS генерує синтетичні тестові набори для діагностики проблем із отриманням даних та генерацією без використання людських даних.
- Arize Phoenix візуалізує кластери ембеддингів, щоб виявляти прогалини в покритті знань векторної бази даних.
Генерація з доповненням пошуковими даними (RAG) є критично важливою для сучасної архітектури штучного інтелекту, слугуючи основою для створення контекстно-чутливих агентів.
Проте перехід від базового прототипу до системи, готової до експлуатації, потребує подолання значних перешкод у пошуку даних, консолідації контексту та синтезі відповідей.
Ця стаття надає глибокий аналіз семи типових точок відмов RAG та метрик оцінки з практичними прикладами коду.
Анатомія збоїв RAG – 7 точок відмов (TF)
За даними дослідників Барнетта та колег, системи генерації з доповненням пошуковими даними (RAG) зустрічають сім конкретних точок відмов (TF) на всіх етапах роботи.
Нижче наведена діаграма ілюструє ці стадії:

Рисунок A. Процеси індексування та запитів, необхідні для створення системи RAG. Процес індексування відбувається під час розробки, а запити – під час виконання. Точки відмов, визначені в цьому дослідженні, показані червоними квадратами (джерело)
Розгляньмо кожну точку відмови в послідовності етапів, рухаючись від верхнього лівого кута до нижнього правого, як показано на рисунку A.
TF1. Відсутній контент
Контент відсутній, коли системі ставлять запитання, на яке вона не може відповісти, бо потрібної інформації від початку немає в доступному векторному сховищі.
Відмова виникає, коли велика мовна модель (LLM) надає правдоподібну, але хибну відповідь, замість того щоб сказати, що не знає.
TF2. Пропущені найкращі документи
Це ситуація, коли правильний документ існує у векторному сховищі, але пошуковий механізм не може його достатньо високо оцінити, щоб включити його до top-k документів, які передають LLM як контекст.
В результаті правильна інформація ніколи не досягає LLM.
TF3. Не в контексті (обмеження стратегії консолідації)
Це ситуація, коли правильний документ існує і витягнутий з векторного сховища, але виключений під час процесу консолідації.
Це відбувається, коли повернуто занадто багато документів і система повинна їх відфільтрувати, щоб умістити їх у контекстне вікно LLM та дотриматися обмежень токенів і частоти запитів.
TF4. Не витягнутий
Це ситуація, коли LLM не може ідентифікувати правильну інформацію в контексті, хоча правильна інформація була у векторному сховищі і успішно витягнута/консолідована.
Це відбувається, коли контекст надто шумовий або містить суперечливу інформацію, яка плутає LLM.
TF5. Неправильний формат
Це ситуація, коли зберігання, пошук, консолідація та інтерпретація LLM обробляються успішно, але LLM не слідує конкретним інструкціям щодо формату, наданим у запиті, наприклад таблиця, маркований список або схема JSON.
TF6. Невідповідний рівень деталізації
Результат LLM технічно присутній, але або занадто загальний, або занадто складний порівняно з потребами користувача.
Наприклад, LLM генерує прості відповіді на запит користувача зі складною професійною метою.
TF7. Неповні відповіді
Це ситуація, коли LLM генерує результат, який не обов’язково неправильний, але не містить ключових частин інформації, які були доступні в контексті.
Наприклад, коли користувач ставить складне запитання, таке як “Які ключові моменти в документах A, B і C?”, LLM розглядає лише одне або два джерела.
Як TF погіршують продуктивність конвеєра RAG
Кожна з цих TF впливає на продуктивність конвеєрів RAG:
Порушення цілісності даних та довіри
Коли інформація відсутня або хибна, система більше не є надійним джерелом інформації. Основні TF включають:
- TF1 (Відсутній контент): Відповідь не міститься в документі спочатку.
- TF4 (Не витягнутий): LLM вирішує проігнорувати правильну відповідь у документі.
- TF7 (Неповний): LLM надає півправду, пропускаючи важливі частини.
Вузькі місця пошуку та ефективності
Конвеєр RAG може бути неефективним, коли він пропускає ключову інформацію на етапах пошуку та консолідації. Основні TF включають:
- TF2 (Пропущені найкращі документи): Модель ембедингів не може вибрати top-k ембедингів.
- TF3 (Обмеження стратегії консолідації): Скрипт для скорочення документів, щоб вони поміщались у вікно контексту LLM, викидає найважливіші частини.
Помилки користувацького досвіду та форматування
Навіть правильна відповідь може погіршити користувацький досвід, якщо вона нечитабельна або має неправильний формат. Основні TF включають:
- TF5 (Неправильний формат): LLM не слідує конкретному формату виводу, такому як JSON.
- TF6 (Невідповідний рівень деталізації): LLM генерує розгорнуту відповідь на просте запитання «так/ні» або навпаки (занадто коротку відповідь на складне питання).
Стек оцінки: фреймворки для зменшення TF
Метрики оцінки призначені для систематичного мінімізування цих TF.
Ця секція досліджує основні метрики оцінки з практичними прикладами.
Основні метрики оцінки RAG:
- DeepEval
- RAGAS
- TruLens
- Arize Phoenix
- Braintrust
DeepEval – Юніт-тест перед розгортанням
DeepEval обчислює зважений бал за критеріями.
LLM-оцінювач (наприклад, GPT-4o) оцінює результат LLM за кожним критерієм:

DeepEval використовує G-eval, фреймворк ланцюжка міркувань (CoT), який використовує багатокроковий підхід до оцінки виводу:
- Визначте критерій для вимірювання (наприклад, “узгодженість”, “мовна плавність” або “релевантність”).
- Генеруйте оціночні кроки (за допомогою оцінювальної LLM).
- Дотримуйтеся кроків оцінювання та аналізуйте вхідні дані та результат LLM.
- Обчислюйте очікувану зважену суму балів кожного критерію.
Типова ситуація на практиці
- Ситуація: Технічний помічник документації (бот) для складного програмного продукту здається працюючим кожного разу, коли команда інженерів оновлює кодову базу.
- Проблема: Немає кількісних доказів того, що бот все ще може відповісти на запит користувача (Ви просто “думаєте”, що це працює…).
- Рішення: Інтегруйте функцію PyTest як регресійний набір CI/CD у GitHub Actions, де DeepEval запускає
G-Evalта інші метрики над тестовим випадком:
- Очікувані результати: Якщо бал будь-якої метрики падає нижче порогу (0,85), PyTest породжує
AssertionError– негайно припиняючи збірку CI, не допускаючи непомітного погіршення до робочого середовища.
Переваги та недоліки
- Доступні різноманітні метрики (понад 50), зокрема спеціалізовані перевірки упередженості та токсичності.
- Надійно інтегрується з існуючими конвеєрами CI/CD.
- Еталонна відповідь не потрібна. Оцінюйте вихід лише на основі запиту та наданого контексту.
- Якість оцінки сильно залежить від можливостей оцінювальної LLM.
- Високі обчислювальні витрати, якщо для оцінювання використовується LLM високого класу.
Примітка розробника – Тестовий випадок для DeepEval
Набір об’єктівLLMTestCaseвизначає тестовий випадок, який запускає DeepEval.На практиці цей тестовий випадок повинен містити найважливіші запити користувачів та позначені виводи з витягнутим контекстом.
Ці дані можна отримати з файлу JSON або CSV.
RAGAS – Оптимізатор пошуку голки в копиці сіна
Retrieval Augmented Generation Assessment (Ragas) спрямована на оцінку RAG без набору даних, анотованого людьми, завдяки створенню синтетичних тестових наборів.
Потім вона обчислює основні метрики:

Рисунок B. Діаграма оцінки RAGAS, що з’єднує питання, контекст та відповідь через метрики точності, повноти, вірності джерелам та релевантності (автор: Kuriko IWAI)
Основні метрики категоризовані на три групи:
- Пошуковий конвеєр (чорна суцільна лінія, Рисунок B): Точність контексту, повнота контексту.
- Конвеєр генерації (чорна пунктирна лінія, Рисунок B): Вірність, релевантність відповіді.
- Еталонні дані (червона рамка, Рисунок B): Семантична схожість відповіді, правильність відповіді.
Типова ситуація на практиці
- Ситуація: Система RAG для юридичних контрактів не містить ключових пунктів. Ви не впевнені, чи проблема знаходиться в Пошуку (Пошуковому механізмі) або в Читанні (Генераторі).
- Проблема: Немає уявлення про оптимальне top-k (кількість витягнутих шматків).
- Рішення: Використайте RAGAS, щоб створити синтетичний тестовий набір із 100 пар запитів та доказів. Потім запустіть конвеєр RAG проти тестового набору, щоб обчислити повноту контексту та точність контексту:
- Очікуваний результат: В залежності від результатів метрик, план дій може бути наступним:
| Метрика | Бал | Діагностика | План дій |
| Повнота контексту | Низький | Пошуковий механізм пропустив правильну інформацію. | – Збільште топ-k. – Спробуйте гібридний пошук (BM25 + Вектор). |
| Точність контексту | Низький | Top-k фрагментів містять забагато зайвої інформації та шуму, що збиває LLM з пантелику. | – Зменшіть топ-k – Реалізуйте Реранкер (наприклад, Cohere). |
| Вірність | Низький | Генератор марить, хоча дані присутні. | – Коригуйте системний запит. – Перевірте обмеження вікна контексту. |
Таблиця 1. План дій діагностики RAGAS – відображення балів на коригування системи.
Переваги та недоліки
- Ідеально підходить для проекту на ранній стадії без еталонних наборів даних (Як ми бачили у фрагменті коду, RAGAS може створити синтетичний тестовий набір).
- Синтетичний тестовий набір може пропустити тонкі фактичні помилки.
- Потребує потужної моделі виділення тверджень, щоб розбити відповіді на окремі твердження (У прикладі я використав
gpt-4o).
TruLens – Спеціаліст зворотного зв’язку
TruLens зосереджується на внутрішніх механіках процесу RAG, а не лише на кінцевому результаті, використовуючи функції зворотного зв’язку.
Він також використовує оцінку LLM, яка відображає, наскільки добре відповідь задовольняє намір запиту, використовуючи 4-бальну шкалу Лікерта (0-3), що робить його особливо придатним для ранжування якості різних результатів пошуку.
Типова ситуація на практиці
- Ситуація: Бот-медичний радник відповідає на запит користувача правильно, але додає корисну пораду, якої немає в перевіреній базі PDF.
- Проблема: Додана порада може бути корисною, але не підтверджена цими джерелами.
- Рішення: Використайте TruLens, щоб реалізувати функцію зворотного зв’язку для перевірки опори на джерела з порогом, наприклад
score > 0.8.
- Очікувані результати: Коли LLM генерує відповідь, яка містить інформацію, відсутню у витягнутих шматках, TruLens позначає запис у вашій панелі.
Переваги та недоліки
- Візуалізує ланцюжок міркувань, щоб точно визначити, де агент пішов не тією дорогою.
- Має вбудовану підтримку перевірки опори на джерела, щоб виявляти марення в режимі реального часу.
- Потрібно опанувати визначення спеціальних функцій зворотного зв’язку.
- Панель може здаватися громіздкою для простих скриптів.
Arize Phoenix – Карта відмов
Arize Phoenix – це інструмент спостережуваності та оцінювання з відкритим кодом для оцінки результатів LLM, включаючи складні системи RAG.
Розроблений на основі OpenTelemetry компанією Arize AI, він зосереджується на спостережуваності, розглядаючи оцінку LLM як підмножину MLOps.
У контексті оцінки RAG Phoenix особливо ефективний в аналізі ембедингів, використовуючи Uniform Manifold Approximation and Projection (UMAP), щоб зменшити багатовимірні векторні ембединги до 2D/3D-простору.
Цей аналіз ембедингів математично розкриває, чи скупчені невдалі запити семантично, що вказує на пробіл у векторному сховищі.
Типова ситуація на практиці
- Ситуація: Бот підтримки клієнтів працює добре для повернення коштів, але видає безглузді відповіді на питання про гарантії.
- Проблема: Пробіл даних у векторному сховищі (Не можна знайти в журналах).
- Рішення: Використайте Arize Phoenix, щоб створити візуалізацію ембедингів UMAP (UEV), 3D-карту для векторного сховища – щоб накласти запити користувачів на шматки документів.
- Очікувані результати: Візуально побачити кластер запитів користувачів, який потрапляє у темну зону, де немає документів, вказуючи на те, що деякі документи забули завантажити у векторне сховище.
Переваги та недоліки
- Має нативну підтримку OpenTelemetry; інтегрується з існуючими корпоративними стеками моніторингу.
- Найкращий інструмент для візуалізації сліпих плям векторного сховища.
- Менше зосереджено на оцінці, більше на спостережуваності.
- Може бути надмірним для малих застосунків або інструментів з одним агентом.
Braintrust – Захист від регресії промптів
Braintrust призначений для високочастотних ітераційних циклів шляхом використання порівняння різних моделей.
Типова ситуація на практиці
- Ситуація: Команда інженерів оновлює запит від “Відповісти на питання” (Випадок А) до складнішої системної інструкції з 500 слів (Випадок Б).
- Проблема: Покращення запиту для Випадку Б може випадково зламати Випадок А.
- Рішення: Використайте Braintrust, щоб створити золотий набір із набором N ідеальних прикладів (наприклад,
N = 50). Дайте Braintrust запустити порівняння бок о бок (SxS) кожен раз, коли команда оновлює окреме слово у запиті:
- Очікуваний результат: Звіт про відмінності точно показує, які з усіх N = 50 еталонних прикладів покращилися або погіршилися.
Переваги та недоліки
- Надзвичайно швидкий для тестування перед розгортанням.
- Відмінний інтерфейс для нетехнічних зацікавлених сторін для перегляду та оцінки виводу.
- Пропрієтарний/орієнтований на SaaS (хоча вони мають відкриті компоненти).
- Менше вбудованих глибоких метрик порівняно з DeepEval або Ragas.
Підсумок
За використання належних фреймворків оцінювання RAG може бути конкурентоспроможним інструментом для надання LLM контексту, найбільш релевантного для запиту користувача.
Стратегія реалізації: відображення метрик на точки відмов
Хоча немає універсального рішення, Таблиця 2 показує, які метрики оцінки застосовувати для кожної TF, розглянутої в цій статті:
| Точка відмови | Фреймворк оцінювання | Функція для використання |
| TF1: Відсутній контент | RAGAS | Вірність / Правильність відповіді |
| TF2: Пропущені найкращі документи | TruLens | Повнота контексту / Точність контексту |
| TF3: Консолідація | Arize Phoenix | Трасування пошуку та аналіз затримки |
| TF4: Не витягнутий | DeepEval | Вірність / Контекстна повнота |
| TF5: Неправильний формат | DeepEval | G-Eval (Налаштовувані критерії оцінювання) |
| TF6: Рівень деталізації | Braintrust | Ручна оцінка та оцінка бок о бок |
| TF7: Неповний | RAGAS | Релевантність відповіді |
Таблиця 2. Матриця мінімізації точок відмов – Який інструмент вирішує яку TF?
DeepEval і RAGAS можуть використовувати свої метрики вірності для вимірювання порушень цілісності даних (TF1, TF4, TF7).
TruLens використовує свою точність контексту та повноту, щоб вимірювати релевантність контексту до виводу – ефективно оцінюючи TF2.
Arize Phoenix надає візуальний слід процесу пошуку, даючи змогу легко побачити, чи загубився знайдений документ під час консолідації (TF3).
Для помилок користувацького досвіду DeepEval створює спеціальні метрики для оцінки помилок користувацького досвіду, тоді як Braintrust особливо ефективний у порівнянні еталонних наборів даних.












