Чому ваш біомедичний RAG приховує від вас суперечності

Стандартний біомедичний RAG розв’язує конфліктуючі докази тихо в приблизно трьох з чотирьох запитів. Виправлення є структурним, а не інформаційним — і більшість верхньої складності, яку додають команди, не допомагає.

Задайте клінічному помічнику з підтримкою пошуку просте питання — допомагає мелатонін при джетлагу? — і література, яку він знайде, не погодиться з собою.

Огляд Cochrane review дійшов висновку, що мелатонін є надзвичайно ефективним, з вісьмома з десяти включених досліджень, які показали зниження джетлагу на польотах, які перетинають п’ять або більше часових зон. Рандомізоване, подвійне сліпе дослідження 257 норвезьких лікарів в Американському журналі психіатрії не виявило жодної користі від будь-якого з трьох режимів мелатоніну.

Обидва документи реальні. Обидва методологічно серйозні. Будь-який клініцист, який вирішує, що порадити, повинен знати, що вони не погоджуються.

При контрольованому тестуванні синтез зазвичай не казав так. Він створив плавний, правильно процитований абзац, який став на одну сторону і ніколи не сигналізував про існування іншої сторони.

Це суперечливість сліпота. На біомедичному бенчмарку, парному суперечливості, це трапилося в 72,6 відсотка запитів (95% CI 0,697–0,755). Вихід виглядав нормально. Цитати розрізнялися правильно. Стандартні перевірки якості пройшли. Суперечливість просто зникла.

Режим відмови, який виглядає як успіх

Хоча немає прямого збігу в біомедично пов’язаних доказах, дослідження показують суперечливі результати між використанням спостережних досліджень та рандомізованих контрольованих досліджень (РКД) та різними методами, використаними для різних популяцій пацієнтів; однак дослідження також можуть включати як сильну, так і слабку методологію, яка, здавалося б, мала б однакову вагу.

Це не унікальний випадок. Аналіз Ioannidis найбільш цитованих клінічних досліджень виявив, що 16 відсотків найбільш цитованих досліджень були пізніше спростовані прямо, і що спостережні дослідження були набагато більш схильні до спростування або перегляду їхніх ефектів у порівнянні з рандомізованими дослідженнями — п’ять із шести проти дев’яти з тридцяти дев’яти. Отже, проблема не лише у суперечливості серед досліджень, а радше у структурній частині літератури самої по собі.

Отже, як критична функція будь-якої біомедичної системи генерації з підтримкою пошуку, генерація доказів про суперечності між дослідженнями повинна бути основною метою. Однак більшість систем не можуть виконати цю задачу. Використання HealthContradict бенчмарка з 920 парами суперечливих прикладів показало, що стандартна система генерації з підтримкою пошуку не змогла згенерувати суперечності в приблизно 73 відсотках тестових пар. Проблема не полягає у пошуку. Система знаходить обидві сторони. Потім вона розв’язує конфлікт тихо, на користь однієї з них.

Ручний огляд 50 випадків відмов виявив закономерність, яку я назвав епістемологічним сплескуванням. Обидва документи окремо процитовані моделлю, а її відтворення конфлікту описується в термінах градієнтів впевненості (“анекдотичні дані… наукові дослідження вказують…”) так, якби конфлікту не існувало. Менше 5 відсотків цих випадків відмови використовували слова “суперечливість”, “конфлікт” чи “несогласність” взагалі. Вихід, згенерований моделлю, мав точність цитування 0,99. Саме це і є суттю справи: точність цитування не означає усвідомлення суперечливості. Система може прив’язати кожну пропозицію ідеально і все ж таки сказати клініцисту щось, чого не підтримує доказова база.

Три особливості “синтезу” RAG створюють небезпечну клінічну обстановку.

Інверсія цінності пропозиції. Мета RAG полягає в тому, щоб відображати докази, що стосуються клініцистів. Отже, видаливши аспекти цих доказів, які є найбільш важливими для клініцистів для розгляду, вона фактично досягає свого протилежного.

Створення невидимості. Поскольку немає ні геджування, ні обрізання, ні форматного артефакту; “сплеснений” синтез і вірний синтез виглядають нерозрізними на екрані.

Тихе сплескування у масштабі. Нічого в стандартному наборі оцінки не позначає його, тому система може працювати в режимі виробництва протягом місяців, поки кожен суперечливий запит тихо розв’язується в одному напрямку.

Інформація не є важелем

Очевидним рішенням цієї проблеми було б інформувати модель. Чітко, якщо режим відмови полягав у тому, що модель не ідентифікувала, що два документи суперечили, ви могли б просто додати ярлик “підтримка” чи “суперечливість” до кожного з витягнутих документів. Це повинно було б очевидно покращити продуктивність моделі. Це не відбулося.

У експерименті, в якому ми додали ярлики позиції (за допомогою анотації), щоб явно дати моделі інформацію про те, що два документи суперечили, ми виявили, що явна анотація позиції перемістила сліпоту суперечливості з 93,8 відсотка в контрольній групі без анотації до 91,4 відсотка — різниця з перекриваються інтервалами впевненості і без практичної значущості. Хоча модель отримала інформацію про те, що два документи суперечили, її стандартна реакція залишилася незмінною.

Зрозуміти механізм тут корисно. Інформація, додана пасивно до запиту, не змінює стандартну реакцію моделі. Для біомедичних запитів, пов’язаних з суперечливими доказами, ця реакція сильно схиляється до єдиної консолідованої позиції. Ярлики позиції стають додатковими токенами — часто переробленими у заголовки розділів — тоді як проза повертається до типу.

Структура є важелем

Що спрацювало, було структурним, а не інформаційним; замість надання моделі всього, що є фактичним або правильним щодо документів, структура вимагала, щоб синтез будувався у термінах можливих суперечностей (Угода, Суперечливість, Якість доказів, Висновок). Скелетний запит надає моделі не більше інформації, ніж контроль без анотації. Єдина різниця полягає в тому, що модель повинна робити.

Було зниження приблизно дев’ятнадцять разів — з 93,8 відсотка до 4,9 відсотка — у сліпоті суперечливості без будь-якого повторного навчання, без будь-яких модифікацій конвеєра, без будь-якого збільшення затримки і без будь-якого збільшення витрат на запит.

Це не покращене мислення. Це просто примусове розподілення. Як тільки модель повинна надати розділ “Суперечливість”, вона повертається до документів, які вона спочатку витягнула, шукаючи щось, щоб включити в цей розділ.

Сліпота суперечливості під трьома умовами синтезу в контрольованому аналізі. Додавання інформації про позицію перемістило рівень на 2,4 пункти; зміна структури виводу перемістила його на 86,5.

Структурне запитування менше про поліпшення здатності моделі мислити і більше про надання легкого управління поведінкою генерації моделі щодо розподілу простору виводу. Воно примушує модель витратити певну кількість свого простору виводу на суперечливість (різниця між інформацією, яка доступна, і інформацією, яка повинна з’явитися, щоб задовольнити вимогам).

Це змінює спільну архітектурну припущення. Більшість запропонованих покращень RAG додають інформацію до контексту: більше документів, оцінки пошуку, ярлики позиції, метадані якості доказів. Якщо синтезований запит не має конкретних вимог до цієї інформації для формування структури виводу, більшість з них не змінить поведінку моделі. Зміна входу зсуває масу на межах; зміна структури виводу змінює розподіли напряму

Чому очікувані допоміжники не допомагають

Два елементи, які зазвичай вважаються необхідними для усвідомлення суперечливостей біомедичного RAG, показали дуже мало при тестуванні з контрольованою абляцією.

1) Розклад PICO. PICO (Популяція, Інтервенція, Порівняння, Результат) — це організований спосіб розбиття клінічних запитів на складові частини для використання в доказовій медицині. Гіпотеза полягала в тому, що розкладання заяв на поля PICO обмежить дрейф обсягу і покращить виявлення суперечностей серед гетерогенних доказів. Видалення цього рівня призвело до виводу, майже нерозрізнимого від того, який був згенерований повною системою. Хоча PICO може бути корисним для організації думок під час клінічного прийняття рішень; як подразумівана інформація в момент аналізу для підтримки виявлення суперечностей, він не має жодного вимірного внеску.

2) Явна класифікація позиції. На відміну від видалення рівня PICO, явна класифікація позиції показала погані результати, але по-іншому. На чистих академічних корпусах вона дала невеликі вигоди на деяких метриках. Однак під час аналізу шумових веб-текстів — які зазвичай мають доступ до інформації споживчих програм охорони здоров’я — класифікатор повернув NOT_ENOUGH_INFO для більшості документів, головним чином тому, що автори споживчих матеріалів охорони здоров’я зазвичай не заявляють про свою позицію за допомогою декларативної мови, очікуваної класифікатором. Отже, ці ярлики, як неінформативні, потім були пропаговані в контекст синтезу як шум. Видалення етапу для шумових корпусів трохи покращило виявлення суперечностей.

Фактичний瓶aggable є якості сигналу вгорі

Найважливіший висновок цього дослідження полягає в тому, що здатність розпізнавати суперечливості в джерелах обмежена тим, наскільки точна інформація (дані) про ці джерела, більше ніж тим, як вони були побудовані чи структуровані.

Використання якості доказів — пропорція випадків, коли синтез віддає перевагу вищій якості джерела, коли обидва доступні, — було 0,83 на чистих наукових абстрактах і впало нижче 0,15 на шумових веб-даних. Семантична вірність цитування слідувала相同ній схемі, від 0,66 на абстрактах до 0,45 на споживчому контенті охорони здоров’я.

Тотожні конвеєри, різні корпуси. Обробка суперечностей обмежена явністю сигналів у джерельних документах.

Є структурна причина цього. Реальні витягнуті документи часто缺ують сигнали, на які залежить будь-який класифікатор або механізм вагомості: метадані типу публікації, явні заяви про позицію, описи методології. Абстракти рецензованих статей роблять твердження декларативно щодо конкретних популяцій, методологій та результатів. Ті самі твердження робляться в анекдотичній, переконливій та ухиляльній мові в споживчих статтях охорони здоров’я. Тому ідентичні системи виробляють драматично різні поведінки вниз за течією, залежно від того, що вони отримують на вході.

Це також підтверджується найбільшим експертним оцінюванням медичної RAG, опублікованим досі, в якому вісімнадцять медичних експертів внесли 80 502 анотації по 800 вивідам моделі. Лише 22 відсотка з 16 найкращих витягнутих пасажів були актуальними. Стандартний RAG погіршив фактичність і повноту порівняно з базовими моделями без RAG. Пошук і вибір доказів, а не генерація, були домінуючими точками відмови — ехо того, про що бенчмарк-робота про медичну RAG повідомляє вже два роки.

Хоча є відносно обмежене застосування цього висновку в термінах застосування, можна висновити, що здатність вашої системи обробляти суперечливості при витягуванні з абстрактів PubMed не може бути перенесена на споживчу веб-сторінку, незалежно від того, наскільки просунута ваша система.

Сліпота власна оцінки

Вимірювання обробки суперечностей складніше, ніж здається, і навіть стандартний підхід до вимірювання обробки суперечностей має свою власну сукупність проблем.

Оцінка LLM-judge представляє найпоширеніший спосіб оцінки відкритого виводу RAG щодо обробки конфліктів і також відрізняється від перевірок структурної згоди щодо того, як вони розроблені. Стратегії запитів, які організовують синтез у поля PICO, отримують високі оцінки від суддів, тоді як провалюють явні перевірки згоди зовсім. Це очікувано: судді LLM віддають перевагу довшим, більш елегантним відповідям і також будуть вважати закопану застереження в розділі результатів ретельністю, коли нічого в рівні прозі не посилається на конфлікт.

Стратегія пошуку вводить другу пастку. Випадковий пошук дає рівень сліпоти суперечливості нуль — синтез не може не визнати суперечливість, якої немає у витягнутому наборі. Максимальна маржинальна актуальність пошuku, з іншого боку, знизила семантичну вірність цитування до 0,11. Кожна з них виглядає прийнятною під однією метрикою обробки суперечностей, але обидві не задовольняють парній оцінці.

Отже, спаруйте метрики. Виконайте три перевірки на кожному синтезі: детерміновану структурну перевірку для вираженого мовлення, яке визнає конфлікт; оцінку LLM для глибини та балансу; і семантичну перевірку цитування, яка підтверджує, що цитовані дані відповідають своєму джерелу. Кожна з них визначає те, чого інші не можуть. Жодна з них не може бути довірливою сама по собі як бенчмарк для обробки суперечностей.

Чотири дії на цей квартал

1. Тестуйте свій базовий рівень. Кожна біомедична, клінічна, регуляторна система RAG у виробництві повинна бути протестована на сліпоту суперечливості до подальшого розгортання. Для виконання тесту вам потрібен набір тестових прикладів, парних суперечностей, і перевірка на запит, щоб вивід сигналізував суттєву суперечливість. Базовий рівень 72,6 відсотка не є округленням.
2. Реалізуйте структуровані запити на синтез. Чотири (обов’язкові) розділи — угода, суперечливість, якість доказів, висновок — примушують смугу виводу на суперечностях. Не потрібно жодної нової інфраструктури; жодного повторного навчання; жодної затримки на запит; одна зміна дала зниження суперечливості майже у дев’ятнадцять разів!
3. Не використовуйте пошук MMR для запитів, чутливих до суперечностей. Хоча MMR використовує диверсифіковані документи для тематичного покриття, він не оптимізований для покриття позиції — що неправильно, коли метою є витягування обох сторін суперечливості. Тому слід використовувати пошук bm25 плюс вкладення як безпечний варіант за замовчуванням. Однак диверсифікація, чутлива до позиції, була б напрямком, на який вказує ця робота.
4. Спаруйте свої метрики оцінки. Відставте оцінку LLM-judge. Об’єднайте її з структурною перевіркою на наявність суттєвого змісту під заголовками визнання та семантичною перевіркою цитування, яка підтверджує, що цитовані дані підтримують заявлене твердження.

Ширше питання

Домінантний інстинкт у розробці RAG є адитивним: кращі пошуковики, кращі перерахувальники, багатіше метадані, довші вікна контексту. Обговорення галузі про чому конвеєри RAG все ще не працюють у виробництві здебільшого слідували相同ній схемі. Для обробки суперечностей ефективним ходом було субтративним — обмеженням того, що система дозволена виводити, а не розширенням того, що їй дано. Один чотиричастинний запит на синтез перевершив п’ятистадійний конвеєр. Він зробив це, змінивши те, що модель повинна виробляти, а не те, що модель могла бачити.

Це не робить архітектуру неважливою. Пошук встановлює стелю, випадковий пошук робить синтез безглуздим, а погана якість доказів обмежує все вниз за течією. Це чому питання чи системи RAG розв’язують проблему надійності продовжує з’являтися. Однак те, що визначає, чи представлені суперечливі докази як суперечливі, виявляється пізніше в конвеєрі і дешевше змінити, ніж багато інших компонентів, що означає, що зміни, необхідні для покращення надійності, можуть відбутися раніше.

Дорогу роботу — кращі набори даних суперечностей, явні сигнали суперечливого тренування, пошук, чутливий до позиції, бенчмарки, чутливі до суперечностей — все ще потрібно зробити, і це займе значно більше часу.

Отже, якщо ви хочете знати, чи поверхня вашої системи суперечливих доказів як суперечливих, вам слід задати собі незручне питання і знайти відповідь цього тижня: Чи говорить ваша система користувачам, коли її докази суперечать?