RAFT – Файн-тюнінг та підхід RAG для домен-специфічного питання-відповіді

Як застосування великих мовних моделей розширюється до спеціалізованих доменів, необхідність ефективних і ефективних технік адаптації стає все більш важливою. З’являється RAFT (Retrieval Augmented Fine Tuning), новий підхід, який поєднує сильні сторони генерації з підтримкою пошукових запитів (RAG) і файн-тюнінгу, розроблений спеціально для завдань домен-специфічного питання-відповіді.

Виклик доменної адаптації

Хоча великі мовні моделі попередньо навчаються на величезних обсягах даних, їхня здатність добре виконувати завдання в спеціалізованих доменах, таких як медичні дослідження, юридичні документи або підприємницькі знання, часто обмежена. Це обмеження виникає через те, що дані попереднього навчання можуть не адекватно представляти нюанси і особливості цих спеціалізованих доменів. Для вирішення цієї проблеми дослідники традиційно застосовували два основних підходи: генерацію з підтримкою пошукових запитів (RAG) і файн-тюнінг.

Генерація з підтримкою пошукових запитів (RAG)

RAG

RAG – це техніка, яка дозволяє великим мовним моделям доступ і використання зовнішніх джерел знань під час інференсу.

Це досягається шляхом інтеграції реального часу пошукових запитів у процес генерації, що робить вивід моделі більш точним і актуальним. RAG складається з трьох основних кроків: пошуковий запит, де збираються відповідні документи; генерація, де модель створює вивід на основі отриманих даних; і доповнення, яке уточнює вивід далі.

Процес пошукового запиту в RAG починається з запиту користувача. Великі мовні моделі аналізують запит і збирають відповідну інформацію з зовнішніх баз даних, представляючи набір даних, з якого модель може витягнути інформацію для формування своїх відповідей. Фаза генерації синтезує цей вхід у кохерентну розповідь або відповідь. Крок доповнення уточнює генерацію, додаючи контекст або коригуючи за кохерентністю і актуальністю.

Моделі RAG можна оцінювати за допомогою різних метрик, оцінюючи їхню здатність надавати точну, актуальну і сучасну інформацію.

Файн-тюнінг

supervised-fine-tuning

Файн-тюнінг, з іншого боку,涉лює адаптацію попередньо навченої великої мовної моделі до конкретного завдання або домену шляхом подальшого навчання на меншому, завдань-специфічному наборі даних. Цей підхід дозволяє моделі вивчити закономірності і привести свої виводи у відповідність з бажаним завданням або доменом. Хоча файн-тюнінг може покращити виконання моделі, він часто не може ефективно включити зовнішні джерела знань або врахувати пошукові неточності під час інференсу.

Підхід RAFT

RAFT

RAFT (Retrieval-Aware Fine-Tuning) – це інноваційний метод навчання, розроблений для покращення виконання мовних моделей у домен-специфічних завданнях, особливо для відкритих книжкових питань-відповідей. RAFT відрізняється від стандартного файн-тюнінгу шляхом підготовки навчальних даних, які включають питання з сумішшю відповідних і невідповідних документів, а також ланцюгові пояснення, отримані з відповідних текстів. Цей метод спрямований на покращення здатності моделей не тільки nhớти інформацію, але і виводити висновки з контексту.

По суті, RAFT файн-тюнінг мовних моделей для виконання завдань, які включають читання і витягування інформації з набору документів. Навчання з “оракульними” документами (які містять відповідь) і “відволікальними” документами (які не містять відповіді) дозволяє моделі вивчити, коли слід покладатися на свою внутрішню інформацію (подібно до запам’ятовування) і коли витягувати інформацію з контексту.

Підготовка навчальних даних

Процес навчання під RAFT включає підготовку навчальних даних, які складаються з пропорції даних, що містять “оракульні” документи, які безпосередньо стосуються відповідей, тоді як решта даних складається тільки з “відволікальних” документів. Файн-тюнінг спонукає модель вивчити, коли слід покладатися на свою внутрішню інформацію (подібно до запам’ятовування) і коли витягувати інформацію з контексту.

Режим навчання RAFT також підкреслює генерацію процесів висновування, які не тільки допомагають у формуванні відповіді, але і цитують джерела, подібно до того, як людина виправдовує свою відповідь, посилаючись на матеріал, який вона прочитала. Цей підхід не тільки готує модель до середовища генерації з підтримкою пошукових запитів (RAG), де їй потрібно розглядати верхні k витягнутих документів, але також забезпечує незалежність навчання моделі від використовуваного пошукового модуля, дозволяючи гнучке застосування в різних пошукових системах.

Цей підхід служить декільком цілям:

1. Він навчає модель ідентифікувати і використовувати відповідну інформацію з контексту, імітуючи відкритий книжковий екзамен.
2. Він покращує здатність моделі ігнорувати невідповідну інформацію, критичний навик для ефективної генерації з підтримкою пошукових запитів.
3. Він знайомить модель зі сценаріями, в яких відповідь не присутня в контексті, спонукаючи її покладатися на свою власну інформацію, коли це необхідно.

Іншим ключовим аспектом RAFT є включення ланцюгових пояснень у процес навчання. Замість простого надання пар питань і відповідей, RAFT генерує детальні пояснення висновків, які включають цитати з відповідних документів. Ці пояснення, представлені у форматі ланцюга висновків, ведуть модель через логічні кроки, необхідні для отримання правильної відповіді.

Навчання моделі на цих ланцюгах висновків, RAFT спонукає розвиток сильних висновкових здібностей і покращує розуміння моделі того, як ефективно використовувати зовнішні джерела знань.

Оцінка і результати

Автори статті про RAFT провели широкі оцінки на різних наборах даних, включаючи PubMed (біомедичні дослідження), HotpotQA (відкриті питання-відповіді) і Gorilla APIBench (генерація коду). Їхні результати показали, що RAFT постійно перевершував базові моделі, такі як домен-специфічний файн-тюнінг з і без генерації з підтримкою пошукових запитів, а також більші моделі, такі як GPT-3.5 з генерацією з підтримкою пошукових запитів.

RAFT покращує виконання генерації з підтримкою пошукових запитів

Наприклад, на наборі даних HuggingFace RAFT досягнув точності 74%, що є суттєвим покращенням на 31,41% порівняно з домен-специфічним файн-тюнінгом (DSF) і на 44,92% порівняно з GPT-3.5 з генерацією з підтримкою пошукових запитів. Подібно, на наборі даних HotpotQA RAFT показав покращення точності на 28,9% порівняно з DSF.

Одним з ключових переваг RAFT є його стійкість до пошукових неточностей. Навчання моделі з сумішшю відповідних і невідповідних документів покращує здатність моделі розрізняти і пріоритезувати відповідну інформацію, навіть коли пошуковий модуль повертає субоптимальні результати.

Автори продемонстрували, що файн-тюнінг тільки з “оракульними” документами часто призводить до гіршої продуктивності порівняно з конфігураціями, які включають “відволікальні” документи. Це відкриття підкреслює важливість знайомства моделі з різними пошуковими сценаріями під час навчання, забезпечуючи її підготовленість до реальних застосунків.

Практичні застосування і майбутні напрямки

Техніка RAFT має суттєві наслідки для широкого спектра практичних застосунків, включаючи:

1. Системи питання-відповіді: RAFT можна використовувати для створення високоточних і домен-специфічних систем питання-відповіді, використовуючи як знання моделі, так і зовнішні джерела знань.
2. Управління знаннями підприємств: Організації з великими базами знань можуть використати RAFT для розробки спеціалізованих систем питання-відповіді, дозволяючи співробітникам швидко отримувати доступ і використовувати відповідну інформацію.
3. Медичні і наукові дослідження: RAFT може бути особливо цінним у доменах, таких як біомедичні дослідження, де доступ до останніх відкриттів і літератури є критично важливим для просування наукового розуміння.
4. Юридичні і фінансові послуги: RAFT може допомогти фахівцям цих галузей, надавши точні і контекстно-чутливі відповіді на основі відповідних юридичних документів або фінансових звітів.

По мірі продовження досліджень у цій галузі можна очікувати подальших удосконалень і розвитків техніки RAFT. Потенційні майбутні напрямки включають:

1. Дослідження більш ефективних і ефективних пошукових модулів, розроблених для конкретних доменів або структур документів.
2. Інтеграція багатомодальної інформації, такої як зображення або таблиці, у рамках RAFT для покращення розуміння контексту.
3. Розробка спеціалізованих архітектур висновування, які можуть краще використовувати ланцюгові пояснення, згенеровані під час навчання.
4. Адаптація RAFT до інших завдань природної мови, окрім питання-відповіді, таких як підсумовування, переклад або діалогові системи.

Висновок

RAFT представляє суттєвий крок вперед у сфері домен-специфічного питання-відповіді з мовними моделями. Об’єднуючи сильні сторони генерації з підтримкою пошукових запитів і файн-тюнінгу, RAFT забезпечує мовним моделям можливість ефективно використовувати зовнішні джерела знань, а також приводити свої виводи у відповідність з домен-специфічними закономірностями і перевагами.

Через інноваційну підготовку навчальних даних, включення ланцюгових пояснень і стійкість до пошукових неточностей, RAFT пропонує потужне рішення для організацій і дослідників, які шукають розблокувати весь потенціал мовних моделей у спеціалізованих доменах.

По мірі зростання попиту на домен-специфічні можливості обробки природної мови техніки, такі як RAFT, будуть відігравати ключову роль у забезпеченні більш точних, контекстно-чутливих і адаптивних мовних моделей, прокладаючи шлях до майбутнього, в якому спілкування людини і машини стане真正 безшовним і домен-агностичним.