RAFT – Підход до доопрацювання та RAG для питань із особливими областями

Оскільки застосування великих мовних моделей розширюється до спеціалізованих областей, потреба в ефективних та ефективних техніках адаптації стає дедалі більш важливою. Зустрічайте RAFT (Retrieval Augmented Fine Tuning), новий підхід, який поєднує сильні сторони генерації з підтримкою пошуку (RAG) та доопрацювання, спеціально розроблений для завдань із особливими областями питань та відповідей.

Виїзд налаштування області

Хоча великі мовні моделі попередньо навчаються на величезних обсягах даних, їхня здатність добре працювати в спеціалізованих областях, таких як медичні дослідження, юридичні документи або корпоративні знання, часто обмежена. Це обмеження виникає через те, що дані попереднього навчання можуть не адекватно представляти нюанси та особливості цих спеціалізованих областей. Для вирішення цієї проблеми дослідники традиційно застосовували два основні методи: генерацію з підтримкою пошуку (RAG) та доопрацювання.

Генерація з підтримкою пошуку (RAG)

RAG

RAG – це техніка, яка дозволяє великим мовним моделям доступ та використання зовнішніх джерел знань під час інференції.

Вона досягає цього шляхом інтеграції реального пошуку даних у процес генерації, роблячи висновки моделі більш точними та актуальними. RAG складається з трьох основних кроків: пошуку, де збираються відповідні документи; генерації, де модель створює висновок на основі отриманих даних; та доповнення, яке додатково уточнює висновок.

Процес пошуку в RAG починається з запиту користувача. Великі мовні моделі аналізують запит та отримують відповідну інформацію з зовнішніх баз даних, представляючи набір даних, з якого модель може витягнути відповіді.

Моделі RAG можна оцінювати за допомогою різноманітних метрик, які оцінюють їхню здатність надавати точну, актуальну та актуальну інформацію.

Доопрацювання

supervised-fine-tuning

Доопрацювання полягає в адаптації попередньо навченої великої мовної моделі до конкретної задачі або області шляхом подальшого навчання на меншому, задачо-орієнтованому наборі даних. Цей підхід дозволяє моделі вивчити закономірності та вирівняти свої висновки з бажаною задачею або областю. Хоча доопрацювання може покращити результати моделі, воно часто не може ефективно включити зовнішні джерела знань або врахувати недоліки пошуку під час інференції.

Підхід RAFT

RAFT

RAFT – це інноваційний метод навчання, розроблений для покращення результатів мовних моделей у завдань із особливими областями, особливо для відкритих іспитів. RAFT відрізняється від стандартного доопрацювання шляхом підготовки навчальних даних, які включають питання з сумішшю відповідних та невідповідних документів, а також ланцюгові висновки, отримані з відповідних текстів. Цей метод спрямований на покращення можливостей моделей не тільки згадувати інформацію, але й розуміти та виводити висновки з наданих даних.

По суті, RAFT доопрацювання мовних моделей для виконання завдань, які включають розуміння прочитаного та витягування інформації з набору документів. Навчання з обома “оракулами” документів (які містять відповідь) та “відволікальними” документами (які не містять) дозволяє моделі вивчити, коли слід покладатися на свою внутрішню інформацію (подібно до запам’ятовування) та коли витягувати інформацію з контексту.