RAFT – Подход к дообучению и RAG для домен-специфического вопросо-ответного взаимодействия

По мере расширения применения крупномасштабных языковых моделей в специализированных областях, необходимость эффективных и результативных методов адаптации становится все более критической. Вступает RAFT (Retrieval Augmented Fine Tuning), новый подход, который сочетает сильные стороны retrieval-augmented generation (RAG) и дообучения, предназначенный специально для задач вопросо-ответного взаимодействия в домене.

Проблема домен-адаптации

Хотя крупномасштабные языковые модели предварительно обучены на огромных объемах данных, их способность хорошо работать в специализированных областях, таких как медицинские исследования, юридическая документация или корпоративные базы знаний, часто ограничена. Это ограничение возникает потому, что предварительные данные могут не адекватно представлять нюансы и сложности этих специализированных областей. Чтобы решить эту проблему, исследователи традиционно использовали два основных метода: retrieval-augmented generation (RAG) и дообучение.

Retrieval-Augmented Generation (RAG)

RAG

RAG – это метод, который позволяет крупномасштабным языковым моделям получить доступ и использовать внешние источники знаний во время вывода.

Он достигает этого, интегрируя реальное извлечение данных в процесс генерации, что делает выводы модели более точными и актуальными. RAG состоит из трех основных шагов: извлечение, где собираются соответствующие документы; генерация, где модель производит вывод на основе извлеченных данных; и дополнение, которое уточняет вывод дальше.

Процесс извлечения в RAG начинается с запроса пользователя. Крупномасштабные языковые модели анализируют запрос и извлекают соответствующую информацию из внешних баз данных, представляя набор данных, из которого модель может черпать информацию для формирования своих ответов. Фаза генерации затем синтезирует этот ввод в связный нарратив или ответ. Шаг дополнения уточняет генерацию, добавляя контекст или корректируя для связности и актуальности.

Модели RAG можно оценить с помощью различных метрик, оценивающих их способность предоставлять точную, актуальную и современную информацию.

Дообучение

supervised-fine-tuning

Дообучение, с другой стороны, предполагает адаптацию предварительно обученной крупномасштабной языковой модели к конкретной задаче или области, путем дальнейшего обучения ее на меньшем, задаче-специфическом наборе данных. Этот подход позволяет модели изучить закономерности и выровнять свои выводы с желаемой задачей или областью. Хотя дообучение может улучшить производительность модели, оно часто не может эффективно включить внешние источники знаний или учесть несовершенства извлечения во время вывода.

Подход RAFT

RAFT

RAFT (Retrieval-Aware Fine-Tuning) – это инновационный метод обучения, предназначенный для улучшения производительности языковых моделей в домен-специфических задачах, особенно для открытых вопросов. RAFT отличается от стандартного дообучения тем, что готовит обучающие данные, которые включают вопросы с смесью актуальных и неактуальных документов, а также ответы в стиле цепочки мыслей, полученные из актуальных текстов. Этот метод направлен на улучшение способности моделей не только вспоминать информацию, но и рассуждать и получать ответы из предоставленного контекста.

По сути, RAFT дообучает языковые модели, чтобы они были более профессиональными в задачах, которые включают чтение и извлечение знаний из набора документов. Обучаясь с помощью как “оракульных” документов (которые содержат ответ), так и “дистракторных” документов (которые не содержат ответ), модель учится различать и использовать актуальную информацию более эффективно.

Подготовка обучающих данных

Процесс обучения в RAFT предполагает, что часть данных содержит “оракульные” документы, которые напрямую связаны с ответами, в то время как оставшаяся часть данных состоит только из “дистракторных” документов. Дообучение поощряет модель учиться, когда полагаться на ее внутренние знания (podobно запоминанию) и когда извлекать информацию из контекста.

Режим обучения RAFT также подчеркивает генерацию процессов рассуждения, которые не только помогают в формировании ответа, но и цитируют источники, подобно тому, как человек оправдывает свой ответ, ссылаясь на материал, который он прочитал. Этот подход не только готовит модель к настройке RAG (Retrieval Augmented Generation), где она должна учитывать лучшие извлеченные документы, но и обеспечивает, чтобы обучение модели было независимо от используемого извлекателя, что позволяет гибко применять ее в разных системах извлечения.

Этот подход служит нескольким целям:

1. Он обучает модель идентифицировать и использовать актуальную информацию из предоставленного контекста, имитируя открытую книгу экзамена.
2. Он улучшает способность модели игнорировать неактуальную информацию, критический навык для эффективного RAG.
3. Он знакомит модель со сценариями, в которых ответ не присутствует в контексте, побуждая ее полагаться на свои собственные знания, когда это необходимо.

Другой ключевой аспект RAFT – включение цепочки мыслей в процесс обучения. Вместо того, чтобы просто предоставлять вопросы и ответы, RAFT генерирует подробные объяснения рассуждений, которые включают дословные цитаты из актуальных документов. Эти объяснения, представленные в формате цепочки мыслей, направляют модель через логические шаги, необходимые для получения правильного ответа.

Обучая модель на этих цепочках мыслей, RAFT поощряет развитие сильных способностей рассуждения и улучшает понимание модели того, как эффективно использовать внешние источники знаний.

Оценка и результаты

Авторы статьи о RAFT провели обширные оценки на различных наборах данных, включая PubMed (биомедицинские исследования), HotpotQA (открытое вопросо-ответное взаимодействие) и Gorilla APIBench (генерация кода). Их результаты показали, что RAFT последовательно превосходит базовые модели, такие как дообучение с домен-специфичными данными с и без RAG, а также более крупные модели, такие как GPT-3.5 с RAG.

RAFT улучшает производительность RAG

Например, на наборе данных HuggingFace RAFT достигла точности 74%, что является значительным улучшением на 31,41% по сравнению с дообучением с домен-специфичными данными (DSF) и на 44,92% по сравнению с GPT-3.5 с RAG. Аналогично, на наборе данных HotpotQA RAFT показала прирост точности на 28,9% по сравнению с DSF.

Одним из ключевых преимуществ RAFT является его устойчивость к несовершенствам извлечения. Обучая модель с смесью актуальных и неактуальных документов, RAFT улучшает способность модели различать и отдавать приоритет актуальной информации, даже когда модуль извлечения возвращает неоптимальные результаты.

Авторы продемонстрировали, что дообучение только с “оракульными” документами часто приводит к худшей производительности по сравнению с конфигурациями, которые включают “дистракторные” документы. Это наблюдение подчеркивает важность знакомства модели с различными сценариями извлечения во время обучения, обеспечивая ее готовность к реальным приложениям.

Практические применения и будущие направления

Техника RAFT имеет значительные последствия для широкого спектра практических применений, включая:

1. Системы вопросо-ответного взаимодействия: RAFT можно использовать для создания высокоточных и домен-специфических систем вопросо-ответного взаимодействия, используя как знания модели, так и внешние источники знаний.
2. Управление корпоративными знаниями: Организации с большими базами знаний могут использовать RAFT для разработки индивидуальных систем вопросо-ответного взаимодействия, позволяя сотрудникам быстро получить доступ и использовать актуальную информацию.
3. Медицинские и научные исследования: RAFT может быть особенно ценным в областях, таких как биомедицинские исследования, где доступ к последним находкам и литературе имеет решающее значение для продвижения научного понимания.
4. Юридические и финансовые услуги: RAFT может помочь специалистам в этих областях, предоставляя точные и контекстно-зависимые ответы на основе актуальных юридических документов или финансовых отчетов.

По мере продолжения исследований в этой области мы можем ожидать дальнейших достижений и усовершенствований техники RAFT. Потенциальные будущие направления включают:

1. Изучение более эффективных и результативных модулей извлечения, адаптированных для конкретных областей или структур документов.
2. Интеграция мультимодальной информации, такой как изображения или таблицы, в рамки RAFT для улучшения понимания контекста.
3. Разработка специализированных архитектур рассуждений, которые могут лучше использовать цепочки мыслей, генерируемые во время обучения.
4. Адаптация RAFT к другим задачам обработки естественного языка, помимо вопросо-ответного взаимодействия, таким как суммаризация, перевод или диалоговые системы.

Заключение

RAFT представляет собой значительный шаг вперед в области домен-специфического вопросо-ответного взаимодействия с языковыми моделями. Объединяя сильные стороны retrieval-augmented generation и дообучения, RAFT наделяет крупномасштабные языковые модели способностью эффективно использовать внешние источники знаний, а также выравнивать свои выводы с домен-специфичными закономерностями и предпочтениями.

Через свою инновационную подготовку обучающих данных, включение цепочки мыслей и устойчивость к несовершенствам извлечения, RAFT предлагает мощное решение для организаций и исследователей, стремящихся раскрыть весь потенциал крупномасштабных языковых моделей в специализированных областях.

По мере продолжения роста спроса на домен-специфичные возможности обработки естественного языка, техники, подобные RAFT, будут играть решающую роль в обеспечении более точных, контекстно-зависимых и адаптивных языковых моделей, открывая путь к будущему, где человеческое-машинное взаимодействие станет действительно беспрепятственным и домен-независимым.