RAFT – Подход к дообучению и RAG для доменсифицированного ответа на вопросы

По мере расширения применения крупных языковых моделей в специализированных областях, необходимость в эффективных и действенных методах адаптации становится все более важной. Вступает RAFT (Дополнение дообучения), новый подход, который сочетает сильные стороны дополнения извлечения (RAG) и дообучения, предназначенный конкретно для задач доменсифицированного ответа на вопросы.

Проблема доменной адаптации

Хотя крупные языковые модели предварительно обучены на огромных объемах данных, их способность хорошо работать в специализированных областях, таких как медицинские исследования, юридическая документация или корпоративные базы знаний, часто ограничена. Это ограничение возникает потому, что предварительные данные могут не адекватно представлять нюансы и сложности этих специализированных областей. Чтобы решить эту проблему, исследователи традиционно использовали два основных метода: дополнение извлечения (RAG) и дообучение.

Дополнение извлечения (RAG)

RAG

RAG — это метод, который позволяет крупным языковым моделям получить доступ и использовать внешние источники знаний во время вывода.

Он достигает этого, интегрируя реальное извлечение данных в генеративный процесс, что делает выводы модели более точными и актуальными. RAG состоит из трех основных шагов: извлечение, где собираются соответствующие документы; генерация, где модель производит вывод на основе извлеченных данных; и дополнение, которое уточняет вывод дальше.

Процесс извлечения в RAG начинается с запроса пользователя. Крупные языковые модели анализируют запрос и извлекают соответствующую информацию из внешних баз данных, представляя набор данных, из которого модель может черпать для формирования своих ответов. Фаза генерации затем синтезирует этот ввод в связный нарратив или ответ. Шаг дополнения уточняет генерацию, добавляя контекст или корректируя для связности и актуальности.

Модели RAG можно оценить с помощью различных метрик, оценивающих их способность предоставлять точную, актуальную и актуальную информацию.

Дообучение

supervised-fine-tuning

Дообучение, с другой стороны, предполагает адаптацию предварительно обученной крупной языковой модели к конкретной задаче или области путем дальнейшего обучения на меньшем, задачеспецифическом наборе данных. Этот подход позволяет модели изучать закономерности и согласовывать свои выводы с желаемой задачей или областью. Хотя дообучение может улучшить производительность модели, оно часто не может эффективно включать внешние источники знаний или учитывать несовершенства извлечения во время вывода.

Подход RAFT

RAFT

RAFT — это инновационный метод обучения, предназначенный для улучшения производительности языковых моделей в доменсифицированных задачах, особенно для открытых экзаменов. RAFT отличается от стандартного дообучения тем, что готовит обучающие данные, которые включают вопросы с смесью соответствующих и не соответствующих документов, а также ответы в стиле цепочки мыслей, полученные из соответствующих текстов. Этот метод направлен на улучшение способности моделей не только вспоминать информацию, но и рассуждать и получать ответы из предоставленного контента.

По сути, RAFT дообучает языковые модели, чтобы они были более умелыми в задачах, которые включают чтение и извлечение знаний из набора документов. Обучаясь на обоих “оракульных” документах (которые содержат ответ) и “дистракторных” документах (которые не содержат), модель учится различать и использовать актуальную информацию более эффективно.