Прямая Оптимизация Предпочтений: Полное Руководство

import torch
import torch.nn.functional as F

<p>class DPOTrainer:
def __init__(self, model, ref_model, beta=0.1, lr=1e-5):
self.model = model
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
&quot;&quot;&quot;
pi_logps: логарифмические вероятности политики, форма (B,)
ref_logps: логарифмические вероятности модели-эталона, форма (B,)
yw_idxs: индексы предпочитаемых завершений в [0, B-1], форма (T,)
yl_idxs: индексы непредпочитаемых завершений в [0, B-1], форма (T,)
beta: температура, контролирующая силу штрафа KL</p>

<p>Каждая пара (yw_idxs[i], yl_idxs[i]) представляет индексы одной пары предпочтений.
&quot;&quot;&quot;</p>

<p># Извлечение логарифмических вероятностей для предпочитаемых и непредпочитаемых завершений
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p># Расчет логарифмических отношений
pi_logratios = pi_yw_logps - pi_yl_logps
ref_logratios = ref_yw_logps - ref_yl_logps</p>

<p># Расчет потерь DPO
losses = -F.logsigmoid(self.beta * (pi_logratios - ref_logratios))
rewards = self.beta * (pi_logps - ref_logps).detach()</p>

return losses.mean(), rewards

<p>def train_step(self, batch):
x, yw_idxs, yl_idxs = batch
self.optimizer.zero_grad()</p>

<p># Расчет логарифмических вероятностей для модели и модели-эталона
pi_logps = self.model(x).log_softmax(-1)
ref_logps = self.ref_model(x).log_softmax(-1)</p>

<p># Расчет потерь
loss, _ = self.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)
loss.backward()
self.optimizer.step()</p>

return loss.item()

<p># Использование
model = YourLanguageModel() # Инициализация вашей модели
ref_model = YourLanguageModel() # Загрузка предварительно обученной модели-эталона
trainer = DPOTrainer(model, ref_model)</p>

<p>for batch in dataloader:
loss = trainer.train_step(batch)
print(f&quot;Потери: {loss}&quot;)

Проблемы и Будущие Направления

Хотя DPO предлагает значительные преимущества над традиционными подходами RLHF, все еще существуют проблемы и области для дальнейших исследований:

а) Масштабируемость до Больших Моделей:

Когда языковые модели продолжают расти в размере, эффективное применение DPO к моделям с сотнями миллиардовов параметров остается открытой проблемой. Исследователи изучают методы, такие как:

• Эффективные методы тонкой настройки (например, LoRA, префиксная настройка)
• Оптимизации распределенного обучения
• Градиентное чекпоинтинг и обучение с смешанной точностью

Пример использования LoRA с DPO:

<p>from peft import LoraConfig, get_peft_model</p>

<p>class DPOTrainerWithLoRA(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, lora_rank=8):
lora_config = LoraConfig(
r=lora_rank,
lora_alpha=32,
target_modules=[&quot;q_proj&quot;, &quot;v_proj&quot;],
lora_dropout=0.05,
bias=&quot;none&quot;,
task_type=&quot;CAUSAL_LM&quot;
)
self.model = get_peft_model(model, lora_config)
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p># Использование
base_model = YourLargeLanguageModel()
dpo_trainer = DPOTrainerWithLoRA(base_model, ref_model)

б) Мультитасковая и Адаптация с Немногими Выстрелами:

Разработка методов DPO, которые могут эффективно адаптироваться к новым задачам или областям с ограниченными данными о предпочтениях, является активной областью исследований. Подходы, которые изучаются, включают:

• Мета-обучение для быстрой адаптации
• Настройка на основе подсказок для DPO
• Перенос обучения из общих моделей предпочтений в конкретные области

в) Обработка Неоднозначных или Противоречивых Предпочтений:

Реальные данные о предпочтениях часто содержат неоднозначности или противоречия. Улучшение устойчивости DPO к таким данным является важным. Потенциальные решения включают:

• Вероятностное моделирование предпочтений
• Активное обучение для разрешения неоднозначностей
• Агрегация предпочтений с помощью нескольких агентов

Пример вероятностного моделирования предпочтений:

<p>class ProbabilisticDPOTrainer(DPOTrainer):
def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob):
# Расчет логарифмических отношений
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p>log_ratio_diff = pi_yw_logps.sum(-1) - pi_yl_logps.sum(-1)
loss = -(preference_prob * F.logsigmoid(self.beta * log_ratio_diff) +
(1 - preference_prob) * F.logsigmoid(-self.beta * log_ratio_diff))
return loss.mean()</p>

<p># Использование
trainer = ProbabilisticDPOTrainer(model, ref_model)
loss = trainer.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob=0.8) # 80% уверенность в предпочтении

г) Комбинирование DPO с Другими Методами Совместимости:

Интеграция DPO с другими методами совместимости может привести к более устойчивым и способным системам:

• Принципы Конституционной ИИ для явного удовлетворения ограничений
• Дебаты и рекурсивное моделирование наград для сложного выявления предпочтений
• Обратное обучение с помощью подкрепления для вывода лежащих в основе функций награды

Пример комбинирования DPO с Конституционной ИИ:

<p>class ConstitutionalDPOTrainer(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, constraints=None):
super().__init__(model, ref_model, beta, lr)
self.constraints = constraints or []</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
base_loss = super().compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

<p>constraint_loss = 0
for constraint in self.constraints:
constraint_loss += constraint(self.model, pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

return base_loss + constraint_loss

<p># Использование
def safety_constraint(model, pi_logps, ref_logps, yw_idxs, yl_idxs):
# Реализация логики проверки безопасности
unsafe_score = compute_unsafe_score(model, pi_logps, ref_logps)
return torch.relu(unsafe_score - 0.5) # Штраф, если оценка безопасности &gt; 0.5</p>

<p>constraints = [safety_constraint]
trainer = ConstitutionalDPOTrainer(model, ref_model, constraints=constraints)</p>

Практические Рассмотрения и Лучшие Практики

Когда вы реализуете DPO для реальных приложений, учитывайте следующие советы:

а) Качество данных: Качество ваших данных о предпочтениях имеет решающее значение. Убедитесь, что ваш набор данных:

• Покрывает широкий спектр входных данных и желаемого поведения
• Имеет последовательные и надежные аннотации предпочтений
• Балансирует разные типы предпочтений (например, фактичность, безопасность, стиль)

б) Настройка гиперпараметров: Хотя DPO имеет меньше гиперпараметров, чем RLHF, настройка все еще важна:

• β (бета): Контролирует компромисс между удовлетворением предпочтений и отклонением от модели-эталона. Начните с значений около 0.1-0.5.
• Скорость обучения: Используйте более низкую скорость обучения, чем при стандартной тонкой настройке, обычно в диапазоне 1e-6 до 1e-5.
• Размер партии: Более крупные размеры партии (32-128) часто работают хорошо для обучения предпочтений.

в) Итеративное Уточнение: DPO можно применять итеративно:

1. Обучите начальную модель с помощью DPO
2. Сгенерируйте новые ответы с помощью обученной модели
3. Соберите новые данные о предпочтениях на этих ответах
4. Переобучите с помощью расширенного набора данных

 

Прямая Оптимизация Предпочтений Производительность

Этот образ показывает производительность LLM, таких как GPT-4, по сравнению с человеческими суждениями на различных тренировочных методах, включая Прямую Оптимизацию Предпочтений (DPO), Надзорную Тонкую Настройку (SFT) и Проксимальную Оптимизацию Политики (PPO). Таблица показывает, что выходные данные GPT-4 все больше соответствуют человеческим предпочтениям, особенно в задачах суммаризации. Уровень согласия между GPT-4 и человеческими рецензентами демонстрирует способность модели генерировать контент, который резонирует с человеческими оценщиками, почти так же тесно, как и контент, сгенерированный человеком.

Кейсы и Применения

Чтобы проиллюстрировать эффективность DPO, давайте рассмотрим некоторые реальные применения и его варианты:

• Итеративная DPO: Разработанная Snorkel (2023), этот вариант объединяет выборочную выборку с DPO, позволяя более тонкий процесс выбора данных для обучения. Итерируя над несколькими раундами выборки предпочтений, модель лучше обобщается и избегает переобучения на шумные или предвзятые предпочтения.
• IPO (Итеративная Оптимизация Предпочтений): Введенная Azar et al. (2023), IPO добавляет член регуляризации для предотвращения переобучения, что является распространенной проблемой в оптимизации на основе предпочтений. Это расширение позволяет моделям сохранять баланс между удовлетворением предпочтений и сохранением способности обобщения.
• KTO (Оптимизация Переноса Знаний): Более недавний вариант от Ethayarajh et al. (2023), KTO отказывается от бинарных предпочтений вообще. Вместо этого он фокусируется на переносе знаний из модели-эталона в модель политики, оптимизируя для более плавного и последовательного соответствия человеческим ценностям.
• Мультимодальная DPO для Кросс-Доменного Обучения от Xu et al. (2024): Подход, в котором DPO применяется к различным модальностям – тексту, изображению и аудио – демонстрируя его универсальность в соответствия моделей человеческим предпочтениям на различных типах данных. Это исследование подчеркивает потенциал DPO в создании более комплексных ИИ-систем, способных обрабатывать сложные, мультимодальные задачи.

Заключение

Прямая Оптимизация Предпочтений представляет собой значительный прорыв в соответствия языковых моделей человеческим предпочтениям. Ее простота, эффективность и результативность делают ее мощным инструментом для исследователей и практиков.

Используя силу Прямой Оптимизации Предпочтений и учитывая эти принципы, вы можете создать языковые модели, которые не только демонстрируют впечатляющие возможности, но и соответствуют человеческим ценностям и намерениям.