ディレクトプレファレンス最適化：完全ガイド

import torch
import torch.nn.functional as F

<p>class DPOTrainer:
def __init__(self, model, ref_model, beta=0.1, lr=1e-5):
self.model = model
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
&quot;&quot;&quot;
pi_logps: policy logprobs, shape (B,)
ref_logps: reference model logprobs, shape (B,)
yw_idxs: preferred completion indices in [0, B-1], shape (T,)
yl_idxs: dispreferred completion indices in [0, B-1], shape (T,)
beta: temperature controlling strength of KL penalty</p>

<p>Each pair of (yw_idxs[i], yl_idxs[i]) represents the indices of a single preference pair.
&quot;&quot;&quot;</p>

<p># Extract log probabilities for the preferred and dispreferred completions
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p># Calculate log-ratios
pi_logratios = pi_yw_logps - pi_yl_logps
ref_logratios = ref_yw_logps - ref_yl_logps</p>

<p># Compute DPO loss
losses = -F.logsigmoid(self.beta * (pi_logratios - ref_logratios))
rewards = self.beta * (pi_logps - ref_logps).detach()</p>

return losses.mean(), rewards

<p>def train_step(self, batch):
x, yw_idxs, yl_idxs = batch
self.optimizer.zero_grad()</p>

<p># Compute log probabilities for the model and the reference model
pi_logps = self.model(x).log_softmax(-1)
ref_logps = self.ref_model(x).log_softmax(-1)</p>

<p># Compute the loss
loss, _ = self.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)
loss.backward()
self.optimizer.step()</p>

return loss.item()

<p># Usage
model = YourLanguageModel() # Initialize your model
ref_model = YourLanguageModel() # Load pre-trained reference model
trainer = DPOTrainer(model, ref_model)</p>

<p>for batch in dataloader:
loss = trainer.train_step(batch)
print(f&quot;Loss: {loss}&quot;)

課題と将来の方向性

DPOは、従来のRLHFアプローチに比べて多くの利点を提供しますが、まだ課題と研究の余地があります。

a) 大規模モデルへのスケーラビリティ

言語モデルが大きくなるにつれて、DPOを効率的に適用する方法を開発する必要があります。研究者は、以下のようなテクニックを探索しています。

• 効率的な微調整方法（例：LoRA、Prefix Tuning）
• 分散トレーニングの最適化
• 勾配チェックポイントと混合精度トレーニング

LoRAを使用したDPOの例：

<p>from peft import LoraConfig, get_peft_model</p>

<p>class DPOTrainerWithLoRA(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, lora_rank=8):
lora_config = LoraConfig(
r=lora_rank,
lora_alpha=32,
target_modules=[&quot;q_proj&quot;, &quot;v_proj&quot;],
lora_dropout=0.05,
bias=&quot;none&quot;,
task_type=&quot;CAUSAL_LM&quot;
)
self.model = get_peft_model(model, lora_config)
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p># Usage
base_model = YourLargeLanguageModel()
dpo_trainer = DPOTrainerWithLoRA(base_model, ref_model)

b) マルチタスクと少샷アダプテーション

DPOを新しいタスクやドメインに効率的に適応させる方法を開発する必要があります。以下のようなアプローチが研究されています。

• メタラーニングフレームワークを使用した迅速な適応
• プロンプトベースの微調整を使用したDPO
• 一般的な好みモデルから特定のドメインへの転送学習

c) 不明確または矛盾する好みの処理

現実世界の好みデータには、不明確性や矛盾が含まれることがあります。DPOのロバスト性を向上させるために、これらの問題に対処する必要があります。潜在的な解決策には、以下が含まれます。

• 確率的な好みモデリング
• 不明確性を解消するためのアクティブラーニング
• マルチエージェント好み集約

確率的な好みモデリングの例：

<p>class ProbabilisticDPOTrainer(DPOTrainer):
def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob):
# Compute log ratios
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p>log_ratio_diff = pi_yw_logps.sum(-1) - pi_yl_logps.sum(-1)
loss = -(preference_prob * F.logsigmoid(self.beta * log_ratio_diff) +
(1 - preference_prob) * F.logsigmoid(-self.beta * log_ratio_diff))
return loss.mean()</p>

<p># Usage
trainer = ProbabilisticDPOTrainer(model, ref_model)
loss = trainer.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob=0.8) # 80%の確信度で好み

d) DPOと他のアラインメント技術の組み合わせ

DPOを他のアラインメントアプローチと組み合わせることで、より強力で柔軟なシステムを開発できます。

• 憲法的AI原則による明示的な制約充足
• 議論と再帰的な報酬モデリングによる複雑な好みの抽出
• 逆強化学習による潜在的な報酬関数の推定

DPOと憲法的AIの組み合わせの例：

<p>class ConstitutionalDPOTrainer(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, constraints=None):
super().__init__(model, ref_model, beta, lr)
self.constraints = constraints or []</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
base_loss = super().compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

<p>constraint_loss = 0
for constraint in self.constraints:
constraint_loss += constraint(self.model, pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

return base_loss + constraint_loss

<p># Usage
def safety_constraint(model, pi_logps, ref_logps, yw_idxs, yl_idxs):
# 安全性のチェックロジックを実装
unsafe_score = compute_unsafe_score(model, pi_logps, ref_logps)
return torch.relu(unsafe_score - 0.5) # 安全性スコアが0.5を超えた場合にペナルティを課す</p>

<p>constraints = [safety_constraint]
trainer = ConstitutionalDPOTrainer(model, ref_model, constraints=constraints)</p>

実践的な考慮とベストプラクティス

DPOを実世界のアプリケーションで使用する場合、以下の点に注意する必要があります。

a) データの品質：好みデータの品質は非常に重要です。データセットは、以下の点に注意する必要があります。

• さまざまな入力と望ましい動作を網羅する
• 一貫性と信頼性のある好みの注釈が付いている
• さまざまなタイプの好み（例：事実性、安全性、スタイル）をバランスよく含む

b) ハイパーパラメーターの調整：DPOにはRLHFよりも少ないハイパーパラメーターがありますが、調整は重要です。

• β（ベータ）：好みの満足と参照モデルからの乖離のトレードオフを制御する。0.1〜0.5の値から開始する。
• 学習率：標準的な微調整よりも低い学習率（通常は1e-6〜1e-5の範囲）を使用する。
• バッチサイズ：大きいバッチサイズ（32〜128）が好みの学習に適していることが多い。

c) 反復的な改良：DPOを反復的に適用することができます。

1. 初期モデルをDPOで訓練する
2. 訓練されたモデルを使用して新しい応答を生成する
3. これらの応答に対する新しい好みデータを収集する
4. 拡張されたデータセットで再訓練する

ディレクトプレファレンス最適化のパフォーマンス

この画像は、GPT-4などのLLMが人間の判断と比較して、さまざまなトレーニング手法（DPO、SFT、PPOなど）でどのように人間の好みと一致するかを示しています。表は、GPT-4の出力が人間の好みとどのように一致するかを示しており、要約タスクでは特に人間の評価者と密接に一致することが示されています。

ケーススタディとアプリケーション

DPOの有効性を示すために、以下の実際のアプリケーションとそのバリエーションを紹介します。

• 反復的なDPO：Snorkel（2023）によって開発された、このバリエーションは、DPOと拒否サンプリングを組み合わせて、トレーニングデータの選択プロセスをさらに洗練します。好みサンプリングの複数のラウンドを繰り返すことで、モデルは汎化し、ノイズや偏りのある好みに過度に適合することを避けることができます。
• IPO（反復的な好み最適化）：Azar et al.（2023）によって導入された、IPOは過度に適合を防ぐために正則化項を追加します。この拡張により、モデルは好みに従うことと汎化能力を保つことのバランスを維持することができます。
• KTO（知識転送最適化）：Ethayarajh et al.（2023）によるより最近のバリエーション、KTOは、バイナリ好みを完全に放棄し、代わりに参照モデルからポリシーモデルへの知識転送に焦点を当てます。人間の価値観との一致をよりスムーズかつ一貫性のあるものにするために、モデルはこのアプローチを使用します。
• クロスドメイン学習のためのマルチモーダルDPO by Xu et al.（2024）：DPOをテキスト、画像、音声などのさまざまなモダリティに適用するアプローチを示す研究です。これは、DPOの多様なデータタイプにわたる人間の好みと一致するモデルを作成するための潜在性を強調しています。