직접적인 선호도 최적화: 완전한 가이드

import torch
import torch.nn.functional as F

<p>class DPOTrainer:
def __init__(self, model, ref_model, beta=0.1, lr=1e-5):
self.model = model
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
&quot;&quot;&quot;
pi_logps: 정책 로그 확률, shape (B,)
ref_logps: 참조 모델 로그 확률, shape (B,)
yw_idxs: 선호 완성 인덱스, shape (T,)
yl_idxs: 비선호 완성 인덱스, shape (T,)
beta: KL 패널티의 강도를 제어하는 온도 매개 변수</p>

<p>각 (yw_idxs[i], yl_idxs[i]) 쌍은 단일 선호도 쌍의 인덱스를 나타냅니다.</p>

<p># 선호 및 비선호 완성에 대한 로그 확률 추출
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p># 로그 비율 계산
pi_logratios = pi_yw_logps - pi_yl_logps
ref_logratios = ref_yw_logps - ref_yl_logps</p>

<p># DPO 손실 계산
losses = -F.logsigmoid(self.beta * (pi_logratios - ref_logratios))
rewards = self.beta * (pi_logps - ref_logps).detach()</p>

return losses.mean(), rewards

<p>def train_step(self, batch):
x, yw_idxs, yl_idxs = batch
self.optimizer.zero_grad()</p>

<p># 모델과 참조 모델의 로그 확률 계산
pi_logps = self.model(x).log_softmax(-1)
ref_logps = self.ref_model(x).log_softmax(-1)</p>

<p># 손실 계산
loss, _ = self.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)
loss.backward()
self.optimizer.step()</p>

return loss.item()

<p># 사용법
model = YourLanguageModel() # 모델 초기화
ref_model = YourLanguageModel() # 사전 훈련된 참조 모델 로드
trainer = DPOTrainer(model, ref_model)</p>

<p>for batch in dataloader:
loss = trainer.train_step(batch)
print(f&quot;손실: {loss}&quot;)

도전과 미래 방향

DPO는 전통적인 RLHF 접근법에 비해 상당한 이점을 제공하지만, 여전히 도전과 연구가 필요한 영역이 있습니다:

a) 더 큰 모델에 대한 확장성:

언어 모델의 크기가 계속 증가함에 따라, 수백억 개의 매개 변수를 갖는 모델에 DPO를 효율적으로 적용하는 것은 여전히 열린 도전입니다. 연구자들은 다음과 같은 기술을 탐색하고 있습니다:

• 효율적인 미세 조정 방법(예: LoRA, Prefix Tuning)
• 분산 훈련 최적화
• 그라디언트 체크포인트 및 混合 정밀도 훈련

LoRA를 사용하는 DPO 예시:

<p>from peft import LoraConfig, get_peft_model</p>

<p>class DPOTrainerWithLoRA(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, lora_rank=8):
lora_config = LoraConfig(
r=lora_rank,
lora_alpha=32,
target_modules=[&quot;q_proj&quot;, &quot;v_proj&quot;],
lora_dropout=0.05,
bias=&quot;none&quot;,
task_type=&quot;CAUSAL_LM&quot;
)
self.model = get_peft_model(model, lora_config)
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p># 사용법
base_model = YourLargeLanguageModel()
dpo_trainer = DPOTrainerWithLoRA(base_model, ref_model)

b) 멀티 태스크 및 少샷 적응:

새로운 태스크나 도메인에 대한 효율적인 적응을 위한 DPO 기법 개발은 활발한 연구 영역입니다. 탐색 중인 접근법에는 다음과 같은 것들이 있습니다:

• 메타 학습 프레임워크를 통한 신속한 적응
• 프롬프트 기반 미세 조정을 위한 DPO
• 일반적인 선호도 모델에서 특정 도메인으로의 전이 학습

c) 모호하거나 상충되는 선호도 처리:

실제 세계의 선호도 데이터는 종종 모호하거나 상충됩니다. 이러한 데이터에 대한 DPO의 강건성을 향상시키는 것은 중요합니다. 잠재적인 해결책에는 다음과 같은 것들이 있습니다:

• 확률적 선호도 모델링
• 모호성을 해결하기 위한 적극적 학습
• 다중 에이전트 선호도 집계

확률적 선호도 모델링의 예시:

<p>class ProbabilisticDPOTrainer(DPOTrainer):
def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob):
# 로그 비율 계산
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p>log_ratio_diff = pi_yw_logps.sum(-1) - pi_yl_logps.sum(-1)
loss = -(preference_prob * F.logsigmoid(self.beta * log_ratio_diff) +
(1 - preference_prob) * F.logsigmoid(-self.beta * log_ratio_diff))
return loss.mean()</p>

<p># 사용법
trainer = ProbabilisticDPOTrainer(model, ref_model)
loss = trainer.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob=0.8) # 80%의 선호도 확신도

d) DPO와 다른 정렬 기법의 결합:

DPO를 다른 정렬 접근법과 결합하면 더 강력하고 능력 있는 시스템을 만들 수 있습니다:

• 명시적 제약 만족을 위한 헌법적 AI 원칙
• 복잡한 선호도 추출을 위한 토론 및 재귀적 보상 모델링
• 기본적인 보상 함수 추론을 위한 역강화 학습

DPO와 헌법적 AI의 결합 예시:

<p>class ConstitutionalDPOTrainer(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, constraints=None):
super().__init__(model, ref_model, beta, lr)
self.constraints = constraints or []</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
base_loss = super().compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

<p>constraint_loss = 0
for constraint in self.constraints:
constraint_loss += constraint(self.model, pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

return base_loss + constraint_loss

<p># 사용법
def safety_constraint(model, pi_logps, ref_logps, yw_idxs, yl_idxs):
# 안전성 검사 논리를 구현
unsafe_score = compute_unsafe_score(model, pi_logps, ref_logps)
return torch.relu(unsafe_score - 0.5) # 안전 점수가 0.5 초과인 경우 패널티 부과</p>

<p>constraints = [safety_constraint]
trainer = ConstitutionalDPOTrainer(model, ref_model, constraints=constraints)</p>

실용적인 고려와 최선의 관행

실제 응용에서 DPO를 구현할 때 다음 팁을 고려하십시오:

a) 데이터 품질: 선호도 데이터셋의 품질은 매우 중요합니다. 데이터셋이:

• 다양한 입력 및 원하는 행동을 다룹니다
• 일관적이고 신뢰할 수 있는 선호도 주석을 갖습니다
• 다양한 유형의 선호도(예: 사실성, 안전성, 스타일)를 균형 있게 다룹니다

b) 하이퍼파라미터 조정: DPO에는 RLHF보다 적은 하이퍼파라미터가 있지만, 조정은 여전히 중요합니다:

• β (베타): 선호도 만족과 참조 모델에서 발산 사이의 트레이드오프를 제어합니다. 0.1~0.5 사이의 값을 시작으로 사용하십시오.
• 학습률: 표준 미세 조정보다 더 낮은 학습률을 사용하십시오. 일반적으로 1e-6에서 1e-5 사이입니다.
• 배치 크기: 선호도 학습에는 일반적으로 더 큰 배치 크기(32~128)가 잘 작동합니다.

c) 반복적 정제: DPO를 반복적으로 적용할 수 있습니다:

1. 초기 모델을 DPO로 훈련
2. 훈련된 모델을 사용하여 새로운 응답 생성
3. 새로운 응답에 대한 새로운 선호도 데이터 수집
4. 확장된 데이터셋을 사용하여 재훈련

 

직접적인 선호도 최적화 성능

이 이미지는 다양한 훈련 기술(직접적인 선호도 최적화, 감독된 미세 조정, 근접 정책 최적화)을 사용하여 훈련된 LLM(GPT-4)의 성능을 인간의 판단과 비교하여 보여줍니다. 표는 GPT-4의 출력이 인간의 선호도와 점점 더 일치한다는 것을 보여주며, 특히 요약 작업에서 그렇습니다. GPT-4와 인간 평가자의 일치 度는 인간이 생성한 콘텐츠와 거의 동일한 수준으로 인간 평가자와 резонانس하는 콘텐츠를 생성하는 모델의 능력을 보여줍니다.

사례 연구와 응용

DPO의 효과를 입증하기 위해 실제 응용과 변형을 살펴보겠습니다:

• 반복적 DPO: Snorkel(2023)이 개발한 이 변형은 거부 샘플링과 DPO를 결합하여 훈련 데이터를 더 정교화하는 프로세스를 가능하게 합니다. 여러 라운드의 선호도 샘플링을 통해 반복적으로 모델은 일반화하고 노이즈나 편향된 선호도에 대한 과적합을 피할 수 있습니다.
• IPO (반복적 선호도 최적화): Azar et al.(2023)이 도입한 IPO는 과적합을 방지하기 위해 정규화 항을 추가합니다. 이 확장은 모델이 선호도에 따라 일치하면서도 일반화 능력을 유지할 수 있도록 합니다.
• KTO (지식 전이 최적화): Ethayarajh et al.(2023)이 최근 제안한 KTO는 이진 선호도를 완전히 제거하고, 대신 참조 모델에서 정책 모델로 지식을 전달하여 인간의 가치와 더 일치하는 모델을 만드는 데 중점을 둡니다.
• 다중 모달 DPO를 통한 크로스 도메인 학습 by Xu et al.(2024): DPO를 다양한 모달리티(텍스트, 이미지, 오디오)에서 적용하여, 인간의 선호도에 따라 모델을 다양한 데이터 유형에서 일치시키는 잠재력을 보여주는 접근법입니다. 이 연구는 다중 모달 작업을 처리할 수 있는 더 포괄적인 AI 시스템을 만들기 위한 DPO의 가능성을 강조합니다.

결론

직접적인 선호도 최적화는 언어 모델을 인간의 선호도에 맞추는 데 상당한 발전을 나타냅니다. 그 단순성, 효율성, 효과는 연구자와 실무자 모두에게 강력한 도구를 제공합니다.

직접적인 선호도 최적화의 힘과 이러한 원칙을 염두에 두고, 언어 모델을 만들 수 있습니다. 이러한 모델은 인상적인 능력을 보여주지만 인간의 가치와 의도와도 잘 일치합니다.