직접 선호도 최적화: 전체 가이드

import torch
import torch.nn.functional as F

class DPOTrainer:
    def __init__(self, model, ref_model, beta=0.1, lr=1e-5):
        self.model = model
        self.ref_model = ref_model
        self.beta = beta
        self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)
    
    def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
        """
        pi_logps: policy logprobs, shape (B,)
        ref_logps: reference model logprobs, shape (B,)
        yw_idxs: preferred completion indices in [0, B-1], shape (T,)
        yl_idxs: dispreferred completion indices in [0, B-1], shape (T,)
        beta: temperature controlling strength of KL penalty

        Each pair of (yw_idxs[i], yl_idxs[i]) represents the indices of a single preference pair.
        """

        # Extract log probabilities for the preferred and dispreferred completions
        pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
        ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]

        # Calculate log-ratios
        pi_logratios = pi_yw_logps - pi_yl_logps
        ref_logratios = ref_yw_logps - ref_yl_logps

        # Compute DPO loss
        losses = -F.logsigmoid(self.beta * (pi_logratios - ref_logratios))
        rewards = self.beta * (pi_logps - ref_logps).detach()

        return losses.mean(), rewards

    def train_step(self, batch):
        x, yw_idxs, yl_idxs = batch
        self.optimizer.zero_grad()

        # Compute log probabilities for the model and the reference model
        pi_logps = self.model(x).log_softmax(-1)
        ref_logps = self.ref_model(x).log_softmax(-1)

        # Compute the loss
        loss, _ = self.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)
        loss.backward()
        self.optimizer.step()

        return loss.item()

# Usage
model = YourLanguageModel()  # Initialize your model
ref_model = YourLanguageModel()  # Load pre-trained reference model
trainer = DPOTrainer(model, ref_model)

for batch in dataloader:
    loss = trainer.train_step(batch)
    print(f"Loss: {loss}")

도전과 앞으로의 방향

DPO는 기존 RLHF 접근 방식에 비해 상당한 이점을 제공하지만 여전히 추가 연구를 위한 과제와 영역이 있습니다.

a) 더 큰 모델로의 확장성:

언어 모델의 크기가 계속 증가함에 따라 수천억 개의 매개변수가 있는 모델에 DPO를 효율적으로 적용하는 것은 여전히 ​​해결해야 할 과제로 남아 있습니다. 연구원들은 다음과 같은 기술을 탐구하고 있습니다.

• 효율적인 미세 조정 방법(예: LoRA, 프리픽스 튜닝)
• 분산 훈련 최적화
• 경사 체크포인트 및 혼합 정밀도 훈련

DPO와 함께 LoRA를 사용하는 예:

from peft import LoraConfig, get_peft_model

class DPOTrainerWithLoRA(DPOTrainer):
    def __init__(self, model, ref_model, beta=0.1, lr=1e-5, lora_rank=8):
        lora_config = LoraConfig(
            r=lora_rank,
            lora_alpha=32,
            target_modules=["q_proj", "v_proj"],
            lora_dropout=0.05,
            bias="none",
            task_type="CAUSAL_LM"
        )
        self.model = get_peft_model(model, lora_config)
        self.ref_model = ref_model
        self.beta = beta
        self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)

# Usage
base_model = YourLargeLanguageModel()
dpo_trainer = DPOTrainerWithLoRA(base_model, ref_model)

b) 다중 작업 및 Few-Shot 적응:

제한된 선호도 데이터로 새로운 작업이나 영역에 효율적으로 적응할 수 있는 DPO 기술을 개발하는 것이 활발한 연구 분야입니다. 탐색 중인 접근 방식은 다음과 같습니다.

• 신속한 적응을 위한 메타러닝 프레임워크
• DPO를 위한 프롬프트 기반 미세 조정
• 일반 선호 모델에서 특정 도메인으로 학습 전이

c) 모호하거나 상충되는 선호사항 처리:

실제 선호도 데이터에는 모호함이나 충돌이 포함되는 경우가 많습니다. 이러한 데이터에 대한 DPO의 견고성을 향상시키는 것이 중요합니다. 잠재적인 솔루션은 다음과 같습니다.

• 확률적 선호 모델링
• 모호함을 해결하기 위한 능동적 학습
• 다중 에이전트 기본 설정 집계

확률적 선호 모델링의 예:

class ProbabilisticDPOTrainer(DPOTrainer):
    def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob):
        # Compute log ratios
        pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
        ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]
        
        log_ratio_diff = pi_yw_logps.sum(-1) - pi_yl_logps.sum(-1)
        loss = -(preference_prob * F.logsigmoid(self.beta * log_ratio_diff) +
                 (1 - preference_prob) * F.logsigmoid(-self.beta * log_ratio_diff))
        return loss.mean()

# Usage
trainer = ProbabilisticDPOTrainer(model, ref_model)
loss = trainer.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob=0.8)  # 80% confidence in preference

d) DPO를 다른 정렬 기술과 결합:

DPO를 다른 정렬 접근 방식과 통합하면 더욱 강력하고 유능한 시스템이 될 수 있습니다.

• 명시적 제약조건 만족을 위한 헌법적 AI 원칙
• 복잡한 선호도 도출을 위한 토론 및 재귀적 보상 모델링
• 기본 보상 함수를 추론하기 위한 역 강화 학습

DPO와 헌법 AI를 결합한 예:

class ConstitutionalDPOTrainer(DPOTrainer):
    def __init__(self, model, ref_model, beta=0.1, lr=1e-5, constraints=None):
        super().__init__(model, ref_model, beta, lr)
        self.constraints = constraints or []

    def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
        base_loss = super().compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)
        
        constraint_loss = 0
        for constraint in self.constraints:
            constraint_loss += constraint(self.model, pi_logps, ref_logps, yw_idxs, yl_idxs)
        
        return base_loss + constraint_loss

# Usage
def safety_constraint(model, pi_logps, ref_logps, yw_idxs, yl_idxs):
    # Implement safety checking logic
    unsafe_score = compute_unsafe_score(model, pi_logps, ref_logps)
    return torch.relu(unsafe_score - 0.5)  # Penalize if unsafe score > 0.5

constraints = [safety_constraint]
trainer = ConstitutionalDPOTrainer(model, ref_model, constraints=constraints)

실제 고려 사항 및 모범 사례

실제 응용 프로그램에 대해 DPO를 구현할 때 다음 팁을 고려하십시오.

a) 데이터 품질: 선호도 데이터의 품질이 중요합니다. 데이터세트가 다음과 같은지 확인하세요.

• 다양한 범위의 입력과 원하는 동작을 포괄합니다.
• 일관되고 안정적인 기본 설정 주석이 있습니다.
• 다양한 유형의 선호도(예: 사실성, 안전성, 스타일)의 균형을 유지합니다.

b) 하이퍼 파라미터 튜닝: DPO는 RLHF보다 하이퍼파라미터 수가 적지만 튜닝은 여전히 ​​중요합니다.

• β(베타): 선호도 만족과 참조 모델과의 차이 간의 균형을 제어합니다. 주변의 가치부터 시작하세요 0.1-0.5.
• 학습률: 일반적으로 다음 범위에서 표준 미세 조정보다 낮은 학습률을 사용합니다. 1e-6 ~ 1e-5.
• 배치 크기: 더 큰 배치 크기(32-128) 종종 선호 학습에 적합합니다.

c) 반복적 개선: DPO는 반복적으로 적용될 수 있습니다.

1. DPO를 사용하여 초기 모델 학습
2. 훈련된 모델을 사용하여 새로운 응답 생성
3. 이러한 응답에 대한 새로운 선호도 데이터 수집
4. 확장된 데이터 세트를 사용하여 재훈련

 

직접 선호 최적화 성능

이 이미지는 Direct Preference Optimization(DPO), Supervised Fine-Tuning(SFT), Proximal Policy Optimization(PPO)을 포함한 다양한 훈련 기법에서 인간의 판단과 비교한 GPT-4와 같은 LLM의 성능을 보여줍니다. 이 표는 GPT-4의 출력이 특히 요약 작업에서 인간의 선호도와 점점 더 일치하고 있음을 보여줍니다. GPT-4와 인간 검토자 간의 합의 수준은 이 모델이 인간이 생성한 콘텐츠와 거의 마찬가지로 인간 평가자에게 공감을 얻는 콘텐츠를 생성할 수 있는 능력을 보여줍니다.

사례 연구 및 애플리케이션

DPO의 효율성을 설명하기 위해 실제 애플리케이션과 그 변형을 살펴보겠습니다.

• 반복적인 DPO: Snorkel(2023)에서 개발한 이 변형은 거부 샘플링과 DPO를 결합하여 훈련 데이터에 대한 보다 정교한 선택 프로세스를 가능하게 합니다. 여러 라운드의 선호도 샘플링을 반복함으로써 모델은 잡음이 많거나 편향된 선호도에 대한 과적합을 더 잘 일반화하고 방지할 수 있습니다.
• IPO (반복적 선호도 최적화): Azar 등이 소개함. (2023), IPO는 선호도 기반 최적화에서 일반적인 문제인 과적합을 방지하기 위해 정규화 용어를 추가합니다. 이 확장을 통해 모델은 선호도 준수와 일반화 기능 유지 간의 균형을 유지할 수 있습니다.
• 공사(지식 이전 최적화): Ethayarajh et al.의 최신 변종입니다. (2023), KTO는 바이너리 기본 설정을 완전히 생략합니다. 대신, 참조 모델의 지식을 정책 모델로 이전하는 데 중점을 두고 인간 가치와 보다 원활하고 일관되게 정렬되도록 최적화합니다.
• 도메인 간 학습을 위한 다중 모드 DPO Xu et al. (2024): DPO가 텍스트, 이미지, 오디오 등 다양한 형식에 걸쳐 적용되는 접근 방식으로, 다양한 데이터 유형 전반에 걸쳐 인간의 선호도에 맞춰 모델을 조정하는 다재다능함을 보여줍니다. 이 연구는 복잡한 다중 모드 작업을 처리할 수 있는 보다 포괄적인 AI 시스템을 만드는 데 있어 DPO의 잠재력을 강조합니다.

결론

직접 선호도 최적화(Direct Preference Optimization)는 언어 모델을 인간 선호도에 맞추는 데 있어 상당한 발전을 나타냅니다. 단순성, 효율성 및 효율성으로 인해 연구원과 실무자 모두에게 강력한 도구가 됩니다.

Direct Preference Optimization의 강력한 기능을 활용하고 이러한 원칙을 염두에 두면 인상적인 기능을 보여줄 뿐만 아니라 인간의 가치 및 의도와 밀접하게 일치하는 언어 모델을 만들 수 있습니다.