डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन: एक पूर्ण गाइड

import torch
import torch.nn.functional as F

<p>class DPOTrainer:
def __init__(self, model, ref_model, beta=0.1, lr=1e-5):
self.model = model
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
&quot;&quot;&quot;
pi_logps: policy logprobs, shape (B,)
ref_logps: reference model logprobs, shape (B,)
yw_idxs: preferred completion indices in [0, B-1], shape (T,)
yl_idxs: dispreferred completion indices in [0, B-1], shape (T,)
beta: temperature controlling strength of KL penalty</p>

<p>Each pair of (yw_idxs[i], yl_idxs[i]) represents the indices of a single preference pair.
&quot;&quot;&quot;</p>

<p># Extract log probabilities for the preferred and dispreferred completions
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p># Calculate log-ratios
pi_logratios = pi_yw_logps - pi_yl_logps
ref_logratios = ref_yw_logps - ref_yl_logps</p>

<p># Compute DPO loss
losses = -F.logsigmoid(self.beta * (pi_logratios - ref_logratios))
rewards = self.beta * (pi_logps - ref_logps).detach()</p>

return losses.mean(), rewards

<p>def train_step(self, batch):
x, yw_idxs, yl_idxs = batch
self.optimizer.zero_grad()</p>

<p># Compute log probabilities for the model and the reference model
pi_logps = self.model(x).log_softmax(-1)
ref_logps = self.ref_model(x).log_softmax(-1)</p>

<p># Compute the loss
loss, _ = self.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)
loss.backward()
self.optimizer.step()</p>

return loss.item()

<p># Usage
model = YourLanguageModel() # Initialize your model
ref_model = YourLanguageModel() # Load pre-trained reference model
trainer = DPOTrainer(model, ref_model)</p>

<p>for batch in dataloader:
loss = trainer.train_step(batch)
print(f&quot;Loss: {loss}&quot;)

चुनौतियां और भविष्य की दिशाएं

डीपीओ के बावजूद महत्वपूर्ण लाभ प्रदान करता है, अभी भी चुनौतियां और अनुसंधान के क्षेत्र हैं:

ए) बड़े मॉडलों के लिए स्केलेबिलिटी:

जैसे-जैसे भाषा मॉडल का आकार बढ़ता है, डीपीओ को कुशलता से लागू करना एक खुली चुनौती बनी हुई है। शोधकर्ता तकनीकों का अन्वेषण कर रहे हैं जैसे कि:

• कुशल फाइन-ट्यूनिंग विधियां (उदाहरण के लिए, लोरा, प्रीफिक्स ट्यूनिंग)
• वितरित प्रशिक्षण अनुकूलन
• ग्रेडिएंट चेकपॉइंटिंग और मिश्रित-परिशुद्धता प्रशिक्षण

लोरा के साथ डीपीओ का एक उदाहरण:

<p>from peft import LoraConfig, get_peft_model</p>

<p>class DPOTrainerWithLoRA(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, lora_rank=8):
lora_config = LoraConfig(
r=lora_rank,
lora_alpha=32,
target_modules=[&quot;q_proj&quot;, &quot;v_proj&quot;],
lora_dropout=0.05,
bias=&quot;none&quot;,
task_type=&quot;CAUSAL_LM&quot;
)
self.model = get_peft_model(model, lora_config)
self.ref_model = ref_model
self.beta = beta
self.optimizer = torch.optim.AdamW(self.model.parameters(), lr=lr)</p>

<p># Usage
base_model = YourLargeLanguageModel()
dpo_trainer = DPOTrainerWithLoRA(base_model, ref_model)

बी) मल्टी-टास्क और फ्यू-शॉट अनुकूलन:

नई कार्यों या डोमेन में सीमित प्राथमिकता डेटा के साथ डीपीओ तकनीकों को विकसित करना जो कुशलता से अनुकूलन कर सकती हैं, एक सक्रिय अनुसंधान क्षेत्र है। अन्वेषण की जा रही दृष्टिकोणों में शामिल हैं:

• मेटा-लर्निंग फ्रेमवर्क तेजी से अनुकूलन के लिए
• डीपीओ के लिए प्रॉम्प्ट-आधारित फाइन-ट्यूनिंग
• सामान्य प्राथमिकता मॉडल से विशिष्ट डोमेन में स्थानांतरण सीखना

सी) अस्पष्ट या विरोधाभासी प्राथमिकताओं को संभालना:

वास्तविक दुनिया के प्राथमिकता डेटा में अक्सर अस्पष्टता या संघर्ष होते हैं। डीपीओ को ऐसे डेटा के प्रति मजबूत बनाना महत्वपूर्ण है। संभावित समाधानों में शामिल हैं:

• संभाव्य प्राथमिकता मॉडलिंग
• अस्पष्टता को दूर करने के लिए सक्रिय सीखना
• मल्टी-एजेंट प्राथमिकता एकत्रीकरण

संभाव्य प्राथमिकता मॉडलिंग का एक उदाहरण:

<p>class ProbabilisticDPOTrainer(DPOTrainer):
def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob):
# Compute log ratios
pi_yw_logps, pi_yl_logps = pi_logps[yw_idxs], pi_logps[yl_idxs]
ref_yw_logps, ref_yl_logps = ref_logps[yw_idxs], ref_logps[yl_idxs]</p>

<p>log_ratio_diff = pi_yw_logps.sum(-1) - pi_yl_logps.sum(-1)
loss = -(preference_prob * F.logsigmoid(self.beta * log_ratio_diff) +
(1 - preference_prob) * F.logsigmoid(-self.beta * log_ratio_diff))
return loss.mean()</p>

<p># Usage
trainer = ProbabilisticDPOTrainer(model, ref_model)
loss = trainer.compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs, preference_prob=0.8) # 80% confidence in preference

डी) अन्य संरेखण तकनीकों के साथ डीपीओ को जोड़ना:

डीपीओ को अन्य संरेखण दृष्टिकोणों के साथ एकीकृत करना अधिक मजबूत और सक्षम प्रणालियों को जन्म दे सकता है:

• संविधानिक एआई सिद्धांतों के लिए स्पष्ट प्रतिबंध संतुष्टि
• जटिल प्राथमिकता उत्तेजना के लिए बहस और पुनरावृत्ति पुरस्कार मॉडलिंग
• अंतर्निहित पुरस्कार फंक्शन का अनुमान लगाने के लिए विपरीत पुरस्कार सीखना

संविधानिक एआई के साथ डीपीओ को जोड़ने का एक उदाहरण:

<p>class ConstitutionalDPOTrainer(DPOTrainer):
def __init__(self, model, ref_model, beta=0.1, lr=1e-5, constraints=None):
super().__init__(model, ref_model, beta, lr)
self.constraints = constraints or []</p>

<p>def compute_loss(self, pi_logps, ref_logps, yw_idxs, yl_idxs):
base_loss = super().compute_loss(pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

<p>constraint_loss = 0
for constraint in self.constraints:
constraint_loss += constraint(self.model, pi_logps, ref_logps, yw_idxs, yl_idxs)</p>

return base_loss + constraint_loss

<p># Usage
def safety_constraint(model, pi_logps, ref_logps, yw_idxs, yl_idxs):
# Implement safety checking logic
unsafe_score = compute_unsafe_score(model, pi_logps, ref_logps)
return torch.relu(unsafe_score - 0.5) # Penalize if unsafe score &gt; 0.5</p>

<p>constraints = [safety_constraint]
trainer = ConstitutionalDPOTrainer(model, ref_model, constraints=constraints)</p>

व्यावहारिक विचार और सर्वोत्तम प्रथाएं

जब आप वास्तविक दुनिया के अनुप्रयोगों के लिए डीपीओ को लागू करते हैं, तो इन सुझावों पर विचार करें:

ए) डेटा गुणवत्ता: आपके प्राथमिकता डेटा की गुणवत्ता महत्वपूर्ण है। सुनिश्चित करें कि आपका डेटासेट:

• विभिन्न प्रकार के इनपुट और वांछित व्यवहारों को कवर करता है
• सुसंगत और विश्वसनीय प्राथमिकता एनोटेशन हैं
• विभिन्न प्रकार की प्राथमिकताओं (उदाहरण के लिए, तथ्यात्मकता, सुरक्षा, शैली) को संतुलित करता है

बी) हाइपरपैरामीटर ट्यूनिंग: जबकि डीपीओ में आरएलएचएफ की तुलना में कम हाइपरपैरामीटर हैं, ट्यूनिंग अभी भी महत्वपूर्ण है:

• β (बीटा): प्राथमिकता संतुष्टि और संदर्भ मॉडल से विचलन के बीच व्यापार को नियंत्रित करता है। 0.1-0.5 के मानों से शुरू करें
• लर्निंग रेट: मानक फाइन-ट्यूनिंग की तुलना में एक कम लर्निंग रेट का उपयोग करें, आमतौर पर 1e-6 से 1e-5 के बीच
• बैच आकार: बड़े बैच आकार (32-128) अक्सर प्राथमिकता सीखने के लिए काम करते हैं

सी) पुनरावृत्ति परिष्करण: डीपीओ को पुनरावृत्ति रूप से लागू किया जा सकता है:

1. एक प्रारंभिक मॉडल को डीपीओ का उपयोग करके प्रशिक्षित करें
2. प्रशिक्षित मॉडल का उपयोग करके नई प्रतिक्रियाएं उत्पन्न करें
3. इन प्रतिक्रियाओं पर नई प्राथमिकता डेटा एकत्र करें
4. विस्तारित डेटासेट का उपयोग करके पुनः प्रशिक्षित करें

 

डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन प्रदर्शन

यह छवि विभिन्न प्रशिक्षण तकनीकों की तुलना में जीपीटी-4 जैसे एलएलएम के प्रदर्शन को दिखाती है, जिनमें डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (डीपीओ), पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी), और प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (पीपीओ) शामिल हैं। तालिका यह बताती है कि जीपीटी-4 के आउटपुट मानव निर्णयों के साथ तेजी से संरेखित हो रहे हैं, विशेष रूप से सारांश कार्यों में। जीपीटी-4 और मानव समीक्षकों के बीच सहमति का स्तर यह दर्शाता है कि मॉडल मानव मूल्यांकनकर्ताओं के साथ लगभग उतनी ही निकटता से सामग्री उत्पन्न कर सकता है जितना कि मानव द्वारा उत्पन्न सामग्री करती है।

मामले के अध्ययन और अनुप्रयोग

डीपीओ की प्रभावशीलता को प्रदर्शित करने के लिए, आइए कुछ वास्तविक दुनिया के अनुप्रयोगों और इसके कुछ विविधताओं पर एक नज़र डालें:

• पुनरावृत्ति डीपीओ: स्नॉर्कल (2023) द्वारा विकसित, यह संस्करण पुनरावृत्ति नमूना चयन को डीपीओ के साथ जोड़ती है, जिससे प्रशिक्षण डेटा के लिए एक अधिक परिष्कृत चयन प्रक्रिया संभव हो जाती है। प्राथमिकता नमूना के कई दौरों को पुनरावृत्ति करके, मॉडल शोर या पूर्वाग्रहित प्राथमिकताओं पर अधिक नहीं होने के लिए बेहतर सामान्यीकरण और अनुकूलन कर सकता है
• आईपीओ (पुनरावृत्ति प्राथमिकता अनुकूलन): अजार एट अल (2023) द्वारा पेश किया गया, आईपीओ एक नियमितीकरण शब्द जोड़ता है जो अधिक अनुकूलन से बचाता है, जो प्राथमिकता-आधारित अनुकूलन में एक सामान्य समस्या है। यह विस्तार मॉडल को प्राथमिकताओं का पालन करने और सामान्यीकरण क्षमताओं को बनाए रखने के बीच संतुलन बनाए रखने की अनुमति देता है
• केटीओ (ज्ञान हस्तांतरण अनुकूलन): एथायाराजह एट अल (2023) द्वारा एक हालिया विविधता, केटीओ द्वारार्थ प्राथमिकताओं को पूरी तरह से समाप्त कर देता है। इसके बजाय, यह संदर्भ मॉडल से नीति मॉडल में ज्ञान को स्थानांतरित करने पर केंद्रित है, मानव मूल्यों के साथ एक अधिक चिकनी और सुसंगत संरेखण के लिए अनुकूलन करता है
• मल्टी-मॉडल डीपीओ क्रॉस-डोमेन सीखने के लिए द्वारा एक्सू एट अल (2024): एक दृष्टिकोण जहां डीपीओ को विभिन्न मोडलिटी (पाठ, छवि, ऑडियो) में लागू किया जाता है, इसकी विविधता और जटिल, मल्टी-मॉडल कार्यों को संभालने में इसकी क्षमता को प्रदर्शित करता है। यह शोध डीपीओ की क्षमता को उजागर करता है जो अधिक व्यापक एआई प्रणालियों को बनाने में सक्षम है जो जटिल कार्यों को संभाल सकती हैं

निष्कर्ष

डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन भाषा मॉडल को मानव प्राथमिकताओं के साथ संरेखित करने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। इसकी सरलता, दक्षता और प्रभावशीलता इसे शोधकर्ताओं और पрак्टिशनरों दोनों के लिए एक शक्तिशाली उपकरण बनाती है

डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन की शक्ति का लाभ उठाकर और इन सिद्धांतों को ध्यान में रखते हुए, आप ऐसे भाषा मॉडल बना सकते हैं जो न केवल प्रभावशाली क्षमता प्रदर्शित करते हैं बल्कि मानव मूल्यों और इरादों के साथ भी संरेखित होते हैं