एआई मॉडल और प्लेटफ़ॉर्म

AWS ने सर्वरलेस SageMaker कस्टमाइज़ेशन में पूर्ण मॉडल-वेट प्रशिक्षण जोड़ा

Theo Nash
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुपूर्ण फाइन-ट्यूनिंग हर वेट को अपडेट करती है जबकि LoRA प्रीट्रेन्ड वेट को फ्रीज़ करके…
और देखें
  • पूर्ण फाइन-ट्यूनिंग हर वेट को अपडेट करती है जबकि LoRA प्रीट्रेन्ड वेट को फ्रीज़ करके लो-रैंक एडाप्टर डालती है।
  • 5e-5 या उससे अधिक की आक्रामक लर्निंग रेट ने विनाशकारी विस्मरण उत्पन्न किया, जिससे MMLU सटीकता गिरकर 3.6% हो गई।
  • सर्वरलेस संचालन इंफ्रास्ट्रक्चर प्रबंधन को हटाता है लेकिन प्रशिक्षित किए जा रहे वेट की संख्या को कम नहीं करता।

Amazon Web Services ने 18 नवंबर 2026 को घोषणा की कि SageMaker AI Serverless Model Customization में पूर्ण फ़ाइन-ट्यूनिंग (FFT) का समर्थन उपलब्ध है। कंपनी ने यह भी बताया कि 100,000 से अधिक प्रशिक्षण उदाहरणों वाले एक कोडिंग प्रयोग में अर्थगत शुद्धता 90.0% रही, साथ ही आगाह किया कि आक्रामक सेटिंग्स से सामान्य ज्ञान में भारी गिरावट आई।

ग्राहक एक बेस मॉडल, डेटासेट और हाइपरपैरामीटर देते हैं; सेवा GPU उपलब्ध कराने, क्लस्टर स्थापित करने या वितरित-प्रशिक्षण कॉन्फ़िगर करने की ज़रूरत के बिना कंप्यूट संसाधन आवंटित करती है और चेकपॉइंट का प्रबंधन करती है। AWS के SageMaker Python SDK उदाहरण में, तरीका बदलने का अर्थ है TrainingType.FULL की जगह TrainingType.LORA, जबकि जॉब कॉन्फ़िगरेशन के बाकी हिस्से में कोई बदलाव नहीं होता।

FFT मॉडल के हर वेट को अपडेट करता है। इसके विपरीत, LoRA पहले से प्रशिक्षित वेट को स्थिर रखता है और लो-रैंक अडैप्टर मैट्रिक्स जोड़ता है। इससे GPU क्षमता की ज़रूरत घटती है, लेकिन अपडेट एक छोटे निरूपण-क्षेत्र तक सीमित रहते हैं। AWS के अनुसार, डेटासेट बढ़ने के साथ पूर्ण-रैंक प्रशिक्षण अधिक जटिल डोमेन-अनुकूलन को पकड़ सकता है; इसका उद्देश्य केवल प्रशिक्षित किए जा सकने वाले पैरामीटरों की संख्या बढ़ाना नहीं है।

नियंत्रित कोडिंग परीक्षण

AWS ने Qwen3-4B बेस मॉडल को पर्यवेक्षित फ़ाइन-ट्यूनिंग (SFT) के ज़रिए प्रशिक्षित करके इन तरीकों की तुलना की; इसमें प्रॉम्प्ट, लक्ष्य और मूल्यांकन कोड एकसमान रखे गए। Magicoder-Evol-Instruct-110K डेटासेट में कोडिंग से जुड़े निर्देश-उत्तर युग्म थे, जिनमें एल्गोरिदम डिज़ाइन, डिबगिंग, डेटा संरचनाएँ और सिस्टम प्रोग्रामिंग शामिल थे। डेटासेट को इस तरह बाँटा गया कि 99,000 रिकॉर्ड प्रशिक्षण के लिए, 5,500 सत्यापन के लिए और 5,500 अलग रखे गए परीक्षण सेट के लिए थे।

मूल्यांकनों में कार्य-प्रदर्शन और ज्ञान-प्रतिधारण को अलग-अलग परखा गया। Amazon Nova Pro ने LLM निर्णायक की भूमिका निभाई और तार्किक शुद्धता का आकलन करने के लिए तैयार किए गए कोड को मूल प्रॉम्प्ट के साथ पढ़ा। PRIMECODE ने नियतात्मक BLEU, ROUGE-1/2/L और F1 मेट्रिक्स के ज़रिए संदर्भ समाधानों से समानता मापी, जबकि MMLU ने 57 शैक्षणिक विषयों में सामान्य ज्ञान की जाँच की।

AWS ने बताया कि अर्थगत शुद्धता का उसका स्कोर तीन युगों पर सबसे ऊँचा रहा और इससे अधिक प्रशिक्षण देने पर जाँचे गए हर संस्करण का प्रदर्शन गिरा। उसके रडार चार्ट में दिखाए गए गुणवत्ता के हर आयाम पर FFT, LoRA और बेस मॉडल से आगे था। BLEU और ROUGE-2 में इसका अंतर सबसे बड़ा था, जिससे संकेत मिलता है कि यह बढ़त किसी एक मेट्रिक तक सीमित नहीं थी।

AWS ने बताया कि उसने कई बेस मॉडल पर दर्जनों कस्टमाइज़ेशन प्रयोग किए। इनमें सीखने की दर, बैच का आकार, वार्मअप अनुपात, युगों की संख्या और डेटासेट का आकार बदला गया; जॉब जमा करने से लेकर मूल्यांकन तक हर प्रयोग में कुछ घंटे लगे। तैयार मॉडलों को समीक्षा या डिप्लॉयमेंट के लिए SageMaker Model Registry में संस्करणयुक्त Model Packages के रूप में अपने-आप पंजीकृत किया गया।

पूर्ण फ़ाइन-ट्यूनिंग में ज्ञान भूलने का जोखिम

AWS ने आगाह किया कि FFT हर स्थिति में बेहतर नहीं था: MATH के सटीक मिलान में FFT और LoRA, दोनों का प्रदर्शन बेस मॉडल से खराब रहा। LLM-as-Judge की एक अलग तुलना में भी LoRA को 81.5% अंक मिले, जबकि FFT को 79.5%।

सीखने की आक्रामक दरों से भारी गिरावट आई। AWS के परीक्षणों में 5e-5 या इससे अधिक दर पर MATH स्कोर घटकर 2–3% और MMLU सटीकता 3.6% रह गई। यह विनाशकारी विस्मृति का प्रमाण था—यानी डोमेन-विशिष्ट प्रशिक्षण से पहले से सीखे गए ज्ञान के मिट जाने पर व्यापक क्षमताओं का खोना। AWS के जोखिम-मानचित्र ने बड़े डेटासेट के लिए 2e-5 को अधिक सुरक्षित सेटिंग बताया। परीक्षण किए गए कॉन्फ़िगरेशन में, इस दर के साथ 5% वार्मअप और 8 के वैश्विक बैच आकार वाले बेसलाइन ने MMLU से मापे गए सामान्य ज्ञान को सबसे अच्छी तरह बनाए रखा।

बैच के आकार का भी ज्ञान-प्रतिधारण पर असर पड़ा। सीखने की दर समान रखने पर छोटे बैचों से अधिक शोर वाले अपडेट बने, जिनका प्रभाव सीखने की अधिक दर जैसा था और जिनसे भूलने का जोखिम बढ़ा। बड़े बैचों ने शोर घटाया, लेकिन अनुकूलन के चरणों की संख्या भी घटाई, जिससे मॉडल का प्रशिक्षण अपर्याप्त रह सकता था।

डिप्लॉयमेंट के फ़ायदे और समझौते

AWS की समर्थित मॉडलों की सूची के अनुसार, FFT के साथ SFT उन ओपन-वेट मॉडलों के लिए उपलब्ध है जिनमें DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B और NVIDIA Nemotron 3 Nano 30B (A3B शामिल हैं।

FFT के दस्तावेज़ के अनुसार, इस तरीके में LoRA जैसे ही डेटासेट फ़ॉर्मैट इस्तेमाल होते हैं, लेकिन इसके लिए अधिक कंप्यूट संसाधन और लंबा प्रशिक्षण चाहिए। इससे पूर्ण मॉडल वेट वाली बड़ी आर्टिफ़ैक्ट फ़ाइलें बनती हैं और यह निरंतर कस्टमाइज़ेशन के अनुकूल नहीं है। साथ ही, अनुमान के दौरान अडैप्टर का अतिरिक्त भार हट जाता है।

सर्वरलेस संचालन से यह बदलता है कि इन्फ़्रास्ट्रक्चर कौन आवंटित करता है और चेकपॉइंट का प्रबंधन कौन करता है; इससे प्रशिक्षित किए जा रहे वेट की संख्या कम नहीं होती। इसलिए यह लॉन्च अधिक गहन कस्टमाइज़ेशन को चलाना आसान बनाता है, लेकिन कंप्यूट और गुणवत्ता का संतुलन अब भी इस बात पर निर्भर करता है कि कार्य-विशिष्ट लाभ, प्रशिक्षण की बढ़ी हुई लागत और व्यापक क्षमताओं के संभावित नुकसान से अधिक हैं या नहीं।

Theo Nash एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो AI इन्फ्रास्ट्रक्चर, कंप्यूट, और आधुनिक कृत्रिम बुद्धिमत्ता को शक्ति देने वाले हार्डवेयर सिस्टम को कवर करते हैं। उनका काम बड़े पैमाने पर AI वर्कलोड्स के तकनीकी आधार पर केंद्रित है, जिसमें डेटा सेंटर, एक्सेलेरेटर, नेटवर्किंग, और उन्हें जोड़ने वाले सॉफ्टवेयर स्टैक शामिल हैं।

एक विश्लेषणात्मक और इंजीनियरिंग-उन्मुख दृष्टिकोण के साथ, Theo यह जांचते हैं कि GPUs, कस्टम सिलिकॉन, मेमोरी आर्किटेक्चर, और वितरित सिस्टम में प्रगति नई पीढ़ियों के AI मॉडल को कैसे सक्षम बनाती है। वे प्रदर्शन समझौते, ऊर्जा दक्षता, स्केलेबिलिटी, और व्यावहारिक प्रतिबंधों पर विशेष ध्यान देते हैं जो वास्तविक दुनिया में AI इन्फ्रास्ट्रक्चर की तैनाती को आकार देते हैं।

Theo Nash द्वारा लिखे गए लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा तकनीकी शुद्धता, स्पष्टता, और तेजी से विकसित हो रहे AI कंप्यूट परिदृश्य की जिम्मेदार कवरेज सुनिश्चित करने के लिए समीक्षित किए जाते हैं।