Baseten ने पोस्ट-ट्रेनिंग के लिए Serverless Loops को आम तौर पर उपलब्ध कराया

Baseten ने 6 नवंबर 2026 को घोषणा की कि Serverless Loops अब सभी के लिए उपलब्ध है। इसके साथ ओपन मॉडल पर सुपरवाइज़्ड फ़ाइन-ट्यूनिंग और रीइन्फ़ोर्समेंट लर्निंग के लिए उसका प्रबंधित SDK सभी के लिए खुल गया है। यह सेवा प्रति टोकन प्रशिक्षण शुल्क लेती है और चेकपॉइंट से Baseten Dedicated Inference तक सीधा रास्ता देती है।

Loops में काम का बँटवारा इस तरह किया गया है: उपयोगकर्ता प्रशिक्षण के लिए संकेत देते हैं, जबकि Baseten GPU, कर्नेल, मॉडल आर्किटेक्चर और वितरित प्रशिक्षण का बैकएंड संभालता है। Python SDK में आधार मॉडल के वज़न स्थिर रखते हुए LoRA अडैप्टर प्रशिक्षित किए जाते हैं। उपयोगकर्ता आधार मॉडल, LoRA रैंक, लर्निंग रेट, लॉस फ़ंक्शन, डेटा या परिवेश और एल्गोरिदम चुनते हैं; Baseten ट्रेनर, सैम्पलर, वज़न सिंक्रोनाइज़ेशन और सहायक बुनियादी ढाँचा संभालता है।

एक अनुकूलता पैकेज उन टीमों के लिए Tinker इम्पोर्ट और प्रशिक्षण व सैम्पलिंग के मुख्य कॉल उपलब्ध रखता है, जो अपनी मौजूदा स्क्रिप्ट स्थानांतरित कर रही हैं। माइग्रेशन गाइड में अब भी प्रमाणीकरण को Baseten API key पर बदलना, चेकपॉइंट को पृष्ठांकित फ़ाइल URL के रूप में लौटाना, इमेज इनपुट को सीधे शामिल करना और मॉडल परिवार के अनुसार LoRA मॉड्यूल कवरेज तय करना पड़ता है। यह अनुकूलता प्रशिक्षण API तक सीमित है; बुनियादी ढाँचे से जुड़ी कई बातों में टीमों को बदलाव करने होंगे।

सर्वरलेस मॉडल और बिलिंग

सर्वरलेस कैटलॉग में तीन मॉडल हैं: Qwen/Qwen3.6-35B-A3B और zai-org/GLM-5.3-Flash पाठ और विज़न के लिए, और zai-org/GLM-5.3 केवल पाठ के लिए। हर मॉडल 262,144 टोकन की अधिकतम अनुक्रम लंबाई का समर्थन करता है। GLM-5.3 का लंबी संदर्भ-अवधि वाला कॉन्फ़िगरेशन समर्थन नहीं करता cross_entropy या dpo लॉस का। डेडिकेटेड मोड में मॉडलों का अधिक व्यापक कैटलॉग उपलब्ध है, GPU समय के हिसाब से बिल लिया जाता है और रेप्लिका, वार्म री-यूज़ तथा स्पॉट क्षमता के नियंत्रण भी मिलते हैं।

सर्वरलेस रन साझा क्षमता का उपयोग करते हैं और इनके लिए GPU आरक्षित करने की ज़रूरत नहीं होती। प्रशिक्षण और सैम्पलिंग में इस्तेमाल किए गए टोकन के लिए बिल लिया जाता है। नतीजे पढ़ने, रिवॉर्ड फ़ंक्शन बदलने या निष्क्रिय रहने के समय के लिए कोई टोकन शुल्क नहीं लगता। डिफ़ॉल्ट मोड चयन में, असमर्थित मॉडल, LoRA रैंक या अनुक्रम लंबाई के लिए, या जब कोई रन दूसरे रन के डिप्लॉयमेंट का फिर से उपयोग करता है, तो डेडिकेटेड क्षमता पर स्विच किया जा सकता है। इसके बजाय, स्कोप को सर्वरलेस पर सेट करने से असमर्थित अनुरोध विफल हो जाता है।

किसी मॉडल को सक्षम करने से उसके लिए क्षमता मिलने की गारंटी नहीं होती। वर्कस्पेस-विशिष्ट पहुँच, अनुपलब्ध GPU और संगठन की ट्रेनर सीमाएँ अब भी किसी रन को रोक सकती हैं। इस तरह, प्रति टोकन भुगतान वाले मॉडल की व्यावहारिक क्षमता पर प्रकाशित कैटलॉग से आगे भी कुछ सीमाएँ हैं।

चेकपॉइंट और प्रोडक्शन इन्फ़रेंस

क्विकस्टार्ट में चार मुख्य कार्रवाइयाँ दी गई हैं: forward_backward लॉस और ग्रेडिएंट से जुड़े काम के लिए, optim_step अडैप्टर अपडेट के लिए, sample जनरेशन के लिए और save_state दोबारा शुरू किए जा सकने वाले प्रशिक्षण के लिए। सैम्पलर वज़न प्रकाशित करने पर ऐसा चेकपॉइंट बनता है जिसे डिप्लॉय किया जा सकता है, साथ ही उससे जुड़ा एक सैम्पलिंग क्लाइंट भी बनता है। एक अलग save_state ऑपरेशन मॉडल और ऑप्टिमाइज़र की स्थिति को सुरक्षित रखता है। सर्वरलेस क्षमता शुरू होने तक पहला सैम्पलिंग अनुरोध पूरा होने में कई मिनट लग सकते हैं; छोटे प्रयोगों में इस बात का ध्यान रखना चाहिए।

सैम्पलर चेकपॉइंट को आधार मॉडल के रूप में डिप्लॉय किया जाता है, जिसमें प्रशिक्षित LoRA अडैप्टर लोड रहता है। चेकपॉइंट अपने रन के बाद भी बने रहते हैं और Hugging Face एक्सेस टोकन का उपयोग करके CLI, REST API या डैशबोर्ड के ज़रिए डिप्लॉय किए जा सकते हैं, क्योंकि डिप्लॉयमेंट के दौरान आधार वज़न डाउनलोड किए जाते हैं। लाइव रहने के दौरान, इस तरह बने OpenAI-संगत एंडपॉइंट के GPU उपयोग का बिल लिया जाता है। डिप्लॉयमेंट हटाने पर GPU का शुल्क रुक जाता है, लेकिन चेकपॉइंट नहीं हटता; Loops रन को निष्क्रिय करने से डिप्लॉयमेंट नहीं हटता।

सामान्य उपलब्धता के लिए Baseten ने अस्थायी नेटवर्क त्रुटियों और GPU विफलताओं को सँभालने का तरीका बेहतर किया, स्टार्टअप का अतिरिक्त समय घटाया और ट्रेनर तथा सैम्पलर के बीच वज़न का स्थानांतरण तेज़ किया। Baseten के अनुसार, इन बदलावों से एक साथ चलने वाले ग्राहकों के अधिक वर्कलोड सँभालने में मदद मिलती है। कंपनी का यह भी कहना है कि उसका प्रोडक्शन इन्फ़रेंस स्टैक प्रतिदिन 15 अरब से अधिक अनुरोध सँभालता है। प्रोडक्शन प्रक्रिया में ऑटोस्केलिंग, डिप्लॉयमेंट प्रबंधन और इन्फ़रेंस मेट्रिक्स शामिल हैं; वहीं उपयोगकर्ता Hugging Face Safetensors फ़ॉर्मैट में वज़न डाउनलोड कर सकते हैं।

सत्यापन और शुरुआती ग्राहक वर्कलोड

Baseten का कहना है कि उसने संख्यात्मक परीक्षणों और रीइन्फ़ोर्समेंट लर्निंग के शुरू से अंत तक किए गए प्रयोगों से सेवा को सत्यापित किया। इन प्रयोगों में रिटेल, एयरलाइन और बैंकिंग से जुड़े τ-bench कार्यों का इस्तेमाल किया गया, जिसके बाद अलग रखे गए कठिन कार्यों पर मूल्यांकन किया गया। τ-bench प्रोजेक्ट ऐसे बेंचमार्क का वर्णन करता है, जो परखता है कि एजेंट उद्यम क्षेत्रों में उपयोगकर्ताओं से बातचीत कर सकते हैं, टूल चला सकते हैं, जानकारी हासिल कर सकते हैं और नीतियों का पालन कर सकते हैं या नहीं। नतीजों की जाँच ऐसे डेटाबेस परिणामों से की जाती है जिन्हें सत्यापित किया जा सकता है।

Baseten के अनुसार, NVIDIA ने पाठ और विज़न कार्यों पर Nemotron Super 3.5 VL को पोस्ट-ट्रेन किया। इससे इंटेंट वर्गीकरण की सटीकता 76.8% से बढ़कर 94% हुई और रसीदों से जानकारी निकालने में सत्यापन F1 स्कोर 87% तक पहुँचा। इस काम में दृश्य वस्तुओं की गिनती के लिए रीइन्फ़ोर्समेंट लर्निंग भी शामिल थी। Datadog अपने SRE एजेंट के लिए प्रशिक्षण के विचारों को परखने हेतु बहु-चरणीय एजेंटिक रीइन्फ़ोर्समेंट लर्निंग का उपयोग कर रहा है, जबकि Ambience Healthcare ने क्लिनिकल ट्रांसक्रिप्शन की त्रुटियाँ सुधारने और चिकित्सा शब्दावली तथा फ़ॉर्मैटिंग को सटीक रूप से दर्ज करने के लिए मॉडलों को पोस्ट-ट्रेन किया।

LangChain Labs, LangSmith Engine के लिए एजेंट ट्रेस पर मॉडलों की पोस्ट-ट्रेनिंग कर रहा है। इसमें GitHub रिपॉज़िटरी पढ़कर किसी समस्या का निदान करना और पुल रिक्वेस्ट के लिए प्रॉम्प्ट या कोड में बदलाव का मसौदा तैयार करना शामिल है। विफलता के प्रकार और गंभीरता के आधार पर ट्रेस का वर्गीकरण करने या उन्हें मौजूदा समस्याओं से जोड़ने के लिए यह कम आकार वाले ओपन-वेट मॉडल पर स्विच कर सकता है। LangChain का कार्यप्रवाह दिखाता है कि ऐप्लिकेशन का व्यवहार किस तरह प्रशिक्षण का लक्ष्य बनता है और काम के अनुरूप मॉडल का आकार तथा कार्य-विशेषज्ञता कैसे चुनी जाती है।

ग्राहकों के ये उदाहरण सामान्य उपलब्धता की घोषणा से पहले के उपयोग का दस्तावेज़ीकरण करते हैं और अपेक्षित इन्फ्रास्ट्रक्चर चक्र दिखाते हैं: ऐप्लिकेशन का डेटा प्रशिक्षण इनपुट बनता है, चेकपॉइंट का मूल्यांकन किया जाता है और चुने गए मॉडल उत्पादन में इस्तेमाल होने की दिशा में आगे बढ़ते हैं। इन्फ्रास्ट्रक्चर टीमों के लिए लागत की सीमा भी उतनी ही स्पष्ट है। समर्थित सर्वरलेस रन में GPU आरक्षित करने और निष्क्रिय समय के टोकन शुल्क से बचा जा सकता है, जबकि लाइव इन्फ़रेंस एंडपॉइंट के GPU का शुल्क जारी रहता है; सर्वरलेस कैटलॉग और वर्कस्पेस की क्षमता तय करते हैं कि सर्वरलेस विकल्प कहाँ लागू होगा।