GPU प्रशिक्षण के लिए Databricks ने AI Runtime को आम तौर पर उपलब्ध कराया

21 अक्टूबर 2026 को Databricks ने AI Runtime (AIR) को आम तौर पर उपलब्ध कराने की घोषणा की। यह Databricks Lakehouse में एकीकृत पूरी तरह से प्रबंधित, सर्वरलेस GPU प्लेटफ़ॉर्म है, जिसका इस्तेमाल एंटरप्राइज़ डेटा पर डीप लर्निंग मॉडल को प्रशिक्षित और फ़ाइन-ट्यून करने के लिए किया जाता है।

Databricks ने बताया कि Robinhood, PicPay, Merck, Flo Health, TinyFish और FactSet समेत सैकड़ों कंपनियाँ पहले से ही AIR का इस्तेमाल डीप लर्निंग मॉडल को प्रशिक्षित करके उत्पादन में जारी करने के लिए करती हैं। इसके उपयोगों में स्वास्थ्य सेवा, विनिर्माण और उपभोक्ताओं के लिए बनाए गए एजेंट शामिल हैं। कंपनी ने कहा कि उसकी अपनी Databricks AI Research टीम, KARL और AI Parse के पीछे के मॉडल को प्रशिक्षित करने के लिए इस प्लेटफ़ॉर्म का उपयोग करती है। कंपनी के मुताबिक, AIR पर 100,000 से अधिक GPU-घंटों वाले प्रशिक्षण कार्य चलाकर इसकी व्यापक जाँच की जा चुकी है।

कंपनी ने इस रिलीज़ को उस समस्या का समाधान बताया, जिसमें AI टीमें अपने मॉडल बेहतर बनाने की तुलना में GPU क्षमता सुरक्षित करने, विफलताओं को सँभालने और प्रयोग शुरू होने की प्रतीक्षा में अधिक समय बिताती हैं। घोषणा के मुताबिक, Lakehouse से अलग GPU इन्फ़्रास्ट्रक्चर चलाने से शासन-संबंधी कमियाँ पैदा होती हैं और संवेदनशील प्रशिक्षण डेटा जोखिम में पड़ जाता है।

प्रबंधित GPU इन्फ़्रास्ट्रक्चर

Databricks GPU हासिल करने, क्लस्टर कॉन्फ़िगर करने और नेटवर्किंग सँभालने की ज़िम्मेदारी लेता है, ताकि ग्राहक अपना पूरा GPU प्लेटफ़ॉर्म चलाए बिना प्रशिक्षण शुरू कर सकें। कंपनी ने कहा कि वह प्रशिक्षण से पहले और उसके दौरान GPU तथा नेटवर्क की स्थिति की दर्जनों जाँचें करती है, ताकि कार्यभार भरोसेमंद ढंग से सैकड़ों GPU तक बढ़ाया जा सके। प्लेटफ़ॉर्म GPU को शेड्यूल करने से पहले उनकी जाँच करता है, सक्रिय कार्यभार पर लगातार नज़र रखता है और निष्क्रिय GPU की समय-समय पर जाँच करके खराब नोड का पता लगाता और उन्हें हटाता है।

AIR अंतर्निर्मित लोडर के ज़रिए प्रशिक्षण डेटा को स्ट्रीम और कैश करता है, जिससे कार्यों को इनपुट/आउटपुट (I/O) की प्रतीक्षा में लगने वाला समय घटता है। इसके साथ मिलने वाला टूल UCVolumeDataset, कस्टम लोडिंग पाइपलाइन बनाए बिना डेटा थ्रूपुट बढ़ाने के लिए बनाया गया है। उपयोगकर्ता कमांड-लाइन इंटरफ़ेस से GPU तक पहुँच सकते हैं या नोटबुक और एकीकृत विकास परिवेशों (IDE) में सीधे काम कर सकते हैं। Databricks ने बताया कि पहला कार्यभार शुरू करने के लिए CLI का एक ही कमांड काफ़ी है। कंपनी के मुताबिक, AIR Skills सुविधा Kubernetes या SLURM क्लस्टर से कार्यभार को प्राकृतिक भाषा के एक निर्देश से स्थानांतरित कर देती है।

AIR, कंपनी के पाइपलाइन ऑर्केस्ट्रेशन उत्पाद Lakeflow के साथ मूल रूप से एकीकृत है, जिससे GPU कार्यभार अपस्ट्रीम और डाउनस्ट्रीम पाइपलाइन के साथ तालमेल में रहता है। घोषणा के मुताबिक, किसी कार्यभार को उत्पादन में ले जाने के लिए YAML की कुछ अतिरिक्त पंक्तियाँ जोड़नी होती हैं। इसमें यह भी बताया गया कि पहले से मौजूद प्राथमिकता और प्रीएम्प्शन नियंत्रण निष्क्रिय GPU का समय घटाते हैं और Genie ZeroOps जैसे टूल के ज़रिए निगरानी की जा सकती है। AI Runtime के उत्पाद पृष्ठ पर माँग के अनुसार उपलब्ध NVIDIA GPU, कई क्षेत्रों में क्षमता, प्रबंधित RDMA नेटवर्किंग के साथ कई GPU और नोड में वितरित प्रशिक्षण, लंबे समय तक चलने वाले कार्यों के लिए अनुकूलित चेकपॉइंटिंग और कस्टम Docker कंटेनरों—जिनमें NVIDIA NGC कंटेनर भी शामिल हैं—के लिए समर्थन सूचीबद्ध है।

Superhuman में अनुप्रयुक्त अनुसंधान वैज्ञानिक और क्षेत्रीय तकनीकी प्रमुख Kostia Omelianchuk ने घोषणा में कहा कि इस प्लेटफ़ॉर्म की मदद से उनकी टीम बड़े पैमाने के प्रशिक्षण को एक नोड पर आठ A100 GPU से बढ़ाकर कई नोड में 16 H100 GPU तक ले जा सकी। उनके मुताबिक, प्रशिक्षण का समय लगभग सात दिनों से घटकर 48 घंटे रह गया—यानी गति 3.5 गुना बढ़ी।

कुछ ही सेकंड में शुरुआत और डीबगिंग

Databricks ने कहा कि AIR बड़े RDMA-सक्षम क्लस्टर पर भी, जिनमें दर्जनों GPU होते हैं, कुछ ही सेकंड में कार्य शुरू कर देता है। यह सेवा पहले से चालू सर्वरलेस GPU पूल और इमेज को ज़रूरत के मुताबिक धीरे-धीरे लोड करने की सुविधा का उपयोग करती है। इससे कार्य कुछ ही सेकंड में शुरू हो जाते हैं, जबकि इमेज का बाकी डेटा पृष्ठभूमि में लोड होता रहता है। उपयोगकर्ता पहले से तैयार परिवेश चला सकते हैं या अपने कंटेनर ला सकते हैं। परिवेशों को कैश करने से उन्हें केवल एक बार बनाना पड़ता है। कंपनी ने AIR को सभी प्रमुख फ़्रेमवर्क के अनुकूल बताया; उत्पाद पृष्ठ पर समर्थित विकल्पों में PyTorch और Ray के नाम भी दिए गए हैं।

Databricks ने बताया कि MLflow प्रयोग-ट्रैकिंग टूल में नया अवलोकनीयता अनुभव, AIR कमांड में watch फ़्लैग जोड़ने पर, रन सबमिट किए जाने के कुछ ही सेकंड बाद लॉग स्ट्रीम करता है। बहु-नोड प्रशिक्षण के लिए विशेष रूप से एक नया लॉग व्यूअर भी बनाया गया है। पूरे अनुभव में Genie Code एकीकृत है और इसमें समस्याओं को डीबग करने तथा GPU प्रशिक्षण के प्रदर्शन को बेहतर बनाने के लिए पहले से पैक किए गए एजेंट कौशल शामिल हैं। कंपनी ने कहा कि इन कौशलों में उसकी अनुसंधान और प्रदर्शन टीमों की सीख शामिल है, जैसे AIR पर Qwen के प्रशिक्षण का समय छह गुना घटाने का तरीका।

Sonar में प्रमुख AI शोधकर्ता Joe Tyler ने कहा कि वहाँ के अनुसंधान इंजीनियरों ने AIR का उपयोग LLM प्रशिक्षण पाइपलाइन बनाने और हर चरण की जानकारी देखते हुए परिकल्पनाओं को तेज़ी से परखने के लिए किया। FactSet में प्रमुख मशीन लर्निंग इंजीनियर Nikhil Sunderraj ने बताया कि कस्टम Text To Formula मॉडल को स्थापित करने, प्रशिक्षित करने और तैनात करने में लगने वाला समय दिनों से घटकर घंटों रह गया।

सुरक्षा, शासन और शुरुआत

Databricks ने कहा कि AIR, Databricks और Unity Catalog की शासन-सीमा के भीतर काम करता है। यह GPU कार्यभार के डेटा तक पहुँच, चेकपॉइंट और लॉग के लिए पढ़ने तथा लिखने की एकसमान अनुमतियाँ लागू करता है। कंपनी के मुताबिक, AIR होस्ट कर्नेल को उजागर करने वाले पृथक्करण तंत्रों के बजाय वर्चुअल मशीन (VM) स्तर पर पृथक्करण देता है। यह PrivateLink और सर्वरलेस आउटबाउंड ट्रैफ़िक नियंत्रणों का भी समर्थन करता है, जिन्हें कंपनी के सर्वरलेस सुरक्षा निवेशों का सहारा मिला है। घोषणा में OpenAI और Hugging Face से जुड़ी घटना का हवाला देते हुए कहा गया कि यह घटना शासित एंटरप्राइज़ डेटा से अलग GPU इन्फ़्रास्ट्रक्चर सँभालने के जोखिमों को रेखांकित करती है।

AIR के उपयोग और लागत Databricks की बिलिंग सिस्टम तालिकाओं में, Databricks के अन्य वर्कलोड के साथ दिखाई देते हैं। वर्कलोड-स्तर के उपयोग रिकॉर्ड बताते हैं कि कौन-से ट्रेनिंग रन GPU बजट का उपयोग करते हैं।

Robinhood में मशीन लर्निंग इंजीनियर Robert Macy III ने कहा कि AIR से उनकी टीमों को शासन और डेटा नियंत्रण पहले से शामिल होने के कारण प्रयोगों से ट्रेनिंग तक तेज़ी से पहुँचने में मदद मिलती है। QuantHealth में कृत्रिम बुद्धिमत्ता और मशीन लर्निंग के उपाध्यक्ष Eran Barash ने कहा कि उनकी टीम मौजूदा डेटा वर्कफ़्लो के भीतर लाखों रिकॉर्ड पर सर्वरलेस GPU के ज़रिए वितरित ट्रेनिंग का विस्तार करती है। TinyFish में AI प्रमुख Zach Richardson ने कहा कि उनकी टीम GPU पर ट्रेनिंग कर सकती है, MLflow से नतीजों का मूल्यांकन कर सकती है और हर चरण के लिए अलग इंफ्रास्ट्रक्चर खड़ा किए बिना कंपनी का वेब-नेटिव मॉडल उपलब्ध करा सकती है।

Databricks ने नए उपयोगकर्ताओं को एक क्विकस्टार्ट गाइड, टेम्पलेट नोटबुक और शुरुआती गाइड देखने का सुझाव दिया। साथ ही, कंपनी ने GitHub पर क्लोन किए जा सकने वाले ai-runtime-cookbook रिपॉज़िटरी का उल्लेख किया, जिसके बारे में उसका कहना था कि इससे एक CLI कमांड के ज़रिए पहला GPU वर्कलोड शुरू किया जा सकता है। कंपनी ने ग्राहकों को अधिक जानकारी के लिए अपनी खाता टीमों से संपर्क करने को कहा।