एआई मॉडल और प्लेटफ़ॉर्म

Databricks ने AI Runtime के लिए सारणीबद्ध फ़ाउंडेशन मॉडल गाइड प्रकाशित की

Theo Nash
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुटैबुलर फाउंडेशन मॉडल उच्च GPU इन्फरेंस लागत के बदले इंजीनियरिंग और रखरखाव के समय में…
और देखें
  • टैबुलर फाउंडेशन मॉडल उच्च GPU इन्फरेंस लागत के बदले इंजीनियरिंग और रखरखाव के समय में बचत करते हैं।
  • कथित तौर पर TabICL, TabPFNv2 की तुलना में 10 गुना तक तेज़ चलता है और इसकी वर्गीकरण बेंचमार्क सटीकता से मेल खाता है।
  • लाइसेंसिंग इस क्षेत्र को विभाजित करती है, जिसमें TabFM और TabPFNv3.5 के वेट्स गैर-व्यावसायिक उपयोग तक सीमित हैं।

Databricks ने 16 नवंबर, 2026 को एक तकनीकी गाइड प्रकाशित की, जिसमें AI Runtime पर सारणीबद्ध फ़ाउंडेशन मॉडल चलाने का तरीका बताया गया है। इसके साथ पाँच मॉडल प्रदाताओं की तुलना करने और फ़ाइन-ट्यूनिंग वर्कफ़्लो जाँचने के लिए एक सार्वजनिक रिपॉज़िटरी भी जारी की गई।

सार्वजनिक समाधान त्वरक में TabPFN, TabFM, TabICL, Nori और KumoTabular के लिए नोटबुक और साझा परीक्षण ढाँचा उपलब्ध है। इसका लक्ष्य उद्यमों में लगातार चलने वाले वर्कलोड हैं: क्रेडिट जोखिम, ग्राहक छोड़ने की आशंका, मांग का पूर्वानुमान और पूर्वानुमान-आधारित रखरखाव जैसे कामों में उपयोग की जाने वाली तालिकाओं से पूर्वानुमान लगाना। पारंपरिक विकास में ऐसे हर काम के लिए अलग प्रशिक्षण और पुनःप्रशिक्षण पाइपलाइन बनानी पड़ सकती है।

इसके बजाय, सारणीबद्ध फ़ाउंडेशन मॉडल (TFM) लाखों विविध कृत्रिम डेटासेट पर पहले से प्रशिक्षित आते हैं। ज़ीरो-शॉट अनुमान में, लेबल वाली पंक्तियाँ उन पंक्तियों के लिए संदर्भ बनती हैं जिनके पूर्वानुमान चाहिए; ट्रांसफ़ॉर्मर का अटेंशन नई पंक्तियों को उन उदाहरणों से जोड़ता है और पैरामीटर अपडेट किए बिना एक ही फ़ॉरवर्ड पास में पूर्वानुमान देता है। जो टीमें किसी मालिकाना डेटासेट पर पहले से प्रशिक्षित वेट अपडेट करना चाहती हैं, उनके लिए फ़ाइन-ट्यूनिंग का विकल्प भी मौजूद है।

आर्किटेक्चर, GPU लागत और लाइसेंसिंग

विशेषीकृत टोकनाइज़र संख्यात्मक, श्रेणीगत और बूलियन फ़ीचर्स को एक साझा निरूपण में बदलते हैं। TabPFNv2 पंक्तियों और स्तंभों के भीतर बारी-बारी से अटेंशन का उपयोग करके अंतःक्रियाएँ सीखता है, लेकिन नमूनों और फ़ीचर्स की संख्या बढ़ने के साथ इसकी संगणना लागत तेज़ी से बढ़ती है।

TabICL शोधपत्र एक अलग तरीका अपनाता है: यह पहले स्तंभों और फिर पंक्तियों पर अटेंशन के ज़रिए निश्चित आयाम वाले पंक्ति एम्बेडिंग बनाता है और उसके बाद डेटासेट-स्तर पर इन-कॉन्टेक्स्ट लर्निंग करता है। इसके लेखक बताते हैं कि यह 500,000 नमूनों और 500 फ़ीचर्स तक संभाल सकता है, उनके वर्गीकरण बेंचमार्क मूल्यांकन में TabPFNv2 के बराबर प्रदर्शन करता है, 10 गुना तक तेज़ चलता है और 10,000 से अधिक नमूनों वाले 53 डेटासेट पर TabPFNv2 और CatBoost, दोनों से बेहतर प्रदर्शन करता है। मूल्यांकन किया गया संस्करण केवल वर्गीकरण तक सीमित था, जबकि बेंचमार्क में होल्डआउट डेटा पर ट्यून किए गए एकल मॉडल, क्रॉस-वैलिडेटेड एन्सेंबल से मिलने वाले संभावित लाभों को शामिल नहीं करते थे।

पंक्ति संपीड़न के बावजूद, मेमोरी परिचालन संबंधी बाधा बनी रहती है। इन-कॉन्टेक्स्ट लर्निंग में हर पूर्वानुमान के साथ प्रशिक्षण सेट देना पड़ता है, इसलिए GPU मेमोरी की माँग पंक्तियों और फ़ीचर्स की संख्या के साथ बढ़ती है। Databricks सुझाव देता है कि संगठन अपने डेटा पर सटीकता, अनुमान में लगने वाला समय, मेमोरी उपयोग और लागत जाँचें। कंपनी का कहना है कि CPU पर XGBoost चलाने की तुलना में GPU से अनुमान लगाने पर प्रति पूर्वानुमान अधिक लागत आती है। संभावित बचत इंजीनियरिंग और रखरखाव के समय में है; तेज़ गणना के लिए होने वाला खर्च लगातार बना रहता है।

लाइसेंसिंग भी तैनाती के लिए एक कसौटी है। गाइड TabICLv2 को BSD 3-Clause, Mitra v2 को Apache-2.0 और KumoTabular को OpenMDW-1.1 के अंतर्गत व्यावसायिक उपयोग की अनुमति देने वाला बताती है। TabFM और TabPFNv3.5 के वेट गैर-व्यावसायिक उपयोग के लिए सूचीबद्ध हैं; व्यावसायिक उपयोग उनके निर्माताओं के साथ समझौतों पर निर्भर करता है। रिपॉज़िटरी TabPFN की व्यावसायिक होस्टेड API और उसके गैर-व्यावसायिक वेट में भी स्पष्ट अंतर करती है।

साझा मूल्यांकन और उत्पादन में तैनाती

संदर्भ कार्यान्वयन से मॉडलों की तुलना एक समान आधार पर की जा सकती है। हर समर्थित कार्यान्वयन समान कृत्रिम खुदरा और पैकेज्ड उपभोक्ता वस्तुओं के डेटासेट पढ़ता है, प्रशिक्षण और परीक्षण के लिए एक जैसे विभाजन इस्तेमाल करता है और साझा मेट्रिक्स तथा scikit-learn के आधारभूत परिणामों को एक ही नतीजा तालिका में दर्ज करता है। उदाहरणों में वर्गीकरण, प्रतिगमन, आउटलायर पहचान और लैग-आधारित पूर्वानुमान शामिल हैं—जहाँ संबंधित मॉडल इन कामों का समर्थन करता है।

कंप्यूटिंग की ज़रूरतें अलग-अलग हैं। स्वयं होस्ट किए गए TabFM, TabICL, Nori और KumoTabular सर्वरलेस CPU पर चल सकते हैं, लेकिन रिपॉज़िटरी व्यावहारिक प्रदर्शन के लिए GPU इस्तेमाल करने की सलाह देती है। TabPFN का उदाहरण होस्टेड API को कॉल करता है, जिसके लिए CPU पर्याप्त हैं। वहीं, TabICL का एक उदाहरण CPU पाइपलाइन से अनुमान लगाने का काम समर्पित GPU सर्विंग एंडपॉइंट को सौंपने देता है।

AI Runtime, इस गाइड से पहले ही उपलब्ध था: Databricks ने 19 मार्च, 2026 को इसे सार्वजनिक पूर्वावलोकन में पेश किया, जो वितरित GPU प्रशिक्षण के लिए सर्वरलेस स्टैक है। Databricks का कहना है कि उसके ऑन-डिमांड H100 GPU, TabPFN-3 को 1 मिलियन पंक्तियों और 200 फ़ीचर्स तक संभालने में मदद कर सकते हैं। नोटबुक, Lakeflow Jobs, MLflow प्रयोग ट्रैकिंग और GPU उपयोग की निगरानी के साथ नेटिव Docker समर्थन और Databricks CLI के ज़रिए रिमोट SSH भी उपलब्ध हैं।

KumoTabular की फ़ाइन-ट्यूनिंग का एक प्रदर्शन नोटबुक में GPU उपयोग और MLflow मेट्रिक्स दिखाता है और तैयार मॉडल को Unity Catalog में पंजीकृत करता है। उत्पादन के लिए, गाइड Model Serving के ज़रिए उच्च-थ्रूपुट बैच पाइपलाइन या ऑटो-स्केलिंग रीयल-टाइम REST एंडपॉइंट का वर्णन करती है; Unity Catalog मॉडल के संस्करणों और शासन का प्रबंधन करता है।

इससे यह जाँचने का एक दोहराने योग्य तरीका मिलता है कि TFM, डेटा को अलग GPU टूल में ले जाए बिना, हर काम के लिए होने वाला ML कार्यभार घटा सकते हैं या नहीं। व्यावसायिक औचित्य अब भी उन मापों पर निर्भर करता है जो रिपॉज़िटरी हर संगठन के लिए उपलब्ध नहीं करा सकती: संगठन की अपनी तालिकाओं पर सटीकता, उपयोग योग्य लाइसेंस शर्तें और यह कि इंजीनियरिंग का कम हुआ बोझ GPU-आधारित पूर्वानुमानों की लगातार आने वाली लागत की भरपाई करता है या नहीं।

Theo Nash एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो AI इन्फ्रास्ट्रक्चर, कंप्यूट, और आधुनिक कृत्रिम बुद्धिमत्ता को शक्ति देने वाले हार्डवेयर सिस्टम को कवर करते हैं। उनका काम बड़े पैमाने पर AI वर्कलोड्स के तकनीकी आधार पर केंद्रित है, जिसमें डेटा सेंटर, एक्सेलेरेटर, नेटवर्किंग, और उन्हें जोड़ने वाले सॉफ्टवेयर स्टैक शामिल हैं।

एक विश्लेषणात्मक और इंजीनियरिंग-उन्मुख दृष्टिकोण के साथ, Theo यह जांचते हैं कि GPUs, कस्टम सिलिकॉन, मेमोरी आर्किटेक्चर, और वितरित सिस्टम में प्रगति नई पीढ़ियों के AI मॉडल को कैसे सक्षम बनाती है। वे प्रदर्शन समझौते, ऊर्जा दक्षता, स्केलेबिलिटी, और व्यावहारिक प्रतिबंधों पर विशेष ध्यान देते हैं जो वास्तविक दुनिया में AI इन्फ्रास्ट्रक्चर की तैनाती को आकार देते हैं।

Theo Nash द्वारा लिखे गए लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा तकनीकी शुद्धता, स्पष्टता, और तेजी से विकसित हो रहे AI कंप्यूट परिदृश्य की जिम्मेदार कवरेज सुनिश्चित करने के लिए समीक्षित किए जाते हैं।