Supermicro बनाएगी और बेचेगी SambaNova-संचालित AI इन्फ़रेंस सिस्टम

SambaNova और Supermicro ने 3 नवंबर, 2026 को घोषणा की कि Supermicro ऐसे AI इन्फ़रेंस सिस्टम बनाएगी, बेचेगी और उनकी सहायता करेगी जो काम को NVIDIA GPUs और SambaNova की SN50 पुनःकॉन्फ़िगर करने योग्य डेटा-फ़्लो यूनिट्स के बीच बाँटते हैं। इस सहयोग की शुरुआती योजना में SN50 के 10,000 चिप शामिल हैं।

ये सिस्टम Supermicro के Data Center Building Block Solutions पोर्टफ़ोलियो का हिस्सा होंगे। Supermicro उन्हें एकीकृत करेगी, उनकी जाँच करेगी, उन्हें पहुँचाएगी और सहायता देगी—जिसमें मौके पर सेवा भी शामिल है—जबकि SambaNova के इंजीनियर SN50 पर मॉडल चलाएँगे और उन्हें अनुकूलित करेंगे तथा ग्राहकों के सिस्टम लागू करने में मदद करेंगे। इस व्यवस्था में सर्वर निर्माण और सेवा का माध्यम, विषम त्वरक परिनियोजन के लिए आवश्यक मॉडल-अभियांत्रिकी कार्य के साथ जुड़ता है।

इन्फ़रेंस का काम GPUs और RDUs के बीच क्यों बाँटा जाता है

यह आर्किटेक्चर इन्फ़रेंस को उसके दो चरणों में बाँटता है। प्रीफ़िल के दौरान NVIDIA GPUs आने वाले प्रॉम्प्ट को संसाधित करते हैं—यह ऐसा काम है जिसमें गणना की अधिक आवश्यकता होती है। SN50 RDUs डिकोड का काम करते हैं, जिसमें प्रतिक्रिया एक बार में एक टोकन बनाकर तैयार की जाती है और जिसकी गति मेमोरी पर निर्भर करती है। SambaNova का कहना है कि हर चरण के लिए उपयुक्त हार्डवेयर चुनने से, किसी एक प्रकार के हार्डवेयर का अकेले उपयोग करने की तुलना में, इन्फ़रेंस तेज़ और अधिक कुशल होता है।

SambaNova की साथ में जारी घोषणा में एजेंटिक AI को मुख्य उपयोग के रूप में रखा गया है: एजेंट बड़े भाषा मॉडल को हज़ारों बार कॉल कर सकते हैं, हर कॉल में कई मिनट लग सकते हैं और एजेंटिक वर्कलोड अपना अधिकतर समय डिकोड में बिताते हैं। इससे टोकन तैयार करना एजेंट की अगली कार्रवाई के लिए एक निर्णायक चरण बन जाता है। इसलिए कंपनियाँ डिकोड को बुनियादी ढाँचे की एक अलग समस्या मान रही हैं। अतिरिक्त RDUs का उद्देश्य प्रतिक्रियाओं को तेज़ करना है, जबकि GPUs प्रॉम्प्ट संसाधित करते रहेंगे।

SN50 डिज़ाइन के भीतर

SN50, SambaNova की पाँचवीं पीढ़ी का RDU है। इसकी आधिकारिक डेटा शीट में TSMC की 5-नैनोमीटर प्रक्रिया, चिप पर 432 MB SRAM और 64 GB HBM2E का उल्लेख है; DDR5 मेमोरी का तीसरा स्तर उपलब्ध कराता है। यह चिप SambaNova के Reconfigurable Dataflow Architecture का उपयोग करती है और सामान्य त्वरक वर्कलोड के बजाय मेमोरी-निर्भर डिकोड चरण के लिए बनाई गई है।

SambaNova के उत्पाद दस्तावेज़ के अनुसार, यह डिज़ाइन तेज़ इन्फ़रेंस, बेहतर थ्रूपुट और अधिक ऊर्जा-दक्षता प्रदान करता है। कार्रवाइयों को एक सतत डेटा-फ़्लो में क्रम से जोड़ा जाता है, जिससे मेमोरी में बार-बार डेटा भेजने और हर चरण पर काम को फिर से शुरू करने का अतिरिक्त खर्च घटता है। मेमोरी के अलग-अलग स्तरों के काम भी अलग हैं: SRAM, बार-बार उपयोग होने वाला स्थानीय डेटा गणना इकाई के पास रखती है; HBM2E, सक्रिय मॉडल वेट और बार-बार उपयोग होने वाला KV कैश रखती है; और DDR5, प्रॉम्प्ट कैश, बड़े मॉडल पूल और कम उपयोग होने वाला KV कैश सँभालती है।

SambaNova का कहना है कि SN50 को कई रैक में अधिकतम 256 RDUs तक बढ़ाया जा सकता है और इसे इंटरैक्टिव एजेंटों, कोडिंग सहायकों तथा अन्य बहु-चरणीय इन्फ़रेंस वर्कलोड के लिए बनाया गया है—इनमें वे ऐप्लिकेशन भी शामिल हैं जो कई मॉडल के बीच स्विच करते हैं। कई रैक वाला यह डिज़ाइन सहयोग की रैक-स्तरीय योजना के अनुरूप है: Supermicro RDUs और GPUs को उन सिस्टम में एकीकृत करेगी जिन्हें वह सत्यापित करेगी और सहायता देगी।

चैनल के ज़रिए विस्तार और डेटा केंद्रों की सीमाएँ

ग्राहक Supermicro के माध्यम से GPUs के साथ SN50 RDUs भी खरीद सकेंगे और इसके लिए वही माध्यम इस्तेमाल कर सकेंगे जिसका उपयोग वे अपने बाकी AI बुनियादी ढाँचे के लिए करते हैं। विस्तार की शुरुआत NeoClouds और संप्रभु क्लाउड से होगी, जिसके बाद यह उन उद्यमों तक पहुँचेगा जो अपने डेटा केंद्रों में AI चलाते हैं। इस चरणबद्ध तरीके में पहले क्लाउड ऑपरेटर शामिल होंगे और बाद में यही संयुक्त GPU-RDU आर्किटेक्चर उद्यमों के अपने परिसर में पहुँचेगा।

इस परिनियोजन की योजना में बिजली और शीतलन की अहम भूमिका है। कंपनियों का कहना है कि SN50 बड़े मॉडल को तेज़ गति और उच्च थ्रूपुट के साथ चला सकता है, बिना रैक में बिजली की अत्यधिक सघनता की ज़रूरत के; इससे मौजूदा डेटा केंद्रों में इन सिस्टम को लगाना आसान हो जाता है। बिजली की यह खपत सहयोग की मौजूदा सुविधाओं में रूपांतरण की योजना को समर्थन देती है: RDUs का उद्देश्य उन केंद्रों में क्षमता बढ़ाना है जिन्हें ऑपरेटर पहले से चला रहे हैं।

कंपनियों का यह भी कहना है कि डिकोड के लिए RDUs जोड़ने से बिजली और शीतलन की सीमाओं के कारण नए निर्माण का इंतज़ार किए बिना इन्फ़रेंस क्षमता बढ़ाई जा सकती है और पहले से स्थापित GPUs का उपयोगी जीवन भी बढ़ाया जा सकता है। इस प्रस्ताव में अतिरिक्त क्षमता को उन सुविधाओं और GPUs से जोड़ा गया है जो ऑपरेटरों के पास पहले से हैं।

SambaNova और Supermicro को उम्मीद है कि इस सहयोग से 2027 में, अन्यथा जितनी उच्च-प्रदर्शन इन्फ़रेंस क्षमता संभव होती, उससे काफ़ी अधिक क्षमता उपलब्ध होगी। इस योजना का महत्व डिकोड के लिए विशेष रूप से बनाए गए हार्डवेयर और Supermicro के परिनियोजन माध्यम के मेल में है। बिजली और शीतलन की सीमाओं का सामना कर रहे ऑपरेटरों के लिए खुला प्रश्न यह है कि क्या प्रस्तावित RDU इंस्टॉलेशन, कंपनियों के अनुमानित पैमाने पर, मौजूदा सुविधाओं में उपयोगी इन्फ़रेंस क्षमता बढ़ा पाएँगे।