साझेदारियाँ
वायु-शीतित एआई इन्फरेंस के लिए SambaNova ने SN50 को Intel GPU के साथ जोड़ा

मुख्य बिंदुसांबानोवा इन्फरेंस को इस तरह विभाजित करता है कि इंटेल जीपीयू प्रीफिल संभालते हैं जबकि…
और देखें
- सांबानोवा इन्फरेंस को इस तरह विभाजित करता है कि इंटेल जीपीयू प्रीफिल संभालते हैं जबकि इसके आरडीयू मेमोरी-बाउंड डिकोड संभालते हैं।
- मानक ईथरनेट और ओपन सर्विंग सॉफ़्टवेयर दोनों एक्सेलेरेटर पूल को बिना स्वामित्व वाले इंटरकनेक्ट के जोड़ते हैं।
- एयर-कूल्ड डिज़ाइन उन ब्राउनफील्ड डेटा सेंटरों को लक्षित करता है जहाँ लिक्विड-कूलिंग रेट्रोफिट अव्यावहारिक है।
SambaNova Systems ने 15 नवंबर, 2026 को घोषणा की कि उसने और Intel ने SuperComputing 2026 में वायु-शीतित एआई इन्फरेंस सिस्टम का प्रदर्शन किया। इसमें प्रॉम्प्ट संसाधित करने के लिए चार Intel GPU D-Series एक्सेलरेटर और टोकन बनाने के लिए SambaRack SN50 पर GLM-5.3 चलाया गया।
यह सिस्टम इन्फरेंस को दो चरणों में बाँटता है: प्रीफिल, जिसमें आने वाले प्रॉम्प्ट को संसाधित करके उसकी की-वैल्यू (KV) कैश बनाई जाती है, और डिकोड, जिसमें आउटपुट टोकन बनाए जाते हैं। Intel का हार्डवेयर अधिक गणना की माँग वाले प्रीफिल चरण को संभालता है, जबकि SambaNova की पाँचवीं पीढ़ी की पुनर्विन्यास योग्य डेटा-प्रवाह इकाइयाँ (RDU) मेमोरी पर निर्भर डिकोड चरण को संभालती हैं। SambaNova ने रिकॉर्ड किए गए सिस्टम को ऐसे डिज़ाइन के रूप में पेश किया है जिसे ग्राहक मौजूदा डेटा केंद्रों में तैनात कर सकेंगे।
इन्फरेंस के हर चरण के लिए अलग हार्डवेयर
यह प्रदर्शन Intel के संदर्भ कॉन्फ़िगरेशन से काफ़ी छोटा है। SambaNova के अनुसार, संदर्भ के तौर पर इस्तेमाल किया गया 80-GPU D-Series रैक अधिकतम 208 पेटाफ्लॉप FP4 गणना क्षमता देता है और कॉन्फ़िगरेशन के आधार पर इसमें 12 TB से 38 TB तक मेमोरी होती है। ये आँकड़े बड़े प्रीफिल डिज़ाइन के हैं; ये SuperComputing में स्थापित सिस्टम के प्रदर्शन के माप नहीं हैं।
Intel के D270 उत्पाद विनिर्देशों के अनुसार, इस वायु-शीतित GPU की क्षमता 350 W है। इसमें 32 Xe3P कोर, 256 XMX मैट्रिक्स इंजन, मानक PCIe 5.0 और हर कार्ड पर अधिकतम 480 GB LPDDR5X मेमोरी है। इसका मानक आकार इसे मालिकाना नेटवर्किंग या विशेष रूप से बनाए गए सिस्टम के बिना मौजूदा सर्वरों में काम करने के लिए तैयार करता है।
हर SambaRack SN50 में 16 RDU होते हैं और इन्फरेंस के लिए आम तौर पर 20 kW बिजली की ज़रूरत होती है। अधिकतम 16 रैक एक इकाई के रूप में काम कर सकते हैं, जिनमें कुल 256 RDU तक हो सकते हैं; इससे कार्यभार कम बिजली खपत वाले रैकों में बाँटा जा सकता है। SambaNova का कहना है कि उसका डेटा-प्रवाह आर्किटेक्चर अलग-अलग GPU कर्नेल के बीच डेटा को मेमोरी में वापस भेजने के बजाय चिपों पर मॉडल के संचालन को एक-दूसरे से जोड़ता है। इससे टोकन निर्माण के दौरान मेमोरी ट्रैफ़िक और कर्नेल को दोबारा शुरू करने का अतिरिक्त काम घटता है।
ओपन सॉफ़्टवेयर हार्डवेयर के दोनों समूहों को जोड़ता है
NVIDIA Dynamo दोनों एक्सेलरेटर समूहों के सामने काम करता है और इसे हर अनुरोध उस हार्डवेयर की ओर भेजने के लिए बनाया गया है, जिसके पास उसका कैश किया हुआ संदर्भ पहले से मौजूद हो। vLLM Intel के प्रीफिल पथ और SN50 के डिकोड पथ, दोनों को सेवा देता है, जबकि NIXL मानक RoCEv2 ईथरनेट का इस्तेमाल करते हुए UCX/RDMA पर KV-कैश डेटा स्थानांतरित करता है। इस तरह, दोनों तरह के हार्डवेयर के बीच डेटा भेजने के लिए मालिकाना इंटरकनेक्ट की जगह पहले से स्थापित ईथरनेट नेटवर्क का उपयोग किया जा सकता है।
SN50 पहले के प्रॉम्प्ट से मिले KV प्रीफ़िक्स को उससे जुड़ी DDR मेमोरी में सुरक्षित रखता है, जबकि चिप पर मौजूद SRAM और HBM सक्रिय डिकोडिंग में मदद करते हैं। जब कोई एजेंट किसी बातचीत या साझा संदर्भ पर लौटता है, तो कैश की जानकारी का उपयोग करने वाली रूटिंग अनुरोध को उस प्रीफ़िक्स वाले SN50 तक भेज सकती है। इस तरह, केवल नई सामग्री को GPU प्रीफिल से गुज़रना पड़ता है और नेटवर्क पर कम KV स्थिति भेजनी पड़ती है। SambaNova का कहना है कि कैश से मिलने वाले इन लाभों से पहला टोकन मिलने का समय घटता है और नए अनुरोधों के लिए GPU क्षमता खाली होती है। पोस्ट में इन फ़ायदों का वर्णन किया गया है, लेकिन संयुक्त प्रदर्शन के लिए विलंबता या थ्रूपुट के मापे गए नतीजे नहीं दिए गए हैं।
मौजूदा वायु-शीतित स्थलों में विस्तार
यह विभाजन सेवा प्रदाताओं को हर चरण की क्षमता स्वतंत्र रूप से बढ़ाने की सुविधा भी देता है। लंबे प्रॉम्प्ट के लिए D-Series की अधिक प्रीफिल क्षमता की ज़रूरत हो सकती है, जबकि लंबे आउटपुट बनाने वाले एजेंटों के लिए SN50 की अतिरिक्त डिकोड क्षमता आवश्यक हो सकती है। ऐसा करने के लिए दूसरे समूह की क्षमता को उसी अनुपात में बढ़ाना ज़रूरी नहीं है।
यह लचीलापन उन संचालकों के लिए है, जिनकी सुविधाओं में लिक्विड-कूलिंग सिस्टम लगाना आसान नहीं है। Intel का कहना है कि D270 का मानक PCIe आकार और 350 W का वायु-शीतित विन्यास विशेष लिक्विड-कूलिंग बदलाव किए बिना मौजूदा रैकों में काम करने के लिए तैयार किया गया है। SN50 की रैक-स्तरीय बिजली-खपत के साथ, यह डिज़ाइन पहले से स्थापित वायु-शीतित परिवेशों में इन्फरेंस क्षमता बढ़ाने के लिए बनाया गया है।
इस प्रदर्शन का महत्व इसके एकीकरण में है: आम तौर पर इस्तेमाल होने वाले सेवा-सॉफ़्टवेयर और मानक ईथरनेट से जुड़े दो अलग-अलग एक्सेलरेटर आर्किटेक्चर को इन्फरेंस के अलग-अलग चरणों के लिए नियुक्त किया जा सकता है और कार्यभार के अनुसार उनकी क्षमता बढ़ाई जा सकती है। बिजली और शीतलन की तय सीमाओं का सामना कर रहे सेवा प्रदाताओं के लिए अब यह सवाल बाकी है कि क्या उत्पादन कार्यभार में कैशिंग और संसाधन-उपयोग के बताए गए लाभ इतने मिलेंगे कि दोनों समूहों को चलाना उचित ठहरे।












