D-Matrix ने Squadron के मल्टी-रैक एआई इन्फरेंस क्लस्टर पेश किए

d-Matrix ने 12 अक्टूबर, 2026 को Squadron की घोषणा की। यह डेटा सेंटर स्तर पर एआई इन्फरेंस के लिए मल्टी-रैक प्रणालियों का बेड़ा है। कंपनी के संस्थापक और सीईओ Sid Sheth ने सैन जोस में OCP Global Summit के पहले दिन के मुख्य भाषण के दौरान इन क्लस्टरों का अनावरण किया। ये क्लस्टर 16 SquadRacks और अधिकतम 1,024 Corsair XPU तक विस्तार कर सकते हैं, और प्रणालियाँ प्राथमिकता वाले ग्राहकों को भेजी जा रही हैं।

Squadron को Arista, Broadcom और Supermicro के साथ साझेदारी में विकसित किया गया। d-Matrix ने आंतरिक अनुसंधान और विकास के लिए अपनी एरिज़ोना स्थित डेटा सेंटर में यह प्रणाली पहले ही तैनात कर दी है, और क्लस्टर ग्राहकों को उनके अपने डेटा सेंटर में तैनाती के लिए भेजे जा रहे हैं। Squadron के आधारभूत घटक—कंपनी के Corsair सर्वर और SquadRack रैक-स्तरीय प्रणालियाँ—आम तौर पर उपलब्ध हैं। d-Matrix के अनुसार, Squadron मेगावॉट स्तर की इन्फरेंस कंप्यूट क्षमता प्रदान करता है। कंपनी ने कहा कि ये क्लस्टर एआई लैब, उद्यमों और संप्रभु संगठनों के लिए हैं, जो कोडिंग, व्यक्तिगत एजेंट, साइबर सुरक्षा और उच्च-आवृत्ति ट्रेडिंग जैसे कम-विलंबता वाले अनुप्रयोग चलाते हैं।

Sheth ने इस लॉन्च को एक विशिष्ट चिप कंपनी से डेटा सेंटर कंप्यूट अवसंरचना कारोबार में d-Matrix के विकास के रूप में पेश किया। कंपनी की घोषणा में उन्होंने कहा, “अब ग्राहकों को अपने अत्यंत कम-विलंबता वाले एआई अनुप्रयोग बनाने और उनका विस्तार करने के लिए उपलब्ध दुनिया की सबसे दक्ष डेटा सेंटर-स्तरीय इन्फरेंस अवसंरचना तक पहुँच मिल गई है।”

Supermicro के अध्यक्ष और सीईओ Charles Liang ने कहा कि यह सहयोग उसके Data Center Building Block Solutions कार्यक्रम के ज़रिए एआई तकनीकें उपलब्ध कराने की Supermicro की क्षमता को दर्शाता है। इससे ग्राहक उन्नत एआई कार्यभार और विषम कंप्यूटिंग परिवेशों के लिए दक्ष, उच्च-प्रदर्शन वाली इन्फरेंस अवसंरचना तैनात कर सकते हैं और उसे तेज़ी से ऑनलाइन ला सकते हैं।

रैक कॉन्फ़िगरेशन और खुले मानकों पर आधारित इंटरकनेक्ट

Squadron कई कॉन्फ़िगरेशन में उपलब्ध है। इसे अधिकतम 16 SquadRacks तक बढ़ाया जा सकता है; हर SquadRack में आठ सर्वर वाला एक रैक होता है। इन्हें मिलाकर अधिकतम 1,024 Corsair XPU वाला एक एकीकृत क्लस्टर बनाया जा सकता है। क्लस्टर d-Matrix के JetStream NIC से आपस में जुड़े होते हैं और कंपनी के Aviator सॉफ़्टवेयर के साथ तैनात किए जाते हैं। ये प्रणालियाँ एयर-कूल्ड हैं और उद्योग मानकों पर आधारित हैं। इसलिए d-Matrix के मुताबिक, ग्राहक इन्हें अपने मौजूदा डेटा सेंटरों में बिना लिक्विड कूलिंग या नई निर्माण परियोजनाओं के स्थापित कर सकते हैं। ग्राहक इसी आर्किटेक्चर पर एक Corsair सर्वर, पूरा SquadRack या मल्टी-रैक Squadron क्लस्टर तैनात कर सकते हैं।

कंपनी के रैक-स्तरीय उत्पाद पृष्ठ पर चार संदर्भ कॉन्फ़िगरेशन दिए गए हैं। एकल-सर्वर स्टार्टर रैक में आठ कार्ड हैं, जिनमें 1,200 TB/s की गति वाली 16GB प्रदर्शन मेमोरी, अधिकतम 2TB क्षमता मेमोरी और 10 kW से कम बिजली खपत शामिल है। दोहरे-सर्वर स्टार्टर रैक में दो सर्वर और 16 कार्ड हैं; इसमें 32GB प्रदर्शन मेमोरी है और इसकी निर्धारित बिजली खपत 10–30 kW है। JetStream के ज़रिए ईथरनेट-आधारित विस्तार भी इसमें उपलब्ध है। मल्टी-सर्वर हाफ-रैक में चार सर्वर और 32 कार्ड हैं, जिनमें 64GB प्रदर्शन मेमोरी है; इसकी निर्धारित बिजली खपत 30–100 kW है। एंटरप्राइज़ के लिए तैयार फ़ुल रैक में आठ सर्वर और 64 कार्ड हैं, जिनमें 128GB प्रदर्शन मेमोरी है। यह प्रदर्शन मोड में अधिकतम 100 अरब पैरामीटर वाले मॉडल चला सकता है।

इंटरकनेक्ट के लिए d-Matrix एकल नोड के भीतर विस्तार करने हेतु PCIe और रैक के भीतर विस्तार तथा रैकों के बीच क्षमता बढ़ाने हेतु उद्योग-मानक ईथरनेट का उपयोग करता है। कंपनी UALink और UEC उद्योग संघों की सदस्य है, जो अगली पीढ़ी के विस्तार और क्षमता-वृद्धि मानकों पर काम कर रहे हैं।

SquadRack और Corsair प्लेटफ़ॉर्म की पृष्ठभूमि

Squadron, d-Matrix की रैक-स्तरीय श्रृंखला का विस्तार है, जिसे कंपनी ने 14 अक्टूबर, 2025 को पिछले OCP Global Summit में पहली बार SquadRack के रूप में घोषित किया था। उस समय भी यह घोषणा Arista, Broadcom और Supermicro के साथ की गई थी। उस कार्यक्रम में d-Matrix ने SquadRack को एआई इन्फरेंस के लिए विशेष रूप से बनाया गया उद्योग का पहला रैक-स्तरीय समाधान बताया था। कंपनी ने कहा था कि पारंपरिक एक्सेलरेटरों की तुलना में यह लागत-प्रदर्शन में तीन गुना सुधार, ऊर्जा दक्षता में तीन गुना वृद्धि और टोकन जनरेशन की गति में अधिकतम दस गुना बढ़ोतरी देता है।

2025 की घोषणा के अनुसार, आठ-नोड वाला SquadRack अधिकतम 100 अरब पैरामीटर वाले जनरेटिव एआई मॉडल चला सकता है। मानक-आधारित ईथरनेट की मदद से इसे कई रैकों में फैले सैकड़ों नोड तक बढ़ाया जा सकता है। इसमें Corsair इन्फरेंस एक्सेलरेटर, JetStream IO एक्सेलरेटर, Supermicro का X14 AI Server Platform, एक नोड के भीतर विस्तार के लिए Broadcom PCIe स्विच, JetStream NIC से जुड़े Arista Leaf ईथरनेट स्विच और Aviator सॉफ़्टवेयर स्टैक शामिल हैं।

दोनों प्रणालियों के केंद्र में मौजूद Corsair प्लेटफ़ॉर्म चिपलेट-आधारित डिज़ाइन का उपयोग करता है, जिसका उद्देश्य SRAM को पारंपरिक सीमाओं से आगे बढ़ाना है। यह मौजूदा PCIe-आधारित अवसंरचना के साथ एकीकृत होता है और अधिकतम 100 अरब पैरामीटर वाले मॉडल का समर्थन करता है। d-Matrix का 3DIMC डिज़ाइन DRAM को सीधे लॉजिक डाई के ऊपर स्टैक करता है, और Aviator सॉफ़्टवेयर स्टैक को कंपाइलर से रनटाइम तक हार्डवेयर के साथ मिलकर डिज़ाइन किया गया है।

अटेंशन-FFN पृथक्करण का प्रदर्शन

मुख्य भाषण के दौरान Sheth ने यह भी बताया कि d-Matrix ने GPU सर्वरों के साथ जोड़ी गई Squadron प्रणाली का उपयोग करके अटेंशन-FFN पृथक्करण, यानी AFD, लागू किया है। कंपनी के मुताबिक, मॉडल के एक्सपर्ट और फ़ीड-फ़ॉरवर्ड नेटवर्क को Corsair रैकों पर ऑफ़लोड करने से प्रति उपयोगकर्ता प्रति सेकंड 845 टोकन मिले। इस विषम सेटअप ने 64 समवर्ती उपयोगकर्ताओं के साथ कुल 20,415 टोकन प्रति सेकंड का थ्रूपुट हासिल किया। d-Matrix ने कहा कि वास्तविक सिलिकॉन पर AFD चलाकर दिखाने वाली वह पहली कंपनी है, और यह सिलिकॉन अभी उपलब्ध है।

12 अक्टूबर, 2026 को प्रकाशित एक संबंधित तकनीकी पोस्ट में परीक्षण की व्यवस्था का विवरण दिया गया है। इसमें GPT-OSS-20B का उपयोग किया गया है—यह विशेषज्ञों के मिश्रण वाला एक मॉडल है, जिसके कुल 20.9 अरब पैरामीटरों में से 19.12 अरब पैरामीटर विशेषज्ञों के हैं। हर इन्फ़रेंस के दौरान 32 में से चार विशेषज्ञ सक्रिय रहते हैं, यानी लगभग 3.6 अरब पैरामीटर। 4-बिट परिशुद्धता पर ये विशेषज्ञ 16GB SRAM वाले आठ-कार्ड Corsair सर्वर में समा जाते हैं। 80GB का Nvidia H100 GPU अटेंशन, एम्बेडिंग, KV कैश और विशेषज्ञ रूटिंग संभालता है, जबकि Corsair विशेषज्ञों की गणना करता है। 64 के बैच आकार पर दो H100 GPU, आठ Corsair एक्सेलरेटर साझा करते हैं।

d-Matrix के अनुसार, Corsair की SRAM 150 TB/s की मेमोरी बैंडविड्थ देती है। कंपनी का कहना है कि यह H100 की HBM3 बैंडविड्थ से 45 गुना और HBM4 की 18 TB/s बैंडविड्थ से लगभग नौ गुना अधिक है। कंपनी ने बताया कि फ़ीड-फ़ॉरवर्ड कार्य Corsair पर ले जाने से, 1K संदर्भ लंबाई पर अकेले H100 में प्रति आउटपुट टोकन लगने वाला समय 2.59 मिलीसेकंड से घटकर 1.28 मिलीसेकंड रह गया—यानी लगभग 50 प्रतिशत की कमी।

पोस्ट के अनुसार, मॉडल की 24 परतों के लिए GPU और Corsair के बीच 24 बार डेटा का आना-जाना होता है, और LM हेड के लिए एक अतिरिक्त चक्कर लगता है। इस दौरान GPU, 2,880 आयामों वाला हिडन-स्टेट वेक्टर और लक्षित विशेषज्ञों के असाइनमेंट JetStream लिंक के ज़रिए भेजता है। ये लिंक हर क्लस्टर को 400 Gb/s की ईथरनेट बैंडविड्थ देते हैं। JetStream का डिवाइस-आरंभित संचार GPU को सीधे Corsair की मेमोरी में लिखने और Corsair को होस्ट CPU की भागीदारी के बिना परिणाम वापस लिखने की सुविधा देता है। Corsair के हर कार्ड में LM हेड का एक शार्ड होता है। d-Matrix के अनुसार, इस व्यवस्था से LM हेड का प्रोसेसिंग समय दस गुना कम हुआ।

कंपनी के अनुसार, 64 के बैच आकार पर सिस्टम 129 की संदर्भ लंबाई में सभी 64 उपयोगकर्ताओं का डिकोड चरण 2.46 मिलीसेकंड में पूरा करता है। d-Matrix ने यह भी कहा कि Corsair, अनुमानात्मक डिकोडिंग और AFD कॉन्फ़िगरेशन को सैकड़ों अरब पैरामीटरों वाले मॉडलों तक बढ़ा सकता है; कंपनी ने GLM 5.x और Kimi K3 को ऐसे लक्षित मॉडल बताया।

d-Matrix के शोधकर्ता 14 अक्टूबर, 2026 को सुबह 11 बजे और दोपहर 2 बजे PT, तथा 15 अक्टूबर, 2026 को सुबह 11 बजे PT, कंपनी के OCP बूथ C82 पर AFD का प्रदर्शन लाइव करेंगे।