एआई मॉडल और प्लेटफ़ॉर्म

SC26 में MiTAC ने दो-सर्वर वाला AI इन्फ़रेंस आर्किटेक्चर प्रस्तावित किया

Theo Nash
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुMiTAC प्रीफिल और डिकोड को अलग-अलग सर्वरों में विभाजित करता है ताकि प्रत्येक चरण अपने…
और देखें
  • MiTAC प्रीफिल और डिकोड को अलग-अलग सर्वरों में विभाजित करता है ताकि प्रत्येक चरण अपने स्वयं के कार्यभार के लिए प्रावधानित हो।
  • डिकोड सर्वर में ऑन-प्रिमाइसेस Kimi K3 जैसे मॉडल चलाने के लिए 2 TB एक्सेलेरेटर मेमोरी है।
  • MiTAC का लिक्विड-कूल्ड रैक पारंपरिक परिनियोजनों की तुलना में 50% अधिक GPU घनत्व तक पहुँचता है।

17 नवंबर, 2026 की घोषणा में MiTAC Computing ने SC26 में Skymizer के साथ दो-सर्वर वाला AI इन्फ़रेंस आर्किटेक्चर पेश किया। इस प्रस्ताव में डिकोड सर्वर की ओर 2 TB एक्सेलरेटर मेमोरी शामिल है। यह सिस्टम 2.8 ट्रिलियन पैरामीटर वाले Kimi K3 जैसे मॉडल ऑन-प्रिमाइसेस चलाने के लिए बनाया गया है।

यह आर्किटेक्चर एक व्यापक पोर्टफ़ोलियो का हिस्सा है, जिसमें सॉफ़्टवेयर ऑर्केस्ट्रेशन, उच्च-घनत्व वाली लिक्विड कूलिंग, स्टोरेज और एक आगामी AMD रैक शामिल हैं। SC26 में कुछ सहायक सिस्टम का लाइव प्रदर्शन किया जा रहा है, जबकि अन्य अभी प्रस्तावित हैं या विकास के अधीन हैं। इसलिए इस घोषणा में मौजूदा प्रदर्शनों के साथ-साथ भविष्य के इन्फ़्रास्ट्रक्चर डिज़ाइन भी शामिल हैं।

प्रीफिल और डिकोड के लिए अलग-अलग सर्वर

प्रस्तावित प्रीफिल प्लेटफ़ॉर्म 8U G8825Z5 है, जिसमें AMD EPYC 9575F या 9755 प्रोसेसर और Instinct MI350X GPU लगाए गए हैं। यह तैयार की गई की-वैल्यू कैश को तेज़ नेटवर्किंग के ज़रिए डिकोड सर्वर तक भेजेगा। डिकोड के लिए प्रस्तावित एयर-कूल्ड 4U G4520G6 कॉन्फ़िगरेशन में Intel Xeon 6 प्रोसेसर और आठ Skymizer HTX301-4S एक्सेलरेटर कार्ड हैं। हर कार्ड में 256 GB मेमोरी है।

प्रीफिल में कंप्यूट की अधिक आवश्यकता होती है, जबकि डिकोड में मेमोरी की; इसलिए इन्हें अलग रखने का उद्देश्य उद्यमों को हर चरण के अपने वर्कलोड के अनुसार संसाधन उपलब्ध कराने देना है। MiTAC के अनुसार, ऑन-प्रिमाइसेस डिकोड सिस्टम जटिल, गहन तर्क वाले एजेंटिक वर्कलोड के लिए डिज़ाइन किया गया है। यह आर्किटेक्चर स्केलिंग की समस्या के एक हिस्से को और GPU जोड़ने से हटाकर, एक्सेलरेटर मेमोरी और दोनों चरणों के बीच नेटवर्क कनेक्शन के संतुलन पर केंद्रित करता है।

SC26 में लाइव कूलिंग और डेटा घनत्व

MiTAC के लाइव प्रदर्शन इस इन्फ़रेंस डिज़ाइन से जुड़ी भौतिक आवश्यकताओं पर केंद्रित हैं। 52U का लिक्विड-कूल्ड रैक 12 G4826Z5 सर्वर और 96 AMD Instinct MI355X GPU को एकीकृत करता है। कंपनी का कहना है कि इस कॉन्फ़िगरेशन में पारंपरिक परिनियोजनों की तुलना में GPU घनत्व 50% अधिक है।

ZutaCore के साथ किए गए एक प्रूफ़ ऑफ़ कॉन्सेप्ट में G4826Z5 पर जलरहित, दो-चरणीय प्रत्यक्ष लिक्विड कूलिंग का इस्तेमाल किया गया है, जिसमें डाइइलेक्ट्रिक द्रव सीधे चिप पर वाष्पीकृत होता है। MiTAC के अनुसार, यह 4,000W से अधिक की थर्मल डिज़ाइन पावर, 250W/cm² से अधिक हीट फ़्लक्स और 1.03 की वार्षिकीकृत आंशिक पावर यूसेज इफ़ेक्टिवनेस को सपोर्ट करता है। इस प्रदर्शन का उद्देश्य घने रैक के भीतर उच्च-शक्ति वाले एक्सेलरेटर को एक जगह केंद्रित करने से पैदा होने वाली तापीय सीमाओं को संबोधित करना है।

स्टोरेज प्रदर्शन में DDN Infinia को सात GC68C-B8056 1U स्टोरेज सर्वरों के साथ जोड़ा गया है। इसे बिना I/O बाधाओं के लगातार AI डेटा स्ट्रीम उपलब्ध कराने के लिए डिज़ाइन किया गया है। इससे कूलिंग से अलग एक अन्य बाधा का समाधान होता है: एक्सेलरेटर इन्फ़रेंस और एजेंट वर्कलोड प्रोसेस करने के बजाय डेटा की प्रतीक्षा न करें।

सॉफ़्टवेयर और आगामी Helion रैक

Canonical Ubuntu प्रमाणित ऑपरेटिंग सिस्टम की परत उपलब्ध कराता है, Rafay वितरित वर्कलोड में GPU-as-a-Service का गतिशील ऑर्केस्ट्रेशन जोड़ता है, और MiTAC का MiCoreView सॉफ़्टवेयर पॉड-स्तरीय टेलीमेट्री तथा पूरे डेटा सेंटर की एकीकृत दृश्यता देता है। Infinia के साथ मिलकर, ये घटक एक ही इन्फ़्रास्ट्रक्चर स्टैक में ऑपरेटिंग सिस्टम, डेटा वितरण, GPU आवंटन और निगरानी की ज़रूरतें पूरी करते हैं।

MiTAC आगामी ORv3 44OU Helion Agentic AI Rack पर AMD के साथ सहयोग भी कर रहा है। MiTAC का कहना है कि यह हाइपरस्केल और उद्यम परिवेशों के लिए 32,768 AMD Zen 6 CPU कोर तक स्केल करेगा।

AMD के Helion दस्तावेज़ में Open Compute Project (OCP) मानकों पर आधारित एक खुला रैक-स्तरीय संदर्भ डिज़ाइन बताया गया है। इसमें केवल CPU वाले हाइपरस्केल कॉन्फ़िगरेशन और CPU तथा GPU ब्लेड को मिलाने वाले उद्यम संस्करण शामिल हैं। इसका एयर-कूल्ड इन्फ़रेंस संस्करण 16 Instinct MI350P GPU तक सपोर्ट करता है, और ग्राहक अलग-अलग एजेंट वर्कलोड के अनुरूप ब्लेड के प्रकार मिला-जुलाकर लगा सकते हैं। उद्यम कॉन्फ़िगरेशन का उद्देश्य एजेंट निष्पादन और इन्फ़रेंस को एक ही रैक में समाहित करना है। इसके विपरीत, Helios को फ्रंटियर-स्तरीय ट्रेनिंग और बड़े पैमाने के इन्फ़रेंस के लिए एकीकृत स्केल-अप GPU डोमेन के साथ बनाया गया है।

व्यावहारिक रूप से, ऑन-प्रिमाइसेस इन्फ़रेंस को तैनात करने के लिए ज़रूरी है कि डिकोड मेमोरी, प्रीफिल नेटवर्क, स्टोरेज थ्रूपुट, रैक कूलिंग और ऑर्केस्ट्रेशन एक साथ तालमेल से काम करें। MiTAC का प्रस्ताव GPU के साथ-साथ इन सभी के आपसी संबंधों को भी क्षमता-आकलन का हिस्सा बनाता है।

Theo Nash एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो AI इन्फ्रास्ट्रक्चर, कंप्यूट, और आधुनिक कृत्रिम बुद्धिमत्ता को शक्ति देने वाले हार्डवेयर सिस्टम को कवर करते हैं। उनका काम बड़े पैमाने पर AI वर्कलोड्स के तकनीकी आधार पर केंद्रित है, जिसमें डेटा सेंटर, एक्सेलेरेटर, नेटवर्किंग, और उन्हें जोड़ने वाले सॉफ्टवेयर स्टैक शामिल हैं।

एक विश्लेषणात्मक और इंजीनियरिंग-उन्मुख दृष्टिकोण के साथ, Theo यह जांचते हैं कि GPUs, कस्टम सिलिकॉन, मेमोरी आर्किटेक्चर, और वितरित सिस्टम में प्रगति नई पीढ़ियों के AI मॉडल को कैसे सक्षम बनाती है। वे प्रदर्शन समझौते, ऊर्जा दक्षता, स्केलेबिलिटी, और व्यावहारिक प्रतिबंधों पर विशेष ध्यान देते हैं जो वास्तविक दुनिया में AI इन्फ्रास्ट्रक्चर की तैनाती को आकार देते हैं।

Theo Nash द्वारा लिखे गए लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा तकनीकी शुद्धता, स्पष्टता, और तेजी से विकसित हो रहे AI कंप्यूट परिदृश्य की जिम्मेदार कवरेज सुनिश्चित करने के लिए समीक्षित किए जाते हैं।