वेका ने न्यूरलमेश 6 और वेकापॉड 3 लॉन्च किया क्योंकि एआई इंफ्रास्ट्रक्चर इन्फरेंस की ओर बढ़ रहा है

वेका ने एक समन्वित सॉफ्टवेयर और हार्डवेयर ओवरहाल पेश किया है जो एआई उद्योग की सबसे महंगी उभरती समस्याओं में से एक को हल करने के लिए है: जीपीयू को उत्पादक बनाए रखना जब मॉडल प्रशिक्षण से निरंतर, बड़े पैमाने पर अनुमान में जाते हैं।

घोषणाओं में न्यूरलमेश 6 शामिल है, जो कंपनी के डेटा और मेमोरी प्लेटफ़ॉर्म में एक प्रमुख अपडेट है, साथ ही तीसरी पीढ़ी के वेकापॉड उपकरण जो एआई क्लाउड, मॉडल डेवलपर, अनुसंधान संगठनों और जीपीयू इन्फ्रास्ट्रक्चर संचालित करने वाले उद्यमों के लिए इंजीनियर हैं।

एक साथ, रिलीज़ एआई इंफ्रास्ट्रक्चर डिज़ाइन में एक व्यापक परिवर्तन को दर्शाते हैं, जिसमें स्टोरेज एक निष्क्रिय भंडारण से एक सक्रिय मेमोरी और डेटा-डिलीवरी परत में विकसित हो रही है।

उत्पादन एआई में एकीकृत धक्का

एआई अनुमान की इंफ्रास्ट्रक्चर आवश्यकताएं मॉडल प्रशिक्षण से काफी भिन्न होती हैं। प्रशिक्षण नौकरियां आमतौर पर अपेक्षाकृत अनुमानित पाइपलाइनों के माध्यम से बड़े डेटासेट को संसाधित करती हैं। एजेंटिक एआई, रिट्रीवल-ऑगमेंटेड जेनरेशन और लंबे संदर्भ तर्क प्रणालियों को इसके बजाय बदलते डेटा तक पहुंच, बार-बार बातचीत के माध्यम से संदर्भ बनाए रखना और लागत के जीपीयू को जानकारी के लिए प्रतीक्षा किए बिना कई समकालिक उपयोगकर्ताओं का समर्थन करना होगा।

वेका का जवाब स्टोरेज, मेमोरी एक्सटेंशन, फ़ाइल एक्सेस, ऑब्जेक्ट एक्सेस और डेटा मूवमेंट को एक ही प्लेटफ़ॉर्म के हिस्से के रूप में मानना है। न्यूरलमेश को प्रशिक्षण, अनुमान और उच्च-प्रदर्शन कंप्यूटिंग के लिए एक साझा डेटा फ़ाउंडेशन प्रदान करने के लिए डिज़ाइन किया गया है ऑन-प्रिमाइसेस पर्यावरण, सार्वजनिक क्लाउड और हाइब्रिड तैनाती में।

नया रिलीज़ उस वास्तुकला को मल्टी-टेनेंसी, मूल ऑब्जेक्ट स्टोरेज, वितरित कैशिंग, स्वचालित डेटा कमी, कुबेरनेट्स ऑपरेशन और केंद्रीकृत दृश्यता के साथ विस्तारित करता है।

सॉफ्टवेयर और उपकरण घोषणाओं को असंबंधित अपग्रेड के रूप में प्रस्तुत करने के बजाय, कंपनी उन्हें एक ही प्रणाली के दो हिस्सों के रूप में प्रस्तुत कर रही है। न्यूरलमेश 6 यह नियंत्रित करता है कि डेटा कैसे संग्रहीत किया जाता है, ले जाया जाता है, अलग किया जाता है और वितरित किया जाता है, जबकि वेकापॉड 3 उन कार्यों के आसपास डिज़ाइन किए गए हार्डवेयर प्रदान करता है।

न्यूरलमेश 6 फ़ाइल और ऑब्जेक्ट कार्यभार को एकीकृत करता है

न्यूरलमेश 6 में एक और महत्वपूर्ण जोड़ मूल एस3 कार्यान्वयन है जो एनवीएमई स्टोरेज पर चलता है। एक ही अंतर्निहित डेटा ब्लॉक एस3 ऑब्जेक्ट प्रोटोकॉल और पीओएसआईएक्स या नेटवर्क फ़ाइल सिस्टम इंटरफ़ेस के माध्यम से अलग-अलग प्रतियों को बनाए बिना एक्सेस किया जा सकता है।

इसका महत्व है क्योंकि एआई पाइपलाइनें अक्सर जानकारी को ऑब्जेक्ट स्टोरेज, उच्च-प्रदर्शन फ़ाइल सिस्टम, प्रशिक्षण वातावरण और अनुमान क्लस्टर के बीच ले जाती हैं। प्रत्येक प्रतिलिपि क्षमता की खपत करती है, देरी का परिचय देती है और शासन को जटिल बनाती है। एक एकीकृत नामस्थान डेटा को एक प्रोटोकॉल के माध्यम से बनाए गए डेटा को तुरंत दूसरे के माध्यम से उपलब्ध कराने की अनुमति दे सकता है।

वेका का दावा है कि उनका कार्यान्वयन प्रति नोड 2,000 और 5,000 समकालिक एस3 कनेक्शन के बीच समर्थन करता है। यह एस3 ओवर रिमोट डायरेक्ट मेमोरी एक्सेस का भी समर्थन करता है, जिससे डेटा जीपीयू मेमोरी में बिना कई सीपीयू और ऑपरेटिंग-सिस्टम परतों के माध्यम से जा सकता है।

प्लेटफ़ॉर्म दो स्तरों की मल्टी-टेनेंसी पेश करता है। कंपोज़बल क्लस्टर व्यक्तिगत किरायेदारों को समर्पित प्रोसेसर, मेमोरी और स्टोरेज संसाधन आवंटित करते हैं, जबकि वर्चुअल मल्टी-टेनेंसी नेटवर्क अलगाव, स्वतंत्र एन्क्रिप्शन, अलग प्रमाणीकरण और प्रति-किरायेदार गुणवत्ता सेवा नियंत्रण प्रदान करता है।

वर्चुअल पर्यावरण प्रति क्लस्टर 1,000 से अधिक अलग किरायेदारों का समर्थन कर सकते हैं, कंपनी के अनुसार। शारीरिक और आभासी मॉडल को मिलाकर एक बड़े इन्फ्रास्ट्रक्चर ऑपरेटर को एक स्वतंत्र स्टोरेज क्लस्टर को तैनात किए बिना दसियों हज़ारों तार्किक रूप से अलग ग्राहकों का समर्थन करने में सक्षम हो सकता है।

यह विशेष रूप से जीपीयू-ए-सर्विस प्रदाताओं और संप्रभु एआई क्लाउड के लिए प्रासंगिक है जिन्हें उच्च इन्फ्रास्ट्रक्चर उपयोगिता के साथ सख्त ग्राहक अलगाव के बीच संतुलन बनाने की आवश्यकता है।

जीपीयू के लिए उपलब्ध डेटा ले जाना

न्यूरलमेश 6 एआई कार्यभार के लिए मेटाडेटा-पहले प्रतिकृति और दूरस्थ कैशिंग भी पेश करता है जो डेटा केंद्रों, क्लाउड और भौगोलिक क्षेत्रों में वितरित किए जाते हैं।

पारंपरिक प्रतिकृति आमतौर पर एक कार्यभार शुरू करने से पहले एक पूरे डेटासेट की प्रतिलिपि बनाने की आवश्यकता होती है। न्यूरलमेश इसके बजाय गंतव्य के मेटाडेटा को तुरंत दिखाता है, फिर अनुरोध किए जाने पर अंतर्निहित डेटा को स्थानांतरित करता है।

यह ऑपरेटरों को परियोजना से जुड़े प्रत्येक फ़ाइल को पहले प्रतिकृति किए बिना जीपीयू क्षमता के पास नौकरियों को स्थानांतरित करने दे सकता है। यह दृष्टिकोण क्लाउड बर्स्टिंग, वितरित एआई इंफ्रास्ट्रक्चर और भौगोलिक रूप से अलग अनुसंधान या इंजीनियरिंग टीमों के बीच सहयोग का समर्थन करने के लिए है।

यह एक वैश्विक नामस्थान मॉडल की ओर एक प्रारंभिक कदम का भी प्रतिनिधित्व करता है जिसमें डेटा को मूल रूप से संग्रहीत किए जाने के स्थान की परवाह किए बिना लगातार संबोधित किया जा सकता है।

एक अन्य नई सुविधा निरंतर रूप से फिंगरप्रिंटिंग, समानता हैशिंग, डीडुप्लिकेशन और संपीड़न लागू करती है, न कि डेटा कमी को एक वैकल्पिक पृष्ठभूमि प्रक्रिया के रूप में मानती है।

वेका का दावा है कि न्यूरलमेश 6 एआई प्रशिक्षण डेटा पर 5% से कम लिखने के ओवरहेड के साथ छह गुना क्षमता बचत प्रदान कर सकता है। वास्तविक कमी डेटासेट पर निर्भर करेगी। चेकपॉइंट, कंटेनर परतें, मॉडल संस्करण और पुनरावृत्ति प्रशिक्षण डेटा में महत्वपूर्ण पुनरावृत्ति हो सकती है, जबकि अन्य डेटा प्रकार कम प्रभावी ढंग से संपीड़ित हो सकते हैं।

कंपनी तैनाती से पहले प्रतिनिधि ग्राहक डेटा का विश्लेषण करने और परिणामी अनुमान को अपने क्षमता और प्रदर्शन प्रतिबद्धताओं के हिस्से के रूप में उपयोग करने की योजना बना रही है।

स्टोरेज को विस्तारित एआई मेमोरी परत में बदलना

न्यूरलमेश भी वेका के ऑगमेंटेड मेमोरी ग्रिड को एकीकृत करता है, जो एनवीएमई स्टोरेज का उपयोग अनुमान के लिए जीपीयू मेमोरी के एक स्थायी विस्तार के रूप में करता है।

बड़े भाषा मॉडल एक की-वैल्यू कैश बनाते हैं जिसमें एक प्रॉम्प्ट या बातचीत से गणना की गई जानकारी होती है। लंबे संदर्भ और एजेंटिक कार्यभार के लिए, वह कैश बहुत बड़ा हो सकता है। जब यह उच्च-बैंडविड्थ जीपीयू मेमोरी में बने रहने में असमर्थ होता है, तो प्रणालियों को इसे त्यागने, पुनः गणना करने या इसे धीमी इन्फ्रास्ट्रक्चर में ले जाने की आवश्यकता हो सकती है।

ऑगमेंटेड मेमोरी ग्रिड उस कैश को एक स्थायी एनवीएमई-सUPPORTED परत में संग्रहीत करता है और इसे रिमोट डायरेक्ट मेमोरी एक्सेस और एनवीडिया जीपीयू डायरेक्ट स्टोरेज का उपयोग करके जीपीयू में वापस ले जाता है।

उद्देश्य पुनरावृत्ति प्रीफिल कंप्यूटेशन को कम करते हुए पुन: प्रयोज्य संदर्भ को संरक्षित करना है, जो लंबे संदर्भ अनुमान के अधिक संसाधन-गहन चरणों में से एक है।

वेका का दावा है कि ओरेकल क्लाउड इन्फ्रास्ट्रक्चर पर एनवीडिया एच100 जीपीयू का उपयोग करके परीक्षण में टोकन थ्रूपुट में दस गुना, समकालिक उपयोगकर्ताओं में दस गुना और प्रति जीपीयू टोकन में सात गुना वृद्धि हुई।

वे आंकड़े सार्वभौमिक प्रदर्शन अपेक्षाओं के बजाय कार्यभार-विशिष्ट बेंचमार्क हैं, लेकिन वे स्थायी कैश प्रबंधन को इन्फरेंस इंफ्रास्ट्रक्चर डिज़ाइन का एक महत्वपूर्ण हिस्सा क्यों बना रहे हैं, इसे दर्शाते हैं।

वेकापॉड 3 हार्डवेयर परत पर नियंत्रण लेता है

जबकि पिछले वेकापॉड सिस्टम वेका सॉफ्टवेयर को पूर्व-मान्य इन्फ्रास्ट्रक्चर के साथ जोड़ते थे, तीसरी पीढ़ी में लंबवत एकीकृत सिस्टम डिज़ाइन में आगे बढ़ रही है।

वेका ने नए दो-रैक-यूनिट चेसिस, ड्राइव इंटरकोनेक्ट, कूलिंग आर्किटेक्चर, विफलता डोमेन और सेवा प्रणाली को डिज़ाइन किया है। उपकरण आंतरिक रूप से पीसीआई एक्सप्रेस जेन 6 का उपयोग करते हैं और स्पेक्ट्रम-एक्स इथरनेट इन्फ्रास्ट्रक्चर से कनेक्ट होने के लिए एनवीडिया कनेक्टएक्स नेटवर्किंग का उपयोग करते हैं।

वेकापॉड परिवार में अब तीन कॉन्फ़िगर करने योग्य सिस्टम हैं। नाइट्रो बैंडविड्थ-गहन अनुमान और एआई फ़ैक्ट्री कार्यभार के लिए अनुकूलित है। प्राइम ट्रिपल-लेवल सेल और क्वाड-लेवल सेल फ्लैश को प्रदर्शन और क्षमता के बीच संतुलन के लिए जोड़ती है। प्राइम मैक्स अधिकतम स्टोरेज घनत्व को प्राथमिकता देता है, जिसमें दो-रैक-यूनिट चेसिस में 70 एनवीएमई ड्राइव तक फिट हो सकते हैं।

पूर्ण रैक स्केल पर, वेका का दावा है कि प्राइम मैक्स 441.5 पेटाबाइट्स की कच्ची क्षमता और न्यूरलमेश डेटा कमी के बाद 1.1 एक्साबाइट प्रभावी क्षमता प्रदान कर सकता है। रैक-स्तरीय सिस्टम 10.2 टेराबाइट्स प्रति सेकंड की थ्रूपुट और 210 मिलियन इनपुट/आउटपुट ऑपरेशन प्रति सेकंड के लिए रेट किया गया है।

कच्ची और प्रभावी क्षमता के बीच अंतर महत्वपूर्ण है। एक्साबाइट आंकड़ा संग्रहीत डेटा में कमी योग्य पर निर्भर करता है और इसे अधिक एक्साबाइट शारीरिक फ्लैश के रूप में व्याख्या नहीं की जानी चाहिए।

इसके बावजूद, अधिक घनत्व सुविधाओं में महत्वपूर्ण परिणाम हो सकते हैं जहां स्टोरेज जीपीयू के साथ रैक स्थान, शीतलन और विद्युत क्षमता के लिए प्रतिस्पर्धा करता है।

सीमित डेटा केंद्रों के लिए डिज़ाइन किया गया

नए सिस्टम एआई इंफ्रास्ट्रक्चर परियोजनाओं को आकार देने वाली शारीरिक सीमाओं को भी संबोधित करते हैं।

जीपीयू क्लस्टर को बड़ी मात्रा में बिजली, शीतलन, नेटवर्किंग और फर्श स्थान की आवश्यकता होती है। स्टोरेज सिस्टम जो इन संसाधनों का उपयोग अकुशलता से करते हैं वे एक सुविधा में समर्थित जीपीयू की संख्या को कम कर सकते हैं।

वेका का दावा है कि नए उपकरण अपने-अपने वर्गों में अगले सर्वोत्तम सार्वजनिक रूप से उपलब्ध विकल्पों की तुलना में 267% अधिक प्रभावी क्षमता घनत्व और 114% अधिक प्रदर्शन घनत्व प्रदान करते हैं।

कंपनी ने सिस्टम को 35 डिग्री सेल्सियस तक के तापमान में संचालित करने के लिए भी डिज़ाइन किया है। सॉफ्टवेयर-नियंत्रित पावर थ्रॉटलिंग का उद्देश्य तापमान तनाव के दौरान प्रदर्शन को धीरे-धीरे कम करना है, न कि शटडाउन को ट्रिगर करना।

एक बैकप्लेन-मुक्त ड्राइव डिज़ाइन छोटे विफलता डोमेन बनाता है, जबकि हॉट-प्लगगेबल बूट ड्राइव और निर्देशित प्रतिस्थापन प्रक्रियाएं रखरखाव समय को कम करने के लिए हैं। ग्राहक चेसिस प्रकार, मेमोरी, ड्राइव क्षमता और ड्राइव गणना को कॉन्फ़िगर कर सकते हैं, जिसमें तैनाती एक पेटाबाइट से कम से लेकर 100 पेटाबाइट से अधिक तक हो सकती है।

एआई फ़ैक्ट्री के आसपास एक इकोसिस्टम बनाना

साथी घोषणाएं सुझाव देती हैं कि प्लेटफ़ॉर्म बुनियादी ढांचे के एकीकृतकों, क्लाउड प्रदाताओं और एआई ऑर्केस्ट्रेशन विक्रेताओं के माध्यम से ग्राहकों तक पहुंचेगा।

स्पेक्ट्रो क्लाउड न्यूरलमेश को पैलेटएआई के साथ एकीकृत करने के लिए इसे एक डेटा परत के रूप में प्रस्तुत कर रहा है ताकि एंटरप्राइज़ एआई फ़ैक्ट्री को तैनात और संचालित किया जा सके। वर्ल्ड वाइड टेक्नोलॉजी और कंप्यूटासेंटर वेकापॉड सिस्टम को व्यापक बुनियादी ढांचे की परियोजनाओं में शामिल करने की योजना बना रहे हैं, जबकि ग्लोकॉम्प ने बेहतर एआई प्रदर्शन और अधिक अनुमानित बुनियादी ढांचे की लागत की ग्राहक मांग पर प्रकाश डाला।

यह इकोसिस्टम रणनीति महत्वपूर्ण है क्योंकि अधिकांश संगठन उत्पादन एआई वातावरण को एक ही सप्लायर से इकट्ठा नहीं कर रहे हैं।

एक विशिष्ट तैनाती में जीपीयू, नेटवर्किंग, स्टोरेज, कुबेरनेट्स, मॉडल-सर्विंग सॉफ्टवेयर, दृश्यता, सुरक्षा और शासन उत्पाद शामिल हो सकते हैं जो कई विक्रेताओं से आते हैं। संयुक्त रूप से मान्य कॉन्फ़िगरेशन एकीकरण कार्य को कम कर सकते हैं, हालांकि ग्राहकों को अभी भी अपने मॉडल, डेटासेट, नेटवर्क और समकालिकता आवश्यकताओं का उपयोग करके प्रदर्शन का परीक्षण करने की आवश्यकता होगी।

एआई इंफ्रास्ट्रक्चर के लिए इसका क्या अर्थ है

घोषणा का सबसे महत्वपूर्ण पहलू कोई विशिष्ट क्षमता या थ्रूपुट संख्या नहीं है। यह स्टोरेज, वितरित कैशिंग, मेमोरी प्रबंधन, डेटा मोबिलिटी और किरायेदार अलगाव का बढ़ता संगम है।

जैसे ही एआई एजेंट लंबे इतिहास को बनाए रखते हैं, अधिक उद्यम जानकारी तक पहुंचते हैं और निरंतर संचालित होते हैं, जीपीयू के आसपास का बुनियादी ढांचा प्रत्येक उपयोगी प्रतिक्रिया की लागत का निर्धारण करने में बढ़ती भूमिका निभाएगा।

अधिक त्वरक जोड़ना पुनरावृत्ति संदर्भ प्रसंस्करण, धीमी डेटा चाल, खंडित प्रोटोकॉल या कम उपयोग की जाने वाली स्टोरेज क्षमता के कारण होने वाली बोतलनेक को हल नहीं करेगा। एआई इंफ्रास्ट्रक्चर का अगला चरण जीपीयू को कच्चा कंप्यूट करने के रूप में जीपीयू को कुशलता से खिलाने और प्रबंधित करने पर निर्भर करेगा।

न्यूरलमेश 6 2026 के दूसरे छमाही में सामान्य रूप से उपलब्ध होने वाला है, जिसमें मौजूदा ग्राहक मानक सॉफ्टवेयर चैनल के माध्यम से अपग्रेड करने के लिए पात्र हैं। नए वेकापॉड नाइट्रो, प्राइम और प्राइम मैक्स सिस्टम ऑर्डर के लिए उपलब्ध हैं, जिनकी डिलीवरी 2026 के पतन में शुरू होने की उम्मीद है।