एआई मॉडल और प्लेटफ़ॉर्म
Cornelis ने CN6000 पेश किया: AI और सुपरकंप्यूटरों के लिए 800G नेटवर्किंग का क्या मतलब है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुCornelis claims 1.6 billion messages per second but that figure is bidirectional and…
और देखें
- Cornelis claims 1.6 billion messages per second but that figure is bidirectional and aggregate.
- Its 0.95 microsecond latency beat InfiniBand by approximately 21% only in an internal small-message test.
- Peak speeds matter less than whether a buyer's own workload finishes faster on a complete fabric.
Cornelis ने CN6000 पेश किया है—800 गीगाबिट नेटवर्किंग उत्पादों का एक परिवार, जिसे AI एक्सेलेरेटरों और सुपरकंप्यूटरों का डेटा की प्रतीक्षा में लगने वाला समय घटाने के लिए बनाया गया है। इसका प्रमुख दावा उल्लेखनीय है: इसके Omni-Path SuperNIC पर प्रति सेकंड 1.6 अरब तक संदेश। हालांकि, इसका अर्थ समझने के लिए नेटवर्क प्रदर्शन के तीन अलग-अलग मापों—बैंडविड्थ, संदेश दर और विलंबता—को अलग-अलग समझना होगा।
12 नवंबर की घोषणा में Omni-Path और Ethernet अडैप्टरों के साथ एक Omni-Path स्विच भी पेश किया गया है। Cornelis के अनुसार, हार्डवेयर मूल्यांकन और शुरुआती तैनाती के लिए उपलब्ध है, जबकि साझेदारों के सिस्टम 2027 की पहली तिमाही में आने की उम्मीद है।
व्यावसायिक लक्ष्य सीधा है: महंगे प्रोसेसर तब अधिक उपयोगी काम कर पाते हैं, जब नेटवर्क उनकी गति के साथ तालमेल रखे। वितरित कार्य को पूरा करने में तेज़ GPU भी बहुत मदद नहीं करता, यदि वह किसी दूसरी मशीन से नतीजा आने की प्रतीक्षा कर रहा हो।
800G और 1.6 अरब संदेशों का असल मतलब
AI क्लस्टर आपस में जुड़े कंप्यूटरों का समूह होता है, जो मिलकर काम करते हैं। नेटवर्क मॉडल डेटा के बड़े हिस्सों से लेकर समन्वय के छोटे संदेशों तक, सब कुछ पहुँचाता है। इसके प्रदर्शन के कई आयाम होते हैं:
| माप | सरल शब्दों में अर्थ | यह क्यों मायने रखता है |
|---|---|---|
| बैंडविड्थ | हर सेकंड कितना डेटा भेजा जा सकता है | बड़ी मात्रा में डेटा भेजना |
| संदेश दर | अडैप्टर हर सेकंड कितने संदेश संभाल सकता है | छोटे-छोटे आदान-प्रदान संभालना |
| विलंबता | संचार में लगने वाला समय | एक-दूसरे पर निर्भर चरणों के बीच प्रतीक्षा घटाना |
800G का अर्थ है 800 गीगाबिट प्रति सेकंड। आठ से भाग देने पर नाममात्र गति 100 गीगाबाइट प्रति सेकंड होती है; इसमें प्रोटोकॉल का अतिरिक्त भार और अन्य व्यावहारिक सीमाएँ शामिल नहीं हैं। यह डेटा वहन करने की क्षमता बताता है, न कि चैटबॉट कितनी तेज़ी से शब्द बनाता है।
संदेश दर एक अलग बाधा को मापती है। जानकारी के बहुत-से छोटे हिस्से भेजने के लिए अडैप्टर को कई अलग-अलग कार्रवाइयाँ संसाधित करनी पड़ती हैं, भले ही वे लिंक की पूरी बैंडविड्थ का उपयोग न करें। Cornelis की Omni-Path उत्पाद विवरणिका में 1.6 अरब संदेशों की दर को द्विदिश बताया गया है। यह कुल क्षमता का आँकड़ा है; इसका दावा यह नहीं है कि कोई एक अनुप्रयोग हर सेकंड इतनी क्रमिक अनुरोध-प्रक्रियाएँ पूरी कर सकता है।
जब अगली गणना को किसी संदेश की प्रतीक्षा करनी पड़े, तब विलंबता मायने रखती है। Cornelis के आंतरिक 8-बाइट Intel MPI पिंग-पोंग परीक्षण में, 800G पर CN6000 के लिए विलंबता 0.95 माइक्रोसेकंड और NVIDIA InfiniBand XDR के लिए 1.2 माइक्रोसेकंड बताई गई—यानी लगभग 21% कम। MPI, यानी संदेश-पारण इंटरफ़ेस, समानांतर वैज्ञानिक प्रोग्रामों के बीच संचार का एक मानक तरीका है।
यह परीक्षण एक खास तरह के छोटे-संदेश आदान-प्रदान को मापता है। इससे यह साबित नहीं होता कि प्रशिक्षण कार्य, सिमुलेशन या इन्फ़रेंस सेवा 21% तेज़ी से पूरी होगी। नतीजा इस बात पर निर्भर करता है कि अनुप्रयोग कितनी बार संचार करता है, उसके डेटा-हस्तांतरण कितने बड़े हैं, नेटवर्क में भीड़ कितनी है और बाकी सिस्टम कैसा है।
SuperNIC, स्विच और नेटवर्क फ़ैब्रिक को समझें
नेटवर्क इंटरफ़ेस कार्ड, यानी NIC, सर्वर को नेटवर्क से जोड़ता है। “SuperNIC” Cornelis का अपने विशेष उच्च-प्रदर्शन अडैप्टरों के लिए इस्तेमाल किया गया उत्पाद-संबंधी नाम है। स्विच सर्वरों के उन लिंक को जोड़ता है और उनके बीच डेटा आगे भेजता है। अडैप्टरों, स्विचों, लिंक और संचार सॉफ़्टवेयर की पूरी व्यवस्था को आम तौर पर नेटवर्क फ़ैब्रिक कहा जाता है।
क्लस्टर खरीदते समय यह अंतर महत्वपूर्ण है। सक्षम अडैप्टर लगाने से उन सभी स्विचों, केबलों या सॉफ़्टवेयर मार्गों का अपने-आप उन्नयन नहीं हो जाता, जिनसे उसका ट्रैफ़िक गुज़रेगा।
CN6000 में फ़ैब्रिक के दो विकल्प हैं। Omni-Path समानांतर कंप्यूटिंग के लिए Cornelis का खास तौर पर बनाया गया इंटरकनेक्ट है। Ethernet व्यापक रूप से इस्तेमाल किया जाने वाला नेटवर्किंग आधार है, जिससे डेटा सेंटर संचालक परिचित हैं। Ethernet अडैप्टर उन ग्राहकों के लिए है जो संगत Ethernet स्विचिंग ढाँचे को बनाए रखते हुए उच्च-प्रदर्शन संचार चाहते हैं। InfiniBand, जिसका इस्तेमाल बेंचमार्क तुलना में किया गया है, कंप्यूटिंग के लिए एक अन्य विशेष फ़ैब्रिक है; इसके स्विच Omni-Path स्विचों के स्थान पर इस्तेमाल नहीं किए जा सकते।
इसलिए CN6000 प्लेटफ़ॉर्म घटकों और तैनाती के विकल्पों का एक परिवार है—यह इस बात की गारंटी नहीं कि नेटवर्क उपकरणों का कोई भी मेल समान नतीजा देगा।
RoCE कम प्रोसेसर-भार के साथ डेटा कैसे पहुँचाता है
Ethernet SuperNIC में RoCEv2 लागू किया गया है: Remote Direct Memory Access over Converged Ethernet का दूसरा संस्करण। इसकी मूल तकनीक, RDMA, नेटवर्क हार्डवेयर को अलग-अलग मशीनों पर अधिकृत मेमोरी क्षेत्रों के बीच डेटा पहुँचाने देती है, ताकि होस्ट CPU को हर डेटा-पेलोड पारंपरिक नेटवर्किंग मार्ग से कॉपी न करना पड़े।
इसे दो स्वीकृत स्थानों के बीच सीधे डिलीवरी की व्यवस्था करने जैसा समझें—इसके बजाय कि किसी मध्यस्थ से सामग्री बार-बार प्राप्त करवाकर कॉपी कराई जाए। संचार स्थापित करने और उसका प्रबंधन करने का काम CPU को फिर भी करना पड़ता है; लाभ यह है कि डेटा को एक जगह से दूसरी जगह पहुँचाने की प्रक्रिया में CPU की भागीदारी घट जाती है।
NVIDIA के RoCE दस्तावेज़ में बताया गया है कि दूसरा संस्करण IP और UDP हेडर का इस्तेमाल करके RDMA ट्रैफ़िक भेजता है, जिससे वह रूट किए गए IP नेटवर्कों से होकर जा सकता है। इसका कुशल क्रियान्वयन अब भी नेटवर्क कॉन्फ़िगरेशन और भीड़-नियंत्रण के व्यवहार पर निर्भर करता है, सिर्फ़ Ethernet कनेक्टर होने पर नहीं।
Cornelis की Ethernet उत्पाद जानकारी में हार्डवेयर ऑफ़लोड, एक साथ बड़ी संख्या में कार्रवाइयों के लिए समर्थन और प्राथमिकता प्रवाह नियंत्रण का ज़िक्र है। यह प्रवाह-नियंत्रण तंत्र पैकेट खोने की आशंका कम करने के लिए चुनिंदा ट्रैफ़िक वर्गों को रोक सकता है। घोषणा के मुताबिक, Ultra Ethernet का समर्थन सॉफ़्टवेयर अपडेट के ज़रिए मिलेगा; खरीदारों को इस नियोजित क्षमता और शुरुआती RoCEv2 पेशकश के बीच अंतर समझना चाहिए।
एआई इन्फरेंस के लिए कार्यशील मेमोरी को स्थानांतरित करना क्यों ज़रूरी है
एआई इन्फरेंस वह प्रक्रिया है जिसमें प्रशिक्षित मॉडल का इस्तेमाल करके जवाब तैयार किया जाता है। भाषा मॉडल के मामले में इसमें प्रीफ़िल शामिल है, जो प्रॉम्प्ट को संसाधित करता है, और डिकोड, जो एक बार में एक टोकन बनाकर जवाब तैयार करता है।
कुछ सर्विंग सिस्टम इन चरणों को प्रोसेसरों के अलग-अलग समूहों पर चलाते हैं, ताकि हर समूह को उसके काम के अनुसार तैयार किया जा सके। इसे विभाजित इन्फरेंस कहते हैं। इस बँटवारे के कारण एक चरण से दूसरे चरण तक जानकारी पहुँचानी पड़ती है: प्रॉम्प्ट पढ़ते समय गणना की गई जानकारी उन प्रोसेसरों तक पहुँचनी चाहिए जो जवाब तैयार कर रहे हैं।
इस जानकारी में की-वैल्यू कैश भी शामिल है, जिसे आम तौर पर KV कैश कहा जाता है। इसमें ध्यान-प्रक्रिया का मध्यवर्ती डेटा रखा जाता है, ताकि मॉडल पहले किए गए काम का दोबारा इस्तेमाल कर सके। यह न तो मॉडल के सभी वेट का संग्रह है, न ही केवल सहेजा गया पाठ-प्रतिलेख।
NVIDIA के Dynamo दस्तावेज़ में इस क्रम का वर्णन है: पहले प्रॉम्प्ट संसाधित करें, फिर उसका KV कैश स्थानांतरित करें और उसके बाद डिकोड वर्कर पर टोकन तैयार करें। तेज़ स्थानांतरण से यह बँटवारा अधिक व्यावहारिक हो सकता है। लेकिन कैश को स्थानांतरित करने में अतिरिक्त काम लगता है, इसलिए विभाजित इन्फरेंस तभी उपयोगी है जब शेड्यूलिंग और हार्डवेयर के लाभ, एक चरण से दूसरे चरण तक जानकारी पहुँचाने की लागत से अधिक हों।
लिंक व्यस्त होने पर भी ट्रैफ़िक का प्रवाह कैसे बनाए रखें
Omni-Path पर CN6000 क्रेडिट-आधारित प्रवाह नियंत्रण का इस्तेमाल करता है: भेजने वाला उपकरण, प्राप्तकर्ता पक्ष की उपलब्ध क्षमता के अनुसार डेटा भेजता है। अनुकूली रूटिंग उपलब्ध मार्गों पर ट्रैफ़िक बाँट सकती है, जबकि कई नेटवर्क प्लेन फ़ैब्रिक में अलग-अलग मार्ग उपलब्ध कराते हैं।
Omni-Path की जानकारी में दो स्वतंत्र 400G डेटा मार्गों का वर्णन है, जो मिलकर 800G की कुल बैंडविड्थ देते हैं। अगर किसी एक प्लेन की सर्विसिंग की ज़रूरत पड़े, तो दूसरा उपलब्ध रह सकता है; हालाँकि, नेटवर्क का कोई हिस्सा बंद होने पर उसकी मूल पूरी क्षमता बरकरार नहीं रहती।
इस प्लेटफ़ॉर्म में हार्डवेयर-आधारित रूट ऑफ़ ट्रस्ट, सिक्योर बूट और डिवाइस अटेस्टेशन भी शामिल हैं। इनसे यह सुनिश्चित करने में मदद मिलती है कि फ़र्मवेयर और डिवाइस की पहचान भरोसेमंद हैं। क्वांटम-पश्चात डिजिटल हस्ताक्षरों का इस्तेमाल प्रमाणीकरण और अखंडता से संबंधित है; इसका यह व्यापक दावा नहीं समझना चाहिए कि नेटवर्क पर भेजा जाने वाला हर डेटा एन्क्रिप्टेड है।
तैनाती का सवाल अधिकतम गति से कहीं आगे तक जाता है
CN6000, Cornelis के पहले के स्केल-आउट नेटवर्किंग कार्यों को आगे बढ़ाता है, जिनमें वैज्ञानिक कंप्यूटिंग के लिए AMD के साथ विस्तारित सहयोग भी शामिल है। इसकी खासियत उच्च-प्रदर्शन इंटरकनेक्ट के साथ प्रोसेसर और नेटवर्क परिवेशों के व्यापक विकल्पों का मेल है।
खरीदारों के लिए उपयोगी तुलना यह है कि उनके अपने वर्कलोड को पूरा करने में कितना समय और लागत लगती है। बार-बार छोटे अपडेट का आदान-प्रदान करने वाले सिमुलेशन को कम विलंबता और अधिक संदेश-दर से लाभ हो सकता है। बड़े कैश स्थानांतरित करने वाली सेवा के लिए लगातार बनी रहने वाली स्थानांतरण गति और भीड़-नियंत्रण अधिक अहम हो सकते हैं। दोनों के लिए उपयुक्त फ़ैब्रिक, सही ढंग से काम करने वाला सॉफ़्टवेयर समर्थन और उपयुक्त सर्वर कॉन्फ़िगरेशन ज़रूरी हैं।
CN6000 की घोषणा से ऐसे सिस्टम बनाने के लिए एक और विकल्प मिला है। इसके अधिकतम आँकड़े उन क्षमताओं की पहचान करते हैं जिन्हें परखना चाहिए; वास्तविक लाभ यह है कि असली ऐप्लिकेशन चलने के दौरान अधिक कंप्यूट संसाधन काम में लगे रहें।
