एनफैब्रिका ने एथरनेट-आधारित मेमोरी फैब्रिक पेश किया जो बड़े पैमाने पर एआई अनुमान को फिर से परिभाषित कर सकता है

एनफैब्रिका, नेविडिया द्वारा समर्थित एक सिलिकॉन वैली स्थित स्टार्टअप, ने एक ऐसा उत्पाद पेश किया है जो बड़े पैमाने पर एआई कार्यभार को तैनात और स्केल करने के तरीके को महत्वपूर्ण रूप से बदल सकता है। कंपनी की नई एलास्टिक मेमोरी फैब्रिक सिस्टम (ईएमएफएएस) पहली व्यावसायिक रूप से उपलब्ध एथरनेट-आधारित मेमोरी फैब्रिक है जो विशेष रूप से जनरेटिव एआई अनुमान के मूल बोतलनेक को संबोधित करने के लिए डिज़ाइन की गई है: मेमोरी एक्सेस।

जब एआई मॉडल अधिक जटिल, संदर्भ-जागरूक और स्थायी हो रहे हैं, जिसमें प्रति उपयोगकर्ता सत्र के लिए विशाल मात्रा में मेमोरी की आवश्यकता होती है – ईएमएफएएस मेमोरी को कंप्यूट से डिकपलिंग करने के लिए एक नए दृष्टिकोण की डिलीवरी करता है, जिससे एआई डेटा सेंटर को अपने सबसे महंगे संसाधनों के प्रदर्शन, लागत और उपयोगिता में काफी सुधार करने की अनुमति मिलती है: जीपीयू।

मेमोरी फैब्रिक क्या है – और यह क्यों मायने रखता है?

परंपरागत रूप से, डेटा सेंटर के भीतर मेमोरी सर्वर या नोड से जुड़ी हुई है। प्रत्येक जीपीयू या सीपीयू की केवल उच्च-बैंडविथ मेमोरी तक पहुंच है जो इसे सीधे जुड़ा हुआ है – आमतौर पर जीपीयू के लिए एचबीएम या सीपीयू के लिए डीआरएएम। यह वास्तुकला तब काम करती है जब कार्यभार छोटे और भविष्यवाणी योग्य होते हैं। लेकिन जनरेटिव एआई ने खेल को बदल दिया है। एलएलएम को बड़े संदर्भ विंडो, उपयोगकर्ता इतिहास और मल्टी-एजेंट मेमोरी तक पहुंच की आवश्यकता होती है – सभी को जल्दी और बिना देरी के संसाधित किया जाना चाहिए। ये मेमोरी की मांग अक्सर स्थानीय मेमोरी की उपलब्ध क्षमता को पार कर जाती है, जिससे बोतलनेक बन जाते हैं जो जीपीयू कोर को रोक देते हैं और बुनियादी ढांचे की लागत को बढ़ा देते हैं।

एक मेमोरी फैब्रिक इसे हल करता है bằng मेमोरी को एक साझा, वितरित संसाधन में बदलना – एक प्रकार का नेटवर्क-जुड़ा मेमोरी पूल जो क्लस्टर में किसी भी जीपीयू या सीपीयू द्वारा एक्सेस किया जा सकता है। इसे डेटा सेंटर रैक के भीतर एक “मेमोरी क्लाउड” बनाने के रूप में सोचें। इसके बजाय मेमोरी को सर्वर पर दोहराना या महंगे एचबीएम को अधिक भार देना, एक फैब्रिक मेमोरी को समूहित, विघटित और मांग पर उच्च-गति नेटवर्क पर एक्सेस करने की अनुमति देता है। यह एआई अनुमान कार्यभार को अधिक कुशलता से स्केल करने की अनुमति देता है बिना किसी एकल नोड की भौतिक मेमोरी सीमाओं से बंधे हुए।

एनफैब्रिका का दृष्टिकोण: एथरनेट और सीएक्सएल, एक साथ

ईएमएफएएस रैक-स्केल मेमोरी वास्तुकला को दो शक्तिशाली प्रौद्योगिकियों को जोड़कर प्राप्त करता है: आरडीएमए ओवर एथरनेट और कंप्यूट एक्सप्रेस लिंक (सीएक्सएल)। पहला अल्ट्रा-कम-विलंबता, उच्च-थ्रूपुट डेटा ट्रांसफर को मानक एथरनेट नेटवर्क पर सक्षम बनाता है। बाद वाला मेमोरी को सीपीयू और जीपीयू से डिटैच करने और साझा संसाधनों में पूल करने की अनुमति देता है, जो उच्च-गति सीएक्सएल लिंक के माध्यम से एक्सेस किया जा सकता है।

ईएमएफएएस के कोर में एनफैब्रिका का एसीएफ-एस चिप है, एक 3.2 टेराबिट्स-प्रति-सेकंड (टीबीपीएस) “सुपरएनआईसी” है जो नेटवर्किंग और मेमोरी नियंत्रण को एक ही डिवाइस में मिलाता है। यह चिप सर्वर को रैक भर में वितरित विशाल पूलों के साथ इंटरफेस करने की अनुमति देती है कमोडिटी डीडीआर५ डीआरएएम – प्रति नोड 18 टेराबाइट तक। महत्वपूर्ण बात यह है कि यह मानक एथरनेट पोर्ट का उपयोग करके ऐसा करता है, जिससे ऑपरेटर अपने मौजूदा डेटा सेंटर इन्फ्रास्ट्रक्चर का लाभ उठा सकते हैं बिना प्रोप्राइटरी इंटरकonneक्ट में निवेश किए।

जो ईएमएफएएस को विशेष रूप से आकर्षक बनाता है वह इसकी मेमोरी-बाउंड कार्यभार को महंगे जीपीयू-संलग्न एचबीएम से बहुत अधिक किफायती डीआरएएम में गतिशील रूप से ऑफलोड करने की क्षमता है, सभी जबकि माइक्रोसेकंड-स्तर की एक्सेस लेटेंसी को बनाए रखना। ईएमएफएएस के पीछे सॉफ्टवेयर स्टैक में इंटेलिजेंट कैशिंग और लोड-बैलेंसिंग मैकेनिज्म शामिल हैं जो लेटेंसी को छुपाते हैं और मेमोरी मूवमेंट को तरीकों से ऑर्केस्ट्रेट करते हैं जो सिस्टम पर चलने वाले एलएलएम के लिए पारदर्शी हैं।

एआई उद्योग के लिए परिणाम

यह केवल एक चतुर हार्डवेयर समाधान से अधिक है – यह एआई इन्फ्रास्ट्रक्चर के निर्माण और स्केलिंग के तरीके में एक दार्शनिक बदलाव का प्रतिनिधित्व करता है। जब जनरेटिव एआई नोवेल्टी से आवश्यकता में बदल जाता है, जिसमें दैनिक रूप से प्रसंस्कृत अरबों उपयोगकर्ता प्रश्न होते हैं, तो इन मॉडलों की सेवा की लागत कई कंपनियों के लिए अस्थिर हो गई है। जीपीयू अक्सर कम उपयोग किए जाते हैं नहीं क्योंकि कम्प्यूट की कमी है, लेकिन क्योंकि वे मेमोरी की प्रतीक्षा करते हुए निष्क्रिय रहते हैं। ईएमएफएएस सीधे उस असंतुलन को संबोधित करता है।

एथरनेट के माध्यम से पूल, फैब्रिक-जुड़ी मेमोरी को सक्षम करके, एनफैब्रिका डेटा सेंटर ऑपरेटरों को जीपीयू या एचबीएम खरीदने के लिए एक स्केलेबल विकल्प प्रदान करता है। इसके बजाय, वे मॉड्यूलर रूप से मेमोरी क्षमता बढ़ा सकते हैं, ऑफ-द-शेल्फ डीआरएएम और बुद्धिमान नेटवर्किंग का उपयोग करके, समग्र फुटप्रिंट को कम करते हैं और एआई अनुमान के आर्थिकी में सुधार करते हैं।

परिणाम तत्काल लागत बचत से परे हैं। इस प्रकार की विकेन्द्रित वास्तुकला मेमोरी-ए-ए-सर्विस मॉडल के लिए मार्ग प्रशस्त करती है, जहां संदर्भ, इतिहास और एजेंट स्टेट एकल सत्र या सर्वर से परे बना रह सकता है, अधिक बुद्धिमान और व्यक्तिगत एआई सिस्टम के लिए दरवाजा खोलता है। यह अधिक लचीले एआई क्लाउड के लिए भी मंच तैयार करता है, जहां कार्यभार को रैक या पूरे डेटा सेंटर में लचीले रूप से वितरित किया जा सकता है बिना कठोर मेमोरी सीमाओं के।

आगे देखें

एनफैब्रिका का ईएमएफएएस वर्तमान में चुनिंदा ग्राहकों के साथ नमूना है, और जबकि कंपनी ने उन भागीदारों के नाम का खुलासा नहीं किया है, रॉयटर्स रिपोर्ट कि प्रमुख एआई क्लाउड प्रदाता पहले से ही प्रणाली का परीक्षण कर रहे हैं। यह एनफैब्रिका को न केवल एक घटक आपूर्तिकर्ता के रूप में स्थापित करता है, बल्कि अगली पीढ़ी के एआई इन्फ्रास्ट्रक्चर में एक प्रमुख सक्षमकर्ता के रूप में भी।

मेमोरी को कंप्यूट से डिकपलिंग करके और इसे उच्च-गति वाले कमोडिटी एथरनेट नेटवर्क पर उपलब्ध कराकर, एनफैब्रिका एआई वास्तुकला के एक नए युग की नींव रख रहा है – जहां अनुमान बिना समझौते के स्केल कर सकता है, जहां संसाधनों को अब फंसाया नहीं जाता है, और जहां बड़े भाषा मॉडल को तैनात करने की आर्थिकी अंततः समझ में आने लगती है।

एक दुनिया में जो तेजी से संदर्भ-समृद्ध, मल्टी-एजेंट एआई सिस्टम द्वारा परिभाषित की जा रही है, मेमोरी अब एक सहायक अभिनेता नहीं है – यह मंच है। और एनफैब्रिका दांव पर लगा है कि जो कोई भी सबसे अच्छा मंच बनाता है वह आगामी वर्षों के लिए एआई के प्रदर्शन को परिभाषित करेगा।