рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛
Enfabrica рдиреЗ рдЗрдерд░рдиреЗрдЯ-рдЖрдзрд╛рд░рд┐рдд рдореЗрдореЛрд░реА рдлреИрдмреНрд░рд┐рдХ рдкреЗрд╢ рдХрд┐рдпрд╛ рдЬреЛ рдмрдбрд╝реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рдПрдЖрдИ рдЕрдиреБрдорд╛рди рдХреЛ рдлрд┐рд░ рд╕реЗ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд░ рд╕рдХрддрд╛ рд╣реИ
Enfabrica, एक सिलिकॉन वैली स्थित स्टार्टअप जो Nvidia द्वारा समर्थित है, ने एक ऐसा उत्पाद पेश किया है जो बड़े पैमाने पर एआई कार्यभारों को तैनात और स्केल करने के तरीके को काफी हद तक बदल सकता है। कंपनी की नई Elastic Memory Fabric System (EMFASYS) पहली व्यावसायिक रूप से उपलब्ध इथरनेट-आधारित मेमोरी फैब्रिक है जो विशेष रूप से जनरेटिव एआई अनुमान के मूल बोतलनेक को संबोधित करने के लिए डिज़ाइन की गई है: मेमोरी एक्सेस।
एक समय जब एआई मॉडल अधिक जटिल, संदर्भ-जागरूक और स्थायी हो रहे हैं – प्रत्येक उपयोगकर्ता सत्र के लिए विशाल मात्रा में मेमोरी की आवश्यकता होती है – EMFASYS गणना से मेमोरी को अलग करने के लिए एक नए दृष्टिकोण को वितरित करता है, जिससे एआई डेटा सेंटर अपने सबसे महंगे संसाधनों के प्रदर्शन में नाटकीय रूप से सुधार कर सकते हैं: जीपीयू।
मेमोरी फैब्रिक क्या है – और यह क्यों महत्वपूर्ण है?
परंपरागत रूप से, डेटा सेंटर में मेमोरी सर्वर या नोड से जुड़ी होती है जिसमें यह निवास करती है। प्रत्येक जीपीयू या सीपीयू की केवल उच्च-बैंडविथ मेमोरी तक पहुंच होती है जो सीधे इसके साथ जुड़ी होती है – आमतौर पर जीपीयू के लिए एचबीएम या सीपीयू के लिए डीआरएएम। यह वास्तुकला तब काम करती है जब कार्यभार छोटे और भविष्यवाणीय होते हैं। लेकिन जनरेटिव एआई ने खेल को बदल दिया है। एलएलएम को बड़े संदर्भ विंडो, उपयोगकर्ता इतिहास और मल्टी-एजेंट मेमोरी तक पहुंच की आवश्यकता होती है – सभी को जल्दी और बिना देरी के संसाधित किया जाना चाहिए। ये मेमोरी मांगें अक्सर स्थानीय मेमोरी की उपलब्ध क्षमता को पार कर जाती हैं, जिससे बोतलनेक बनते हैं जो जीपीयू कोर को अवरुद्ध करते हैं और बुनियादी ढांचे की लागत को बढ़ाते हैं।
एक मेमोरी फैब्रिक इसे हल करता है bằng मेमोरी को एक साझा, वितरित संसाधन में बदलना – एक प्रकार का नेटवर्क-जुड़ा मेमोरी पूल जो क्लस्टर में किसी भी जीपीयू या सीपीयू द्वारा एक्सेस किया जा सकता है। इसे डेटा सेंटर रैक के भीतर एक “मेमोरी क्लाउड” बनाने के रूप में सोचें। सर्वरों में मेमोरी को प्रतिलिपि बनाने या महंगे एचबीएम को अधिक भार देने के बजाय, एक फैब्रिक मेमोरी को एकत्रित, वितरित और मांग पर उच्च गति नेटवर्क पर एक्सेस की अनुमति देता है। यह एआई अनुमान कार्यभारों को अधिक कुशलता से स्केल करने की अनुमति देता है बिना किसी एक नोड की भौतिक मेमोरी सीमाओं से जकड़े हुए।
Enfabrica का दृष्टिकोण: इथरनेट और सीएक्सएल, एक साथ
EMFASYS रैक-स्केल मेमोरी वास्तुकला को प्राप्त करने के लिए दो शक्तिशाली प्रौद्योगिकियों को जोड़कर: आरडीएमए ओवर इथरनेट और कंप्यूट एक्सप्रेस लिंक (सीएक्सएल)। पूर्व अल्ट्रा-कम-विलंबता, उच्च-थ्रूपुट डेटा ट्रांसफर को मानक इथरनेट नेटवर्क में सक्षम बनाता है। बाद वाला सीपीयू और जीपीयू से मेमोरी को अलग करने और इसे साझा संसाधनों में पूल करने की अनुमति देता है, जो उच्च गति सीएक्सएल लिंक के माध्यम से एक्सेस किया जा सकता है।
EMFASYS के केंद्र में Enfabrica का एएसएफ-एस चिप है, एक 3.2 टेराबिट्स-प्रति-सेकंड (टीबीपीएस) “सुपरएनआईसी” जो नेटवर्किंग और मेमोरी नियंत्रण को एक ही डिवाइस में मिलाता है। यह चिप सर्वरों को वितरित किए गए विशाल पूलों के साथ इंटरफेस करने की अनुमति देती है – प्रति नोड 18 टेराबाइट तक – मानक इथरनेट पोर्ट का उपयोग करके रैक में। यह महत्वपूर्ण है कि यह मौजूदा डेटा सेंटर बुनियादी ढांचे का लाभ उठाने की अनुमति देता है बिना प्रोप्राइटरी इंटरकोनेक्ट्स में निवेश किए।
EMFASYS को विशेष रूप से आकर्षक बनाने वाली बात यह है कि यह मेमोरी को महंगे जीपीयू-संलग्न एचबीएम से अधिक किफायती डीआरएएम में गतिशील रूप से ऑफलोड करने की क्षमता है, जबकि माइक्रोसेकंड-स्तर की एक्सेस विलंबता को बनाए रखता है। EMFASYS के पीछे सॉफ्टवेयर स्टैक में बुद्धिमान कैशिंग और लोड-बैलेंसिंग तंत्र शामिल हैं जो विलंबता को छुपाते हैं और तरीकों से मेमोरी आंदोलन को समन्वयित करते हैं जो सिस्टम पर चलने वाले एलएलएम के लिए पारदर्शी हैं।
एआई उद्योग के लिए निहितार्थ
यह केवल एक चतुर हार्डवेयर समाधान से अधिक है – यह एआई बुनियादी ढांचे के निर्माण और स्केलिंग के तरीके में एक दार्शनिक बदलाव का प्रतिनिधित्व करता है। जब जनरेटिव एआई नोवेल्टी से आवश्यकता में स्थानांतरित हो जाता है, तो दैनिक आधार पर अरबों उपयोगकर्ता प्रश्नों को संसाधित किया जाता है, इन मॉडलों की सेवा की लागत कई कंपनियों के लिए असहनीय हो गई है। जीपीयू अक्सर कम उपयोग किए जाते हैं नहीं क्योंकि कम्प्यूटे की कमी है, लेकिन क्योंकि वे मेमोरी की प्रतीक्षा में निष्क्रिय रहते हैं। EMFASYS सीधे इस असंतुलन को संबोधित करता है।
इथरनेट के माध्यम से एक्सेस किए जाने वाले पूल, फैब्रिक-जुड़े मेमोरी को सक्षम करके, Enfabrica डेटा सेंटर ऑपरेटरों को एक वैकल्पिक प्रदान करता है जो निरंतर जीपीयू या एचबीएम खरीदने के बजाय मेमोरी क्षमता को मॉड्यूलर रूप से बढ़ाने की अनुमति देता है, ऑफ-द-शेल्फ डीआरएएम और बुद्धिमान नेटवर्किंग का उपयोग करता है, जिससे एआई अनुमान के समग्र पदचिह्न और अर्थशास्त्र में सुधार होता है।
निहितार्थ तात्कालिक लागत बचत से परे जाते हैं। इस प्रकार की विकेन्द्रित वास्तुकला मेमोरी के रूप में सेवा मॉडल के लिए मार्ग प्रशस्त करती है, जहां संदर्भ, इतिहास और एजेंट राज्य एकल सत्र या सर्वर से परे बने रह सकते हैं, अधिक बुद्धिमान और व्यक्तिगत एआई प्रणालियों के लिए दरवाजा खोलते हैं। यह अधिक लचीले एआई क्लाउड के लिए भी मंच तैयार करता है, जहां कार्यभार एक रैक या पूरे डेटा सेंटर में लोचदार रूप से वितरित किए जा सकते हैं बिना कठोर मेमोरी सीमाओं के।
आगे देखते हुए
Enfabrica क EMFASYS वर्तमान में चुनिंदा ग्राहकों के साथ नमूना है, और जबकि कंपनी ने खुलासा नहीं किया है कि वे भागीदार कौन हैं, रॉयटर्स रिपोर्ट कि प्रमुख एआई क्लाउड प्रदाता पहले से ही प्रणाली का परीक्षण कर रहे हैं। यह Enfabrica को न केवल एक घटक आपूर्तिकर्ता के रूप में स्थापित करता है, बल्कि अगली पीढ़ी के एआई बुनियादी ढांचे में एक प्रमुख सुविधा प्रदाता के रूप में भी।
गणना से मेमोरी को अलग करके और इसे उच्च गति वाले कमोडिटी इथरनेट नेटवर्क पर उपलब्ध कराने के द्वारा, Enfabrica एआई वास्तुकला के एक नए युग की नींव रख रहा है – एक जहां अनुमान बिना समझौते के स्केल कर सकता है, जहां संसाधन अब अवरुद्ध नहीं हैं, और जहां बड़े भाषा मॉडल तैनात करने की अर्थव्यवस्था अंततः समझ में आती है।
एक दुनिया में जो बढ़ती तरह से संदर्भ-समृद्ध, मल्टी-एजेंट एआई प्रणालियों से परिभाषित है, मेमोरी अब एक सहायक अभिनेता नहीं है – यह मंच है। और Enfabrica यह दांव लगा रहा है कि जो कोई भी सर्वश्रेष्ठ मंच बनाता है वह वर्षों से आगे एआई के प्रदर्शन को परिभाषित करेगा।
