इन्फिनियॉन टेक्नोलॉजीज और डी-मैट्रिक्स ने कम विलंबता वाले एआई इंफ्रास्ट्रक्चर पर साझेदारी की

इन्फिनियॉन टेक्नोलॉजीज ने घोषणा की है कि वह डी-मैट्रिक्स के साथ मिलकर आधुनिक डेटा सेंटरों में उपयोग किए जाने वाले एआई अनुमान प्रणालियों के प्रदर्शन और ऊर्जा दक्षता में सुधार के लिए साझेदारी कर रहा है। यह साझेदारी डी-मैट्रिक्स के कोर्सेयर एआई अनुमान त्वरक प्लेटफ़ॉर्म और इन्फिनियॉन के ऑप्टिमोस डुअल-फ़ेज़ पावर मॉड्यूल के आसपास केंद्रित है, जो इंटरैक्टिव एआई कार्यभार के लिए उच्च-घनत्व वाले कंप्यूटिंग वातावरण का समर्थन करने के लिए डिज़ाइन किए गए हैं।

इस घोषणा ने एआई हार्डवेयर उद्योग के भीतर एक बढ़ती हुई प्रवृत्ति को उजागर किया है। जबकि पिछले कई वर्षों में बुनियादी ढांचे के विस्फोट ने मुख्य रूप से बढ़ते एआई मॉडलों के प्रशिक्षण पर ध्यान केंद्रित किया, उद्योग अब तेजी से अनुमान में विस्तार कर रहा है – वास्तविक दुनिया के अनुप्रयोगों जैसे कि चैटबॉट, एजेंटिक एआई सिस्टम, कोपायलट, खोज, वित्तीय विश्लेषण और स्वास्थ्य देखभाल निर्णय समर्थन में मॉडल चलाने की प्रक्रिया। ये कार्यभार हार्डवेयर पर अलग-अलग मांगें रखते हैं, विशेष रूप से विलंबता, प्रतिक्रिया और शक्ति की खपत के आसपास।

एआई अनुमान क्यों एक प्रमुख हार्डवेयर मैदान बन रहा है

एआई अनुमान एआई बुनियादी ढांचे के बाजार के सबसे तेजी से बढ़ते खंडों में से एक के रूप में उभरा है क्योंकि इंटरैक्टिव एआई प्रणालियों को मिलीसेकंड के भीतर प्रतिक्रिया की आवश्यकता होती है, न कि सेकंड में। डी-मैट्रिक्स ने कोर्सेयर को विशेष रूप से इन कार्यभार के लिए स्थिति दी है, जिसमें अल्ट्रा-कम विलंबता और ऊर्जा-कुशल अनुमान पर जोर दिया गया है और बड़े भाषा मॉडल और एआई एजेंट के लिए।

डी-मैट्रिक्स के अनुसार, कोर्सेयर को स्मृति में कम्प्यूटे आर्किटेक्चर के आसपास डिज़ाइन किया गया था जिसका उद्देश्य जनरेटिव एआई अनुमान को धीमा करने वाली स्मृति बोतलनेक को कम करना था। कंपनी का दावा है कि प्लेटफ़ॉर्म पारंपरिक जीपीयू-केंद्रित अनुमान प्रणालियों की तुलना में विलंबता को काफी कम कर सकता है और इंटरैक्टिव अनुप्रयोगों के लिए थ्रूपुट में सुधार कर सकता है।

इन्फिनियॉन के साथ साझेदारी एक और बढ़ती महत्वपूर्ण चुनौती को संबोधित करती है: शक्ति वितरण।

जैसे ही एआई सर्वर घनत्व में बढ़ते हैं, त्वरक को शक्ति वितरण करना बुनियादी ढांचे के विस्तार के लिए एक सीमित कारक बन गया है। इन्फिनियॉन के ऑप्टिमोस टीडीएम2254xx मॉड्यूल को ऊर्जा घनत्व को बेहतर बनाने और कॉम्पैक्ट सर्वर सिस्टम के भीतर विद्युत नुकसान को कम करने में मदद करने के लिए ऊर्जा वितरण आर्किटेक्चर के लिए डिज़ाइन किया गया है।

वास्तविक समय एआई प्रणालियों की ओर बदलाव

कंपनियों ने सहयोग को “इंटरैक्टिव एआई” के उदय के आसपास तैयार किया है, जहां अनुमान प्रणालियों को बेहद कम विलंबता के साथ आउटपुट लगातार उत्पन्न करना होता है। इसमें वार्तालाप एआई, एआई एजेंट, वास्तविक समय तर्क प्रणाली और बड़े भाषा मॉडल से तेजी से टोकन पीढ़ी की आवश्यकता वाले अनुप्रयोग शामिल हैं।

डी-मैट्रिक्स के संस्थापक और सीईओ सिड शेथ ने कहा कि कोर्सेयर के पीछे की वास्तुकला विशेष रूप से 2 मिलीसेकंड से कम टोकन विलंबता के लिए बनाई गई थी, एक मीट्रिक जो तेजी से महत्वपूर्ण हो गई है क्योंकि उद्यम एआई प्रणालियों को प्रयोग से ग्राहक-सामना वाले वातावरण में ले जा रहे हैं।

व्यापक एआई उद्योग भी यह पहचानने लगा है कि अनुमान बुनियादी ढांचा प्रशिक्षण बुनियादी ढांचे से अलग तरह से विकसित हो सकता है। जबकि जीपीयू क्लस्टर प्रारंभिक चरण में जनरेटिव एआई विस्तार को домिनेट करते थे, अनुमान अब उन आर्किटेक्चर को पुरस्कृत करता है जो स्मृति बैंडविथ, विलंबता, नेटवर्किंग और ऊर्जा दक्षता के आसपास अनुकूलित होते हैं, न कि केवल कच्चे कम्प्यूट के आसपास।

ऊर्जा दक्षता एआई स्केलिंग के लिए केंद्रीय हो रही है

हाइपरस्केलर और एआई क्लाउड प्रदाताओं का सामना करने वाली सबसे बड़ी बाधाओं में से एक बिजली की मांग है। एआई अनुमान कार्यभार दिन में लाखों अनुरोधों पर लगातार चल सकते हैं, जिससे परिनियोजन लागत के लिए परिचालन दक्षता महत्वपूर्ण हो जाती है।

इन्फिनियॉन ने सिलिकॉन, सिलिकॉन कार्बाइड (एसआईसी), और गैलियम नाइट्राइड (जीएन) पर आधारित सेमीकंडक्टर प्रौद्योगिकियों के माध्यम से एआई बुनियादी ढांचे के भीतर अपनी स्थिति का विस्तार करने के लिए आक्रामक रूप से काम किया है। कंपनी ने एआई त्वरक और सर्वर बुनियादी ढांचे के नीचे शक्ति वितरण परत की आपूर्ति करने पर बढ़ती ध्यान केंद्रित किया है।

डी-मैट्रिक्स के साथ सहयोग यह दर्शाता है कि सेमीकंडक्टर फर्म एआई त्वरक स्टार्टअप के साथ कैसे अधिक घनिष्ठ रूप से एकीकृत हो रही हैं क्योंकि उद्योग पारंपरिक जीपीयू-भारी वास्तुकला के विकल्पों की तलाश कर रहा है।

एआई बुनियादी ढांचा पारंपरिक जीपीयू से परे विस्तार कर रहा है

साझेदारी एआई हार्डवेयर में प्रयोग की एक व्यापक लहर के दौरान आती है। कई स्टार्टअप अनुमान, स्मृति-केंद्रित कंप्यूटिंग या एआई नेटवर्किंग पर ध्यान केंद्रित करने वाले विशेष त्वरक विकसित कर रहे हैं।

डी-मैट्रिक्स ने कम्प्यूट-इन-मेमोरी प्रौद्योगिकियों और जनरेटिव एआई के लिए टेलर्ड कम-विलंबता अनुमान प्रणालियों पर जोर देकर खुद को अलग किया है। कंपनी ने हाल ही में अपनी बुनियादी ढांचे की रणनीति का विस्तार त्वरक चिप्स से परे किया है, जिसमें नेटवर्किंग, कम्पोज़ेबल इंफ्रास्ट्रक्चर और अनुमान क्लस्टर के लिए पूर्ण-सिस्टम अनुकूलन पर जोर दिया गया है।

जैसे ही एआई अनुप्रयोग अधिक एजेंटिक और इंटरैक्टिव होते जा रहे हैं, बुनियादी ढांचा प्रदाताओं को विलंबता को कम करने, ऊर्जा की खपत को कम करने और पूरे डेटा सेंटर स्टैक में प्रणाली स्तर की दक्षता में सुधार पर अधिक जोर देने की उम्मीद है, न कि केवल कच्चे प्रसंस्करण शक्ति पर।