साझेदारियाँ
इन्फिनियोन टेक्नोलॉजीज और डी-मैट्रिक्स ने लो-लेटेंसी एआई इंफ्रास्ट्रक्चर पर साझेदारी की
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
इन्फिनियोन टेक्नोलॉजीज ने घोषणा की है कि वे डी-मैट्रिक्स के साथ मिलकर आधुनिक डेटा सेंटर्स में उपयोग किए जाने वाले एआई इन्फरेंस सिस्टम्स के प्रदर्शन और ऊर्जा दक्षता में सुधार करने के लिए साझेदारी कर रहे हैं। यह साझेदारी डी-मैट्रिक्स के कोर्सेयर एआई इन्फरेंस एक्सेलरेटर प्लेटफॉर्म और इन्फिनियोन के ऑप्टिमोस डुअल-फेज पावर मॉड्यूल के इर्द-गिर्द केंद्रित है, जो इंटरएक्टिव एआई वर्कलोड्स के लिए उच्च-घनत्व वाले कंप्यूट इंफ्रास्ट्रक्चर को सपोर्ट करने के लिए डिज़ाइन किए गए हैं।
एआई हार्डवेयर उद्योग में एक बढ़ती हुई प्रवृत्ति को इस घोषणा में उजागर किया गया है। जबकि पिछले कई वर्षों में बुनियादी ढांचे के विस्फोट में अधिकांश भाग एआई मॉडल्स को प्रशिक्षित करने पर केंद्रित था, अब उद्योग तेजी से इन्फरेंस में विस्तार कर रहा है – वास्तविक दुनिया के अनुप्रयोगों जैसे कि चैटबॉट्स, एजेंटिक एआई सिस्टम्स, कोपायलट्स, सर्च, वित्तीय विश्लेषण, और स्वास्थ्य निर्णय समर्थन में मॉडल्स को चलाने की प्रक्रिया। इन वर्कलोड्स ने हार्डवेयर पर अलग-अलग मांगें रखी हैं, विशेष रूप से लेटेंसी, प्रतिक्रिया, और ऊर्जा खपत के आसपास।
एआई इन्फरेंस क्यों एक प्रमुख हार्डवेयर युद्ध का मैदान बन रहा है
एआई इन्फरेंस एआई इंफ्रास्ट्रक्चर बाजार के सबसे तेजी से बढ़ते खंडों में से एक के रूप में उभरा है क्योंकि इंटरएक्टिव एआई सिस्टम्स को मिलीसेकंड में प्रतिक्रिया की आवश्यकता होती है, न कि सेकंड में। डी-मैट्रिक्स ने कोर्सेयर को विशेष रूप से इन वर्कलोड्स के लिए स्थिति दी है, जिसमें अल्ट्रा-लो लेटेंसी और ऊर्जा-कुशल इन्फरेंस पर जोर दिया गया है और बड़े भाषा मॉडल्स और एआई एजेंट्स के लिए।
डी-मैट्रिक्स के अनुसार, कोर्सेयर को एक डिजिटल इन-मेमोरी कंप्यूट आर्किटेक्चर के आसपास डिज़ाइन किया गया था जिसका उद्देश्य जेनरेटिव एआई इन्फरेंस को धीमा करने वाली मेमोरी बोतलनेक्स को कम करना था। कंपनी का दावा है कि प्लेटफ़ॉर्म पारंपरिक जीपीयू-केंद्रित इन्फरेंस सिस्टम्स की तुलना में लेटेंसी को काफी कम कर सकता है और विशेष रूप से इंटरएक्टिव अनुप्रयोगों के लिए थ्रूपुट में सुधार कर सकता है।
इन्फिनियोन के साथ साझेदारी एक और बढ़ती हुई चुनौती को संबोधित करती है: पावर डिलीवरी।
जैसे-जैसे एआई सर्वर घनत्व में बढ़ते हैं, तेजी से त्वरणकों को पावर डिलीवर करना बुनियादी ढांचे के विस्तार के लिए एक सीमित कारक बन गया है। इन्फिनियोन के ऑप्टिमोस टीडीएम2254xx मॉड्यूल वर्टिकल पावर डिलीवरी आर्किटेक्चर के लिए डिज़ाइन किए गए हैं जो इलेक्ट्रिकल नुकसान को कम करते हुए कॉम्पैक्ट सर्वर सिस्टम्स के भीतर पावर डेंसिटी में सुधार करते हैं।
रियल-टाइम एआई सिस्टम्स की ओर बदलाव
कंपनियों ने साझेदारी को “इंटरएक्टिव एआई” के उदय के आसपास फ्रेम किया है, जहां इन्फरेंस सिस्टम्स को बेहद कम देरी के साथ आउटपुट जनरेट करना होता है। इसमें कॉनवर्सेशनल एआई, एआई एजेंट्स, रियल-टाइम रीज़निंग सिस्टम्स, और बड़े भाषा मॉडल्स से तेजी से टोकन जेनरेशन की आवश्यकता वाले अनुप्रयोग शामिल हैं।
डी-मैट्रिक्स के संस्थापक और सीईओ सिद शेथ ने कहा कि कोर्सेयर के पीछे की आर्किटेक्चर को विशेष रूप से 2 मिलीसेकंड से कम टोकन लेटेंसी के लिए बनाया गया था, जो एक मीट्रिक है जो तेजी से महत्वपूर्ण हो गया है क्योंकि उद्यम एआई सिस्टम्स को प्रयोग से ग्राहक-सामना वाले वातावरण में ले जा रहे हैं।
व्यापक एआई उद्योग भी यह पहचानने लगा है कि इन्फरेंस इंफ्रास्ट्रक्चर प्रशिक्षण इंफ्रास्ट्रक्चर से अलग तरह से विकसित हो सकता है। जबकि जीपीयू क्लस्टर्स ने जनरेटिव एआई विस्तार के पहले चरण में प्रमुखता से कब्जा किया, इन्फरेंस अब उन आर्किटेक्चर्स को पुरस्कृत करता है जो मेमोरी बैंडविड्थ, लेटेंसी, नेटवर्किंग, और ऊर्जा दक्षता के आसपास अनुकूलित होते हैं, न कि केवल कच्चे कंप्यूट पर।
पावर दक्षता एआई स्केलिंग के लिए केंद्रीय हो रही है
हाइपरस्केलर्स और एआई क्लाउड प्रदाताओं का सामना करने वाली सबसे बड़ी बाधाओं में से एक बिजली की मांग है। एआई इन्फरेंस वर्कलोड्स लगातार मिलियनों अनुरोध प्रति दिन चल सकते हैं, जो परिचालन दक्षता को तैनाती लागत के लिए महत्वपूर्ण बनाता है।
इन्फिनियोन ने एआई इंफ्रास्ट्रक्चर में अपनी स्थिति का विस्तार करने के लिए सिलिकॉन, सिलिकॉन कार्बाइड (एसआईसी), और गैलियम नाइट्राइड (जीएन) पर आधारित सेमीकंडक्टर प्रौद्योगिकियों के माध्यम से आक्रामक रूप से विस्तार किया है। कंपनी ने एआई त्वरणकों और सर्वर इंफ्रास्ट्रक्चर के नीचे पावर डिलीवरी लेयर की आपूर्ति पर बढ़ती ध्यान केंद्रित किया है।
डी-मैट्रिक्स के साथ साझेदारी यह दर्शाती है कि सेमीकंडक्टर फर्म एआई त्वरणक स्टार्टअप्स के साथ कैसे अधिक घनिष्ठ रूप से एकीकृत हो रही हैं क्योंकि उद्योग पारंपरिक जीपीयू-भारी आर्किटेक्चर्स के विकल्पों की तलाश में है।
एआई इंफ्रास्ट्रक्चर पारंपरिक जीपीयू से परे विस्तार कर रहा है
साझेदारी एआई हार्डवेयर में एक व्यापक प्रयोग की लहर के दौरान आती है। कई स्टार्टअप्स इन्फरेंस, मेमोरी-केंद्रित कंप्यूटिंग, या एआई नेटवर्किंग पर केंद्रित विशेष त्वरणक विकसित कर रहे हैं।
डी-मैट्रिक्स ने कंप्यूट-इन-मेमोरी प्रौद्योगिकियों और जेनरेटिव एआई के लिए अनुकूलित लो-लेटेंसी इन्फरेंस सिस्टम्स पर जोर देकर खुद को अलग किया है। कंपनी ने हाल ही में अपनी इंफ्रास्ट्रक्चर रणनीति को त्वरणक चिप्स से परे विस्तारित किया है, जिसमें नेटवर्किंग, कम्पोजेबल इंफ्रास्ट्रक्चर, और इन्फरेंस क्लस्टर्स के लिए पूर्ण-सिस्टम ऑप्टिमाइजेशन पर जोर दिया गया है।
जैसे-जैसे एआई अनुप्रयोग अधिक एजेंटिक और इंटरएक्टिव होते जा रहे हैं, बुनियादी ढांचे प्रदाताओं को लेटेंसी को कम करने, ऊर्जा की खपत को कम करने, और पूरे डेटा सेंटर स्टैक्स में सिस्टम-स्तरीय दक्षता में सुधार पर अधिक जोर देने की उम्मीद है, न कि केवल कच्चे प्रोसेसिंग पावर पर।
