स्पेक्ट्रो क्लाउड लॉन्च करता है पैलेटएआई इन्फरेंस लॉन्चपैड, जो उद्यमों को एआई टोकन लागतों पर नियंत्रण दिलाने में मदद करता है

स्पेक्ट्रो क्लाउड ने पैलेटएआई इन्फरेंस लॉन्चपैड लॉन्च किया है, जो एक स्थानीय रूप से प्रबंधित अनुमान मंच है जो उद्यमों को बाहरी मॉडल सेवाओं पर उनकी निर्भरता को कम करने और कृत्रिम बुद्धिमत्ता कार्यभार की बढ़ती लागत पर अधिक नियंत्रण प्राप्त करने में मदद करने के लिए डिज़ाइन किया गया है।

कंपनी का कहना है कि संगठन बाहरी टोकन लागत को 70% तक कम कर सकते हैं, जो उनके कार्यभार मिश्रण, बुनियादी ढांचे और मॉडल की पसंद पर निर्भर करता है। स्पेक्ट्रो क्लाउड ने पैलेटएआई के लिए एएमडी-आधारित बुनियादी ढांचे के लिए समर्थन भी बढ़ाया है, जिससे ग्राहकों को ग्राफिक्स प्रोसेसिंग यूनिट (जीपीयू), अनुमान रनटाइम और मॉडल-सेवा प्रौद्योगिकियों का व्यापक विकल्प मिलता है।

यह घोषणा उद्यम एआई में एक व्यापक बदलाव को दर्शाती है। जैसे ही कंपनियां प्रयोग से परे जाकर ग्राहक सेवा, सॉफ्टवेयर विकास, विश्लेषण और आंतरिक संचालन में कृत्रिम बुद्धिमत्ता को तैनात करती हैं, मॉडल इनपुट और आउटपुट को संसाधित करने की लागत एक महत्वपूर्ण बुनियादी ढांचा चिंता बन जाती है।

उद्यम डेटा के करीब एआई अनुमान लाना

पैलेटएआई इन्फरेंस लॉन्चपैड एक स्थानीय-पहले दृष्टिकोण पर बनाया गया है। बाहरी रूप से होस्ट किए गए फ्रंटियर मॉडल को हर अनुरोध भेजने के बजाय, संगठन अपने स्वयं के डेटा केंद्रों, निजी क्लाउड, संप्रभु वातावरण या एज लोकेशन में स्थित बुनियादी ढांचे पर उपयुक्त कार्यभार चला सकते हैं।

उद्यम अभी भी बाहरी रूप से होस्ट किए गए फ्रंटियर मॉडल तक पहुंच बनाए रख सकते हैं जो उन कार्यों के लिए आवश्यक हैं जो उनकी क्षमताओं की आवश्यकता होती है। मंच स्थानीय और बाहरी मॉडल के बीच अनुरोधों को मार्गदर्शन करने के लिए डिज़ाइन किया गया है, जो लागत, प्रदर्शन, शासन आवश्यकताओं और कार्य की जटिलता जैसे कारकों पर आधारित है।

यह हाइब्रिड मॉडल तेजी से महत्वपूर्ण हो सकता है क्योंकि संगठन छोटे और अधिक विशेषज्ञता वाले मॉडल को अपनाते हैं। एक ग्राहक सहायता अनुरोध, दस्तावेज़ वर्गीकरण कार्य या आंतरिक ज्ञान प्रश्न को उन्नत तर्क, जटिल कोडिंग या बहुमोडल विश्लेषण की तरह ही मॉडल क्षमता की आवश्यकता नहीं हो सकती है।

स्थानीय कार्यभार रखने से लेटेंसी को कम करने में भी मदद मिल सकती है क्योंकि अनुमान को अनुप्रयोगों, उपयोगकर्ताओं और डेटा स्रोतों के करीब लाया जाता है। नियंत्रित उद्योगों में काम करने वाले संगठनों के लिए, स्थानीय प्रसंस्करण संवेदनशील जानकारी को संभालने के लिए अधिक नियंत्रण प्रदान कर सकता है।

टोकन उपयोग एक बुनियादी ढांचा मीट्रिक बन जाता है

टोकन वे इकाइयाँ हैं जिनमें कृत्रिम बुद्धिमत्ता मॉडल पाठ, कोड और अन्य जानकारी को विभाजित और संसाधित करते हैं। प्रत्येक प्रॉम्प्ट और उत्पन्न प्रतिक्रिया टोकन की खपत करती है, और कई व्यावसायिक मॉडल सेवाएं टोकन की संख्या के अनुसार शुल्क लेती हैं।

इसका मतलब है कि एआई लागतें तेजी से बढ़ सकती हैं क्योंकि सिस्टम नियंत्रित परीक्षणों से हजारों कर्मचारियों या ग्राहकों को सेवा देने वाले अनुप्रयोगों में जाते हैं। समस्या एआई एजेंटों के साथ और भी जटिल हो जाती है, जो एक कार्य को पूरा करने से पहले बार-बार मॉडल कॉल, जानकारी पुनर्प्राप्त करने, परिणामों का मूल्यांकन करने और बाहरी उपकरणों का उपयोग कर सकते हैं।

गोल्डमैन सैक्स रिसर्च का अनुमान है कि मासिक एआई टोकन खपत 2026 और 2030 के बीच 24 गुना बढ़ जाएगी, जो लगभग 120 क्वाड्रिलियन टोकन प्रति माह तक पहुंच जाएगी। यह अनुमानित वृद्धि उद्यम अपनाने और अधिक स्वायत्त एआई एजेंटों के उद्भव द्वारा संचालित है।

इन्फरेंस लॉन्चपैड इस मुद्दे को संबोधित करता है bằng ढांचे की टीमों को टोकन खपत, कोटा स्थापित करने और उपयोग नीतियों को लागू करने के लिए उपकरण प्रदान करके। ये नियंत्रण कंपनियों को समझने में मदद कर सकते हैं कि कौन सी टीमें, अनुप्रयोग और मॉडल उनके एआई खर्च के लिए जिम्मेदार हैं, बजाय इसके कि अनुमान को एक अप्रत्याशित बाहरी सेवा शुल्क के रूप में माना जाए।

स्पेक्ट्रो क्लाउड द्वारा उद्धृत 70% की कमी को एक संभावित परिणाम के रूप में देखा जाना चाहिए, न कि गारंटीकृत बचत के रूप में। वास्तविक अर्थशास्त्र जीपीयू अधिग्रहण या किराये की लागत, उपयोग दर, ऊर्जा खपत, मॉडल की दक्षता, अनुरोध मात्रा और बाहरी प्रदाताओं की कीमतों पर निर्भर करेगा।

फ्रंटियर मॉडल को समाप्त किए बिना स्थानीय मॉडल

मंच की मॉडल-रूटिंग क्षमताएं उद्यमों को एक सभी-स्थानीय या सभी-क्लाउड निर्णय में मजबूर करने से बचने के लिए डिज़ाइन की गई हैं।

संगठन छोटे स्थानीय मॉडल का उपयोग पूर्वानुमानित या गोपनीयता-संवेदनशील कार्यों के लिए कर सकते हैं, जबकि अधिक मांग वाले अनुरोधों को फ्रंटियर मॉडल को भेजा जा सकता है। नीतियां यह भी निर्धारित कर सकती हैं कि कौन से मॉडल विशिष्ट विभागों, क्षेत्राधिकारों या डेटा वर्गीकरण के लिए अनुमति दी जाती हैं।

यह अनुमान परत में शासन की शुरूआत करता है। एक वित्तीय संस्थान, उदाहरण के लिए, नियंत्रित वातावरण से बाहर जाने वाली कertain जानकारी को रोक सकता है, जबकि गैर-संवेदनशील अनुरोधों को बाहरी मॉडल का उपयोग करने की अनुमति दे सकता है। एक बहुराष्ट्रीय कंपनी क्षेत्रीय डेटा आवश्यकताओं के आधार पर अलग-अलग रूटिंग नियम लागू कर सकती है।

स्पेक्ट्रो क्लाउड ने मॉडल चयन और शासन को पैलेटएआई की व्यापक बुनियादी ढांचा प्रबंधन रणनीति के हिस्से के रूप में स्थित किया है। मंच साझा जीपीयू वातावरण, भूमिका-आधारित पहुंच, संसाधन कोटा और टेनेंट-स्तरीय नियंत्रणों का समर्थन करता है जो कई टीमों को बुनियादी ढांचे का उपयोग करने की अनुमति देने के लिए डिज़ाइन किए गए हैं बिना अंतर्निहित प्रणालियों तक असीमित पहुंच प्राप्त किए।

एएमडी एआई इन्फ्रास्ट्रक्चर के लिए विस्तारित समर्थन

इन्फरेंस लॉन्चपैड के साथ, स्पेक्ट्रो क्लाउड ने एएमडी-संचालित एआई वातावरणों के लिए व्यापक समर्थन की घोषणा की है।

एकीकरण एएमडी जीपीयू, एएमडी जीपीयू ऑपरेटर, आरओसीएम सॉफ्टवेयर स्टैक और एएमडी इन्फरेंस माइक्रोसेविसेज़ को कवर करता है, जिसे सामान्य रूप से एआईएमएस के रूप में जाना जाता है। ये घटक उत्पादन में एआई मॉडल चलाने के लिए आवश्यक बुनियादी ढांचे की विभिन्न परतों को संबोधित करते हैं।

एएमडी जीपीयू ऑपरेटर एएमडी इंस्टिंक्ट एक्सेलरेटर के कॉन्फ़िगरेशन और प्रबंधन को सरल बनाता है कुबेरनेट्स क्लस्टर के भीतर। आरओसीएम में अंतर्निहित खुला सॉफ्टवेयर स्टैक शामिल है, जिसमें ड्राइवर, लाइब्रेरी, रनटाइम और विकास उपकरण शामिल हैं जो एएमडी हार्डवेयर पर कृत्रिम बुद्धिमत्ता और उच्च-प्रदर्शन कंप्यूटिंग कार्यभार चलाने के लिए उपयोग किए जाते हैं।

एआईएमएस एएमडी इंस्टिंक्ट जीपीयू पर मॉडल की सेवा के लिए मानकीकृत अनुमान माइक्रोसेविसेज़ प्रदान करते हैं। वे अनुकूलित मॉडल और समर्थन सॉफ्टवेयर को तैनाती योग्य सेवाओं में पैकेज करने के लिए डिज़ाइन किए गए हैं, जो आमतौर पर एक मॉडल को उत्पादन में ले जाने के लिए आवश्यक एकीकरण कार्य का एक हिस्सा कम करते हैं।

उद्यम ग्राहकों के लिए, यह विस्तारित समर्थन एएमडी और एनवीडिया बुनियादी ढांचे के लिए अलग-अलग प्रबंधन प्रक्रियाओं का निर्माण करने के बजाय मिश्रित जीपीयू वातावरण संचालित करना आसान बना सकता है।

हार्डवेयर से मॉडल तक स्टैक का प्रबंधन

स्पेक्ट्रो क्लाउड ने मूल रूप से पैलेट को एक कुबेरनेट्स प्रबंधन मंच के रूप में विकसित किया था जो सार्वजनिक क्लाउड, निजी डेटा केंद्रों, बेयर-मेटल सिस्टम और एज लोकेशन में क्लस्टर तैनात करने और बनाए रखने के लिए था।

पैलेटएआई इस आधार को एआई बुनियादी ढांचे में विस्तारित करता है। यह कुबेरनेट्स लाइफसाइकल प्रबंधन को जीपीयू ऑर्केस्ट्रेशन, मॉडल सेवा, सुरक्षा नियंत्रण, नेटवर्किंग और मशीन लर्निंग ऑपरेशन टूलिंग के साथ जोड़ती है। स्पेक्ट्रो क्लाउड मंच को शारीरिक हार्डवेयर परत से लेकर ऊपर चलने वाले मॉडल और अनुमान सेवाओं तक बुनियादी ढांचे का प्रबंधन करने के तरीके के रूप में वर्णित करता है।

मंच में पैलेटएआई स्टूडियो भी शामिल है, जो कुबेफ्लो, एमएलफ्लो, क्लियरएमएल, रन: एआई और हगिंग फेस जैसी प्रौद्योगिकियों से निर्मित पूर्व-एकीकृत बुनियादी ढांचे और एआई स्टैक प्रदान करता है। ये कॉन्फ़िगरेशन मंच टीमों को प्रत्येक घटक को मैन्युअल रूप से एकीकृत करने की आवश्यकता के बिना पुन: प्रयोज्य तैनाती टेम्पलेट देने के लिए डिज़ाइन किए गए हैं।

इन्फरेंस लॉन्चपैड टोकन रूटिंग, मीटरिंग और स्थानीय रूप से प्रबंधित मॉडल सेवा को उस व्यापक बुनियादी ढांचे की परत में जोड़ता है।

संप्रभु और विनियमित एआई वातावरण का समर्थन

स्पेक्ट्रो क्लाउड नियोक्लाउड, प्रबंधित सेवा प्रदाताओं और संप्रभु क्लाउड ऑपरेटरों को भी लक्षित कर रहा है। ये प्रदाता अक्सर साझा जीपीयू बुनियादी ढांचे की पेशकश करने की आवश्यकता होती है, जबकि ग्राहकों के बीच अलगाव बनाए रखने और क्षेत्राधिकार-विशिष्ट नियंत्रण लागू करने की आवश्यकता होती है।

कंपनी नेक्ससइग्नाइट के साथ काम कर रही है, जो ऑस्टिन और दुबई से संचालित होने वाला एक बुनियादी ढांचा प्रदाता है, डेटा निवास, अनुपालन और संचालन संप्रभुता से संबंधित तैनाती का समर्थन करने के लिए।

डेटा निवास आमतौर पर जानकारी को कहां संग्रहीत किया जाता है, इसके बारे में चिंता का विषय है। संप्रभु एआई अतिरिक्त प्रश्न पेश करता है कि कौन बुनियादी ढांचे का संचालन करता है, कौन से कानूनी प्रणाली लागू होती हैं, कौन इसका उपयोग कर सकता है और क्या वातावरण को बाहरी सेवाओं से ऑडिट या डिस्कनेक्ट किया जा सकता है।

स्पेक्ट्रो क्लाउड का प्लेटफ़ॉर्म स्व-होस्टेड और एयर-गैप्ड तैनाती का समर्थन करता है, जबकि पैलेटएआई वर्टेक्स सरकार और विनियमित वातावरण के लिए डिज़ाइन किए गए सुरक्षा नियंत्रण जोड़ता है।

इन क्षमताओं का विशेष रूप से सरकारों, स्वास्थ्य संगठनों, वित्तीय संस्थानों और महत्वपूर्ण बुनियादी ढांचे के ऑपरेटरों के लिए प्रासंगिक होने की संभावना है जो हर एआई इंटरैक्शन को साझा सार्वजनिक सेवा के माध्यम से रूट नहीं कर सकते हैं।

उद्यम एआई संचालन के आसपास बढ़ती प्रतिस्पर्धा

लॉन्च स्पेक्ट्रो क्लाउड द्वारा एक $100 मिलियन श्रृंखला डी फंडिंग राउंड की घोषणा के तुरंत बाद आता है, जिसका नेतृत्व गोल्डमैन सैक्स अल्टरनेटिव्स के ग्रोथ इक्विटी द्वारा किया जाता है, जिसमें एएमडी वेंचर्स, एरिक्सन, एलजी टेक्नोलॉजी वेंचर्स और मैक्सिमस की भागीदारी होती है।

कंपनी ने कहा कि फंडिंग उत्पादन एआई बुनियादी ढांचे, संप्रभु क्लाउड, नियोक्लाउड सेवाओं और वितरित अनुमान में इसके विस्तार का समर्थन करेगी। स्पेक्ट्रो क्लाउड ने अब लगभग $260 मिलियन जुटाए हैं।

इसकी रणनीति एक उभरती हुई एआई बाजार परत को दर्शाती है जो मॉडल विकसित करने के बजाय मॉडल संचालित करने पर केंद्रित है। जैसे ही मॉडल विकल्प गुणा करते हैं, उद्यमों को यह तय करने के लिए बुनियादी ढांचे की आवश्यकता होती है कि मॉडल कहां चलते हैं, जीपीयू कैसे आवंटित किए जाते हैं, कौन से डेटा तक पहुंच है और उपयोग कैसे मापा जाता है।

पैलेटएआई इन्फरेंस लॉन्चपैड और विस्तारित एएमडी एकीकरण तुरंत उपलब्ध हैं। उनका दीर्घकालिक महत्व इस बात पर निर्भर करेगा कि क्या स्थानीय रूप से प्रबंधित अनुमान बाहरी मॉडल प्रदाताओं का उपयोग करने से बचने के लिए उद्यमों द्वारा आशा की गई संचालन जटिलता को पुन: बनाए बिना सुसंगत आर्थिक लाभ प्रदान कर सकता है।