ARIA ने रैक-स्तर पर AI इन्फरेंस परीक्षण के लिए Lumai के ऑप्टिकल सर्वर चुने

Lumai अपने ऑप्टिकल AI हार्डवेयर को मूल्यांकन के एक नए क्षेत्र में ले जा रही है: यूके की Advanced Research and Invention Agency (ARIA) के समर्थन से संचालित इन्फरेंस स्केलिंग लैब। लैब की योजना Lumai Iris इन्फरेंस सर्वरों को अपने पहले ऑप्टिकल-कंप्यूट प्लेटफ़ॉर्म के रूप में तैनात करने की है, जिससे शोधकर्ताओं को व्यावसायिक डेटा-सेंटर परिवेश में रैक-स्तर पर इस आर्किटेक्चर को परखने का अवसर मिलेगा।

CommonAI CIC द्वारा संचालित इस लैब का उद्देश्य उभरते AI हार्डवेयर के सामने मौजूद एक कठिन चुनौती को दूर करना है: किसी नए प्रोसेसर का प्रदर्शन करना एक बात है; उसे वास्तविक मॉडल और सामान्य बिजली, कूलिंग तथा रैक संबंधी आवश्यकताओं वाले एकीकृत सिस्टम के हिस्से के रूप में चलाना दूसरी बात।

यह घोषणा Iris Nova के अप्रैल में लॉन्च के बाद की अगली कड़ी है। अब पूरा हुआ स्वतंत्र बेंचमार्क जारी करने के बजाय, जिसमें Lumai के दक्षता संबंधी प्रमुख दावों की पुष्टि हो, अगला कदम सार्वजनिक समर्थन वाले टेस्टबेड के ज़रिए कई नोड वाले सिस्टम का मूल्यांकन करना है।

मैट्रिक्स गणना के लिए प्रकाश का इस्तेमाल

2021 में स्थापित और Oxford University से निकली कंपनी Lumai, ऑप्टिकल और डिजिटल तकनीक पर आधारित एक हाइब्रिड आर्किटेक्चर विकसित करती है। इसका ऑप्टिकल इंजन AI इन्फरेंस में इस्तेमाल होने वाली सघन गणितीय गणनाओं के लिए बनाया गया है, जबकि सिस्टम के बाकी कार्य इलेक्ट्रॉनिक घटक संभालते रहते हैं।

कंपनी के तकनीकी विवरण के अनुसार, जानकारी को प्रकाश-पुंजों में कूटबद्ध करके त्रि-आयामी अंतरिक्ष में ऑप्टिकल घटकों के ज़रिए संसाधित किया जाता है। इसका उद्देश्य प्रकाश के प्रसार के माध्यम से कई गणितीय गणनाएँ समानांतर रूप से करना है, न कि हर गणना के लिए ट्रांजिस्टरों को स्विच करना।

इसका यह मतलब नहीं कि पूरा सर्वर निष्क्रिय है या उसे बिजली की ज़रूरत नहीं पड़ती। पूरे सिस्टम को अब भी प्रकाश स्रोतों, डेटा रूपांतरण, मेमोरी, डिजिटल प्रोसेसिंग और नियंत्रण की आवश्यकता होती है। इंजीनियरिंग का अहम सवाल यह है कि उपयोगी मॉडल के वास्तव में चलने पर इन सहायक लागतों के बाद ऑप्टिकल इंजन की कितनी दक्षता बची रहती है।

Lumai एक ऐसे व्यापक डेटा इंटरफ़ेस का वर्णन करती है जिसका उद्देश्य बड़े कार्यभार में रूपांतरण की अतिरिक्त लागत बाँटना है; साथ ही, मॉडल के की-वैल्यू कैश के लिए तीन-स्तरीय मेमोरी डिज़ाइन और हार्डवेयर को ध्यान में रखकर किया गया क्वांटाइज़ेशन भी इसका हिस्सा हैं। ये आर्किटेक्चर के व्यावहारिक पहलू हैं: डेटा का आवागमन, उपयोगी संख्यात्मक परिशुद्धता बनाए रखना और एक्सेलरेटर को लगातार काम उपलब्ध कराना—ये सभी प्रयोगशाला के प्रदर्शन से बाहर भी परफ़ॉर्मेंस को प्रभावित करते हैं।

Lumai का ध्यान प्रीफिल पर क्यों है

बड़े भाषा मॉडल के इन्फरेंस के दो अलग-अलग चरण होते हैं। प्रीफिल के दौरान सिस्टम इनपुट को संसाधित करता है और जवाब तैयार करने के लिए आवश्यक आंतरिक स्थिति बनाता है। डिकोड के दौरान यह एक-एक करके आउटपुट टोकन तैयार करता है और बार-बार मॉडल वेट तथा कैश किए गए संदर्भ तक पहुँचता है।

प्रीफिल में अक्सर बड़ी मैट्रिक्स गणनाओं का दबदबा रहता है, जबकि डिकोडिंग की गति मेमोरी बैंडविड्थ से सीमित हो सकती है—खासकर छोटे बैच आकार में। मॉडल का आकार, प्रॉम्प्ट की लंबाई, बैचिंग और सर्विंग कॉन्फ़िगरेशन बदलने पर दोनों चरणों का संतुलन भी बदलता है। पूरे पाइपलाइन को एक ही तरह के प्रोसेसर से अनुकूलित करने के बजाय, Lumai की रणनीति कंप्यूट-प्रधान चरण में विशेषज्ञता हासिल करना है।

इसके Iris उत्पाद दस्तावेज़ में ऑप्टिकल एक्सेलरेटर को विषम कंप्यूटिंग सिस्टम के हिस्से के रूप में पेश किया गया है। इसमें डिकोड के लिए अनुकूलित हार्डवेयर के साथ प्रीफिल प्रोसेसर के रूप में इसका इस्तेमाल भी शामिल है। Lumai का कहना है कि Iris Nova 8 अरब और 70 अरब पैरामीटर वाले Llama मॉडल को सपोर्ट करता है और डेटा-सेंटर मूल्यांकन के लिए उपलब्ध है। उत्पाद परिवार को मानक रैक इंफ्रास्ट्रक्चर और एयर कूलिंग के लिए डिज़ाइन किया गया है।

Lumai के सह-संस्थापक और CEO Xianxin Guo ने कहा, “व्यावसायिक डेटा सेंटर में कई नोड वाला सिस्टम चलाने से पता चलता है कि नई कंप्यूट आर्किटेक्चर वास्तविक तैनाती के लिए तैयार हैं या नहीं।” ARIA का यह काम अगले चरण में एकीकरण से जुड़े इसी सवाल को केंद्र में रखता है।

समग्र सिस्टम के परीक्षण के लिए टेस्टबेड

ARIA यूके की एक सार्वजनिक अनुसंधान एवं विकास वित्तपोषण एजेंसी है, जो समाज को लाभ पहुँचाने की क्षमता वाली महत्वाकांक्षी तकनीकों को समर्थन देती है। इसका Scaling Compute कार्यक्रम स्थापित कंप्यूटिंग तरीकों के विकल्पों की पड़ताल करता है, जिनमें नई कंप्यूटेशनल आधारभूत तकनीकें, नेटवर्किंग और सिस्टम डिज़ाइन शामिल हैं।

Scaling Inference Lab को ARIA से £50 मिलियन का समर्थन मिला है। ARIA के अनुसार, इसमें रैक-स्तर पर किए जाने वाले व्यवस्थित पायलट परीक्षणों की एक शृंखला शामिल है। हर परीक्षण में ऐसी अप्रमाणित तकनीक को एक तैनाती-योग्य सिस्टम में शामिल किया जाता है, जिस पर अंतिम उपयोगकर्ता मॉडल चला सकें। इसका लक्ष्य व्यावसायिक विकल्पों के मुकाबले पूरे सिस्टम के प्रदर्शन की तुलना करना और तेज़ी से सुधार करना है; हर छह महीने में एक नया रैक लगाने की योजना है।

लैब का संचालन करने वाला कैम्ब्रिज स्थित गैर-लाभकारी सदस्यता संगठन CommonAI, सहयोगी इंजीनियरिंग के लिए कंपनियों, सार्वजनिक निकायों और अकादमिक प्रतिभागियों को एक साथ लाता है। इसकी कार्यक्रम रूपरेखा में रैक-स्तर के पाँच से अधिक सिस्टम का उल्लेख है और उभरते हार्डवेयर को वास्तविक परिचालन प्रदर्शन दिखाने में मदद के लिए स्वतंत्र सत्यापन पर ज़ोर दिया गया है।

यह व्यवस्था इसलिए अहम है क्योंकि कोई एक्सेलरेटर किसी अलग-थलग गणना में अच्छा प्रदर्शन कर सकता है, लेकिन डेटा के आवागमन, शेड्यूलिंग, सॉफ़्टवेयर सपोर्ट और सर्विंग पाइपलाइन के बाकी हिस्सों को शामिल करने पर उसका लाभ घट सकता है। साझा परीक्षण परिवेश से फायदे और बाधाओं, दोनों को सामने लाने में मदद मिल सकती है।

दक्षता के दावे क्या दिखाते हैं—और क्या नहीं

Lumai का कहना है कि इस आर्किटेक्चर में डेटा केंद्रों की बिजली खपत को 90% तक कम करने और स्वामित्व की कुल लागत को पारंपरिक GPU आर्किटेक्चर की तुलना में लगभग दसवें हिस्से तक लाने की क्षमता है। उसकी वेबसाइट पर प्रदर्शन को 50 गुना बढ़ाने की दिशा में एक रोडमैप दिया गया है। विज्ञप्ति में अलग से बताया गया है कि ऑप्टिकल प्रीफ़िल को सिलिकॉन-आधारित डिकोड के साथ इस्तेमाल करने पर, प्रति इन्फ़रेंस ऊर्जा दक्षता कम से कम 16 गुना बेहतर होती है।

ये आँकड़े अलग-अलग तुलनाओं को दर्शाते हैं। इन्हें परस्पर विनिमेय माप नहीं मानना चाहिए और न ही ऐसे नतीजे, जिनकी ARIA ने स्वतंत्र रूप से पुष्टि कर दी हो। घोषणा में ऐसा कोई साझा बेंचमार्क कॉन्फ़िगरेशन, मॉडल-गुणवत्ता की तुलना या प्रकाशित रैक-स्तरीय नतीजों का सेट नहीं दिया गया है, जिससे व्यावसायिक वर्कलोड में इन बढ़तों की पुष्टि हो सके।

इसलिए लैब का मूल्यांकन ही वास्तविक प्रगति है। उपयोगी मापों में हर पूरी हुई अनुरोध के लिए ऊर्जा खपत, पहला टोकन मिलने तक का समय, लगातार मिलने वाला आउटपुट थ्रूपुट, मॉडल की सटीकता और पूरे सिस्टम को चलाने की लागत शामिल होंगी। सार्थक तुलना के लिए एक ही मॉडल, संदर्भ की समान लंबाइयाँ, बैचिंग से जुड़ी समान मान्यताएँ और सेवा की समान आवश्यकताएँ ज़रूरी हैं।

सीमित बिजली बजट के भीतर घरेलू AI क्षमता बढ़ाने की ब्रिटेन की महत्वाकांक्षा के लिए, एक सफल ऑप्टिकल सिस्टम कंप्यूटिंग का एक और विकल्प दे सकता है। Lumai की तैनाती व्यावसायिक परिस्थितियों में इस संभावना को परखने की दिशा में एक कदम है। बड़े पैमाने पर सेवा देने की लागत में कमी के रूप में इसका लाभ कितना दिखाई देगा, यह मूल्यांकन से मिलने वाले पूरे सिस्टम के साक्ष्यों पर निर्भर करेगा।