किरिल सोलोडस्किह, द स्टेज एआई के सह-संस्थापक और सीईओ – साक्षात्कार श्रृंखला

किरिल सोलोडस्किह, पीएचडी, द स्टेज एआई के सह-संस्थापक और सीईओ हैं, साथ ही एक अनुभवी एआई शोधकर्ता और उद्यमी हैं जिनके पास वास्तविक व्यावसायिक अनुप्रयोगों के लिए न्यूरल नेटवर्क को अनुकूलित करने में एक दशक से अधिक का अनुभव है। 2024 में, उन्होंने द स्टेज एआई की सह-स्थापना की, जिसने किसी भी हार्डवेयर प्लेटफॉर्म पर न्यूरल नेटवर्क त्वरण को पूरी तरह से स्वचालित करने के लिए 4.5 मिलियन डॉलर का वित्तपोषण हासिल किया।

पहले, हुआवे में टीम लीड के रूप में, किरिल ने क्वालकॉम एनपीयू के लिए एआई कैमरा अनुप्रयोगों के त्वरण का नेतृत्व किया, जिससे पी50 और पी60 स्मार्टफोन के प्रदर्शन में योगदान मिला और उनके नवाचारों के लिए कई पेटेंट प्राप्त किए। उनके शोध को प्रमुख सम्मेलनों जैसे सीवीपीआर और ईसीसीवी में प्रदर्शित किया गया है, जहां उन्हें पुरस्कार और उद्योग व्यापी मान्यता मिली है। वह एक पॉडकास्ट भी होस्ट करते हैं जो एआई अनुकूलन और अनुमान पर केंद्रित है। (QCOM )

आपको द स्टेज एआई की सह-स्थापना करने के लिए क्या प्रेरित किया, और आपने शोध और अकादमिक से एक स्टार्टअप संस्थापक के रूप में अनुमान त्वरण को संबोधित करने के लिए कैसे संक्रमण किया?

द स्टेज एआई के लिए आधार मेरे हुआवे में काम से शुरू हुआ, जहां मैं न्यूरल नेटवर्क को स्वचालित रूप से तैनात करने और अनुकूलित करने में गहराई से शामिल था। ये पहल उन्हें हमारे कुछ ग्राउंडब्रेकिंग नवाचारों के लिए आधार बन गए, और यहीं मैंने वास्तविक चुनौती देखी। एक मॉडल को प्रशिक्षित करना एक बात है, लेकिन इसे वास्तविक दुनिया में कुशलता से चलाना और उपयोगकर्ताओं के लिए इसे सुलभ बनाना दूसरी बात है। तैनाती वह बोतलेंक है जो कई महान विचारों को जीवन में आने से रोकता है। चैटजीपीटी जैसी चीजों को आसानी से उपयोग करने के लिए, बहुत सारी बैक-एंड चुनौतियां शामिल हैं। तकनीकी दृष्टिकोण से, न्यूरल नेटवर्क अनुकूलन मानकों को कम करते हुए प्रदर्शन को उच्च रखने के बारे में है। यह एक कठिन गणितीय समस्या है जिसमें नवाचार के लिए बहुत सारे कमरे हैं।

मैनुअल अनुमान अनुकूलन लंबे समय से एआई में एक बोतलेंक रहा है। आप द स्टेज एआई द्वारा इस प्रक्रिया को स्वचालित करने के तरीके की व्याख्या कर सकते हैं और यह एक गेम-चेंजर क्यों है?

द स्टेज एआई एआई में एक प्रमुख बोतलेंक को संबोधित करता है: न्यूरल नेटवर्क का मैनुअल संपीड़न और त्वरण। न्यूरल नेटवर्क में अरबों पैरामीटर होते हैं, और यह तय करना लगभग असंभव है कि बेहतर प्रदर्शन के लिए किन्हें हटाना है। एएनएनए (स्वचालित न्यूरल नेटवर्क विश्लेषक) इस प्रक्रिया को स्वचालित करता है, यह निर्धारित करता है कि कौन सी परतें अनुकूलन से बाहर करनी हैं, जैसे कि ज़िप संपीड़न पहली बार स्वचालित किया गया था।

यह गेम को बदलता है क्योंकि यह एआई अपनाने को तेज़ और अधिक सस्ती बनाता है। महंगी मैनुअल प्रक्रियाओं पर निर्भर होने के बजाय, स्टार्टअप मॉडल को स्वचालित रूप से अनुकूलित कर सकते हैं। प्रौद्योगिकी व्यवसायों को प्रदर्शन और लागत का स्पष्ट दृश्य प्रदान करती है, जिससे अनुमान के बिना कुशलता और स्केलेबिलिटी सुनिश्चित होती है।

द स्टेज एआई का दावा है कि यह अनुमान लागत को 5 गुना तक कम कर देता है — आपकी अनुकूलन प्रौद्योगिकी पारंपरिक विधियों की तुलना में इतनी प्रभावी क्यों है?

द स्टेज एआई अपने अनुकूलन दृष्टिकोण के साथ आउटपुट लागत को 5 गुना तक कम कर देता है जो पारंपरिक तरीकों से परे जाता है। इसके बजाय पूरे न्यूरल नेटवर्क पर एक ही एल्गोरिदम लागू करने के, एएनएनए इसे छोटी परतों में तोड़ देता है और तय करता है कि प्रत्येक हिस्से के लिए कौन सा एल्गोरिदम लागू करना है ताकि वांछित संपीड़न को अधिकतम करते हुए मॉडल की गुणवत्ता बनी रहे। स्मार्ट गणितीय सुराग और कुशल अनुमानों को जोड़कर, हमारा दृष्टिकोण अत्यधिक स्केलेबल है और व्यवसायों के लिए एआई अपनाने को आसान बनाता है। हम विशिष्ट हार्डवेयर जैसे आईफ़ोन या एनवीडिया जीपीयू के लिए नेटवर्क को अनुकूलित करने के लिए लचीले संकलक सेटिंग्स को एकीकृत करते हैं। इससे हमें प्रदर्शन को ठीक करने के लिए अधिक नियंत्रण मिलता है, जिससे गुणवत्ता खोने के बिना गति बढ़ जाती है।

द स्टेज एआई का अनुमान त्वरण पाइटोर्च के मूल संकलक की तुलना में कैसे है, और यह एआई डेवलपर्स को क्या लाभ प्रदान करता है?

द स्टेज एआई पाइटोर्च के मूल संकलक से बहुत आगे आउटपुट त्वरण प्रदान करता है। पाइटोर्च एक “जस्ट-इन-टाइम” संकलन विधि का उपयोग करता है, जो मॉडल को प्रत्येक बार चलाने पर संकलित करता है। इससे लंबे स्टार्टअप समय हो सकते हैं, कभी-कभी मिनट या उससे अधिक समय ले सकते हैं। स्केलेबल वातावरण में, यह अक्षमता पैदा कर सकता है, खासकर जब नए जीपीयू को बढ़े हुए उपयोगकर्ता भार को संभालने के लिए ऑनलाइन लाने की आवश्यकता होती है, जिससे विलंब होता है जो उपयोगकर्ता अनुभव को प्रभावित करता है।

इसके विपरीत, द स्टेज एआई मॉडल को पूर्व-संकलित करने की अनुमति देता है, इसलिए एक बार मॉडल तैयार हो जाने के बाद, इसे तुरंत तैनात किया जा सकता है। इससे तेजी से रोलआउट, सेवा की दक्षता में सुधार और लागत बचत होती है। डेवलपर्स मॉडल को तेजी से तैनात और स्केल कर सकते हैं, पारंपरिक संकलन की बोतलेंक के बिना, जिससे यह अधिक कुशल और उच्च-मांग वाले उपयोग के मामलों के लिए अधिक प्रतिक्रियाशील हो जाता है।

आप द स्टेज एआई के क्यूएलआईपी टूलकिट और मॉडल प्रदर्शन को बनाए रखते हुए इसके द्वारा प्रदान की जाने वाली उन्नति के बारे में अधिक जानकारी साझा कर सकते हैं?

क्यूएलआईपी, द स्टेज एआई का टूलकिट, एक पायथन लाइब्रेरी है जो विभिन्न हार्डवेयर जैसे जीपीयू और एनपीयू के लिए अनुकूलित नए अनुकूलन एल्गोरिदम बनाने के लिए आवश्यक प्रिमिटिव्स का एक आवश्यक सेट प्रदान करता है। टूलकिट में क्वांटीकरण, प्रूनिंग, विनिर्देश, संकलन और सेवा जैसे घटक शामिल हैं, जो कुशल और स्केलेबल एआई सिस्टम विकसित करने के लिए सभी महत्वपूर्ण हैं।

क्यूएलआईपी को अलग करने वाली बात इसकी लचीलापन है। यह एआई इंजीनियरों को केवल कुछ पंक्तियों के साथ नए एल्गोरिदम को प्रोटोटाइप और लागू करने की अनुमति देता है। उदाहरण के लिए, क्वांटाइजेशन न्यूरल नेटवर्क पर एक हालिया एआई सम्मेलन पत्र को क्यूएलआईपी के प्रिमिटिव्स का उपयोग करके कुछ मिनटों में एक कार्यशील एल्गोरिदम में परिवर्तित किया जा सकता है। इससे डेवलपर्स को अपने मॉडल में नवीनतम शोध को एकीकृत करने में मदद मिलती है без कठोर फ्रेमवर्क द्वारा बाध्य किए जाने के।

पारंपरिक ओपन-सोर्स फ्रेमवर्क के विपरीत, जो आपको एक निश्चित सेट एल्गोरिदम तक सीमित करते हैं, क्यूएलआईपी किसी को भी नए अनुकूलन तकनीकों को जोड़ने की अनुमति देता है। यह लचीलापन टीमों को तेजी से विकसित हो रहे एआई परिदृश्य में आगे रहने में मदद करता है, प्रदर्शन में सुधार करता है और भविष्य के नवाचारों के लिए लचीलापन सुनिश्चित करता है।

आप हुआवे के पी50 और पी60 कैमरों में उपयोग किए जाने वाले एआई क्वांटाइजेशन फ्रेमवर्क में योगदान दिया है। यह अनुभव आपके एआई अनुकूलन दृष्टिकोण को कैसे आकार देता है?

हुआवे के पी50 और पी60 के लिए एआई क्वांटाइजेशन फ्रेमवर्क पर काम करने का मेरा अनुभव मुझे अनुकूलन को कैसे स्ट्रीमलाइन और स्केल किया जा सकता है, इस पर मूल्यवान अंतर्दृष्टि प्रदान करता है। जब मैं पहली बार पाइटोर्च के साथ काम कर रहा था, तो पूरे निष्पादन ग्राफ के साथ काम करना कठिन था, और क्वांटाइजेशन एल्गोरिदम को मैन्युअल रूप से परत-दर-परत लागू करना था। हुआवे में, मैंने एक फ्रेमवर्क बनाया जिसने इस प्रक्रिया को स्वचालित किया। आप बस मॉडल को इनपुट करते हैं, और यह स्वचालित रूप से क्वांटाइजेशन के लिए कोड उत्पन्न करेगा, मैनुअल काम को समाप्त कर देगा।

इसने मुझे एहसास दिलाया कि एआई अनुकूलन में स्वचालन गति को सक्षम बनाने के बारे में है गुणवत्ता को त्यागने के बिना। मैंने जिस एल्गोरिदम को विकसित और पेटेंट किया था, वह हुआवे के लिए महत्वपूर्ण हो गया, विशेष रूप से जब उन्हें किरिन प्रोसेसर से क्वालकॉम में स्थानांतरित करना पड़ा था प्रतिबंधों के कारण। इसने टीम को क्वालकॉम की वास्तुकला के लिए न्यूरल नेटवर्क को जल्दी से अनुकूलित करने की अनुमति दी, प्रदर्शन या सटीकता खोए बिना।

प्रक्रिया को स्ट्रीमलाइन और स्वचालित करके, हमने विकास समय को एक वर्ष से अधिक से कुछ महीनों में कम कर दिया। इससे एक उत्पाद पर बड़ा प्रभाव पड़ा, जिसका उपयोग लाखों लोग करते हैं और मेरे अनुकूलन दृष्टिकोण को आकार दिया, जो गति, दक्षता और न्यूनतम गुणवत्ता हानि पर केंद्रित है। यही मानसिकता है जो मैं आज एएनएनए में लाता हूं।

आपका शोध सीवीपीआर और ईसीसीवी में प्रदर्शित किया गया है — एआई की दक्षता में आपको सबसे अधिक गर्व क्या है?

जब मुझसे एआई की दक्षता में मेरी उपलब्धियों के बारे में पूछा जाता है, तो मैं हमेशा सीवीपीआर 2023 में मौखिक प्रस्तुति के लिए चुने गए हमारे शोध पत्र के बारे में सोचता हूं। ऐसे एक प्रतिष्ठित सम्मेलन में मौखिक प्रस्तुति के लिए चुना जाना दुर्लभ है, क्योंकि केवल 12 पत्र चुने जाते हैं। यह इस तथ्य को जोड़ता है कि उत्पादक एआई आमतौर पर सुर्खियों में रहता है, और हमारा पत्र एक अलग दृष्टिकोण लेता है, विशेष रूप से न्यूरल नेटवर्क के विश्लेषण और संपीड़न पर ध्यान केंद्रित करता है।

हमने एक विधि विकसित की जिससे हमें यह समझने में मदद मिली कि एक न्यूरल नेटवर्क को कुशलता से संचालित करने के लिए कितने पैरामीटर की आवश्यकता है। कार्यात्मक विश्लेषण से तकनीकों को लागू करके और एक विवेकपूर्ण से एक निरंतर सूत्रीकरण में जाने से, हम अच्छे संपीड़न परिणाम प्राप्त करने में सक्षम थे जबकि मॉडल में इन परिवर्तनों को एकीकृत करने की क्षमता बनाए रखी। पत्र ने समुदाय द्वारा पहले उपयोग नहीं किए गए कई नए एल्गोरिदम भी पेश किए और आगे के अनुप्रयोग पाए।

यह मेरे क्षेत्र में मेरा पहला पत्र था, और यह हमारी टीम के सामूहिक प्रयास का परिणाम था, जिसमें मेरे सह-संस्थापक भी शामिल थे। यह हम सभी के लिए एक महत्वपूर्ण मील का पत्थर था।

इंटीग्रल न्यूरल नेटवर्क (आईएनएन) कैसे काम करते हैं और वे गहरे शिक्षण में एक महत्वपूर्ण नवाचार क्यों हैं?

पारंपरिक न्यूरल नेटवर्क निर्धारित मैट्रिक्स का उपयोग करते हैं, जैसे कि एक्सेल टेबल, जहां आकार और पैरामीटर पूर्वनिर्धारित होते हैं। आईएनएन, हालांकि, नेटवर्क को निरंतर कार्यों के रूप में वर्णित करते हैं, जो बहुत अधिक लचीलापन प्रदान करते हैं। इसे एक कंबल की तरह सोचें जिसमें विभिन्न ऊंचाइयों पर पिन होते हैं, और यह निरंतर तरंग का प्रतिनिधित्व करता है।

आईएनएन को उत्साहजनक बनाने वाली बात यह है कि वे उपलब्ध संसाधनों के आधार पर गतिविधि को “संपीड़ित” या “विस्तारित” करने में सक्षम हैं। यह एक एनालॉग सिग्नल को ध्वनि में डिजिटाइज़ करने के समान है, जहां आप नेटवर्क को बिना पुनः प्रशिक्षण के सिकोड़ सकते हैं और जब आवश्यकता हो तो इसे वापस बढ़ा सकते हैं।

हमने इसका परीक्षण किया, और जबकि पारंपरिक संपीड़न विधियों से गुणवत्ता में काफी नुकसान होता है, आईएनएन गुणवत्ता को बनाए रखते हुए भी चरम संपीड़न का सामना कर सकते हैं। इसके पीछे का गणित एआई समुदाय के लिए अधिक असामान्य है, लेकिन वास्तविक मूल्य व्यावहारिक, ठोस परिणाम प्रदान करने की इसकी क्षमता में निहित है।

द स्टेज एआई ने क्वांटम एनीलिंग एल्गोरिदम पर काम किया है — आप एआई अनुकूलन में क्वांटम कंप्यूटिंग की भूमिका को आगामी भविष्य में कैसे देखते हैं?

क्वांटम कंप्यूटिंग और इसकी भूमिका के बारे में एआई अनुकूलन में, मुख्य बात यह है कि क्वांटम सिस्टम समस्याओं जैसे अनुकूलन को हल करने के लिए एक पूरी तरह से अलग दृष्टिकोण प्रदान करते हैं। हमने क्वांटम एनीलिंग एल्गोरिदम का आविष्कार नहीं किया, कंपनियां जैसे डी-वेव पाइथन लाइब्रेरी प्रदान करती हैं जो विशिष्ट रूप से क्वांटम कंप्यूटरों के लिए उपयुक्त विचारों जैसे डिस्क्रीट अनुकूलन कार्यों के लिए क्वांटम एल्गोरिदम बनाने के लिए।

यहाँ का विचार यह है कि हम सीधे क्वांटम कंप्यूटर में न्यूरल नेटवर्क को लोड नहीं कर रहे हैं। यह वर्तमान वास्तुकला के साथ संभव नहीं है। इसके बजाय, हम अनुमान लगाते हैं कि न्यूरल नेटवर्क विभिन्न प्रकार के अपघटन के तहत कैसा व्यवहार करेगा, इसे एक प्रणाली में फिट करने के लिए जिसे क्वांटम चिप संसाधित कर सकती है।

भविष्य में, क्वांटम सिस्टम नेटवर्क को पारंपरिक सिस्टम की तुलना में अधिक सटीकता के साथ अनुकूलित और स्केल कर सकते हैं। क्वांटम सिस्टम का लाभ इसकी निर्मित समांतरता में निहित है, जिसे क्लासिकल सिस्टम केवल अतिरिक्त संसाधनों का उपयोग करके ही अनुकरण कर सकते हैं। इसका अर्थ है कि क्वांटम कंप्यूटिंग एआई अनुकूलन प्रक्रिया को काफी तेज कर सकती है, खासकर जब हम बड़े और अधिक जटिल नेटवर्क को प्रभावी ढंग से मॉडल करना सीखते हैं।

वास्तविक संभावना क्वांटम कंप्यूटिंग का उपयोग करके विशाल, जटिल अनुकूलन कार्यों को हल करने और पैरामीटर को छोटे, अधिक प्रबंधनीय समूहों में तोड़ने में निहित है। क्वांटम और ऑप्टिकल कंप्यूटिंग जैसी प्रौद्योगिकियों के साथ, एआई को अनुकूलित करने की संभावनाएं पारंपरिक कंप्यूटिंग द्वारा प्रदान की जाने वाली सीमाओं से बहुत आगे निकल जाती हैं।

द स्टेज एआई के लिए आपकी दीर्घकालिक दृष्टि क्या है? अगले 5-10 वर्षों में अनुमान अनुकूलन कहां जा रहा है?

लंबी अवधि में, द स्टेज एआई एक वैश्विक मॉडल हब बनना चाहता है जहां कोई भी वांछित विशेषताओं के साथ एक अनुकूलित न्यूरल नेटवर्क तक आसानी से पहुंच सकता है, चाहे वह स्मार्टफोन हो या कोई अन्य डिवाइस। लक्ष्य एक ड्रैग-एंड-ड्रॉप अनुभव प्रदान करना है, जहां उपयोगकर्ता अपने पैरामीटर इनपुट करते हैं और प्रणाली स्वचालित रूप से नेटवर्क बनाती है। यदि नेटवर्क पहले से मौजूद नहीं है, तो इसे एएनएनए का उपयोग करके स्वचालित रूप से बनाया जाएगा।

हमारा लक्ष्य न्यूरल नेटवर्क को सीधे उपयोगकर्ता डिवाइस पर चलाना है, जिससे लागत 20 से 30 गुना तक कम हो जाएगी। भविष्य में, यह लागत को लगभग पूरी तरह से समाप्त कर सकता है, क्योंकि उपयोगकर्ता का डिवाइस गणना को संभालेगा, न कि क्लाउड सर्वर पर निर्भर करेगा। यह मॉडल संपीड़न और हार्डवेयर त्वरण में प्रगति के साथ मिलकर एआई तैनाती को काफी अधिक कुशल बना सकता है।

हम अपनी प्रौद्योगिकी को हार्डवेयर समाधानों जैसे सेंसर, चिप्स और रोबोटिक्स के साथ एकीकृत करने की भी योजना बना रहे हैं जो स्वायत्त ड्राइविंग और रोबोटिक्स जैसे क्षेत्रों में अनुप्रयोगों के लिए हैं। उदाहरण के लिए, हम एआई कैमरे बनाना चाहते हैं जो अंतरिक्ष में या गहरे या धूल जैसी चरम स्थितियों में काम कर सकें। इससे एआई को विभिन्न अनुप्रयोगों में उपयोग करने की अनुमति मिलेगी और हम विशिष्ट हार्डवेयर और उपयोग के मामलों के लिए कस्टम समाधान बना सकेंगे।

साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें द स्टेज एआई पर जाना चाहिए।