जय दावानी लेमुरियन लैब्स के सह-संस्थापक और सीईओ हैं – साक्षात्कार श्रृंखला

जय दावानी लेमुरियन लैब्स के सह-संस्थापक और सीईओ हैं। लेमुरियन लैब्स एक मिशन पर है कि वह किफायती, सुलभ और कुशल एआई कंप्यूटर प्रदान करे, जो इस विश्वास से प्रेरित है कि एआई एक विलासिता नहीं होनी चाहिए, बल्कि हर किसी के लिए एक उपकरण होना चाहिए। लेमुरियन लैब्स में संस्थापक टीम में एआई, कंपाइलर, संख्यात्मक एल्गोरिदम और कंप्यूटर आर्किटेक्चर में विशेषज्ञता है, जो एक ही उद्देश्य से जुड़ी हुई है: त्वरित कंप्यूटिंग को पुनः कल्पना करना।

क्या आप हमें अपनी पृष्ठभूमि और एआई में आपके प्रवेश के बारे में बता सकते हैं?

बिल्कुल। मैं 12 साल की उम्र से प्रोग्रामिंग कर रहा था और अपने खेल और अन्य चीजें बना रहा था, लेकिन मैं वास्तव में 15 साल की उम्र में एआई में गया क्योंकि मेरे पिता के एक मित्र कंप्यूटर में रुचि रखते थे। उन्होंने मेरी जिज्ञासा को बढ़ावा दिया और मुझे वॉन न्यूमैन की ‘द कंप्यूटर एंड द ब्रेन’, मिंस्की की ‘परसेप्ट्रॉन’, रुसेल और नोर्विग की ‘एआई ए मॉडर्न अप्रोच’ जैसी किताबें पढ़ने के लिए दीं। इन किताबों ने मेरी सोच को बहुत प्रभावित किया और यह लगभग स्पष्ट था कि एआई परिवर्तनकारी होने जा रहा था और मुझे इस क्षेत्र में होना चाहिए।

जब विश्वविद्यालय का समय आया, तो मैं वास्तव में एआई का अध्ययन करना चाहता था, लेकिन मैंने कोई विश्वविद्यालय नहीं पाया जो यह पाठ्यक्रम प्रदान करता हो, इसलिए मैंने अप्लाइड मैथमेटिक्स में मेजर करने का फैसला किया। थोड़ी देर बाद, जब मैं विश्वविद्यालय में गया, तो मैंने अलेक्सनेट के इमेजनेट पर परिणामों के बारे में सुना, जो वास्तव में रोमांचक था। उस समय मेरे पास एक अब-या-कभी नहीं का पल आया और मैंने हर पेपर और पुस्तक पढ़ने का फैसला किया जो मैं तंत्रिका नेटवर्क से संबंधित पढ़ सकता था और क्षेत्र के नेताओं से सीखने के लिए उनसे मिलने का फैसला किया, क्योंकि आप कितनी बार एक नए उद्योग के जन्म में मौज-मस्ती कर सकते हैं और इसके पioneers से सीख सकते हैं।

बहुत जल्दी मुझे एहसास हुआ कि मुझे शोध में आनंद नहीं आता, लेकिन मुझे समस्याओं का समाधान करना और एआई-संचालित उत्पादों का निर्माण करना पसंद है। इससे मुझे स्वायत्त कारों और रोबोट, सामग्री खोज के लिए एआई, बहुस्तरीय सिमुलेशन के लिए उत्पन्न मॉडल, पेशेवर रेसकार ड्राइवरों के प्रशिक्षण और कार सेटअप में मदद करने के लिए एआई-आधारित सिम्युलेटर, अंतरिक्ष रोबोट, एल्गोरिदमिक ट्रेडिंग, और बहुत कुछ पर काम करने के लिए प्रेरित किया।

अब, इतना कुछ करने के बाद, मैं एआई प्रशिक्षण और तैनाती की लागत को नियंत्रित करने का प्रयास कर रहा हूं, क्योंकि यह हमारे लिए एक दुनिया को सक्षम करने के लिए सबसे बड़ी बाधा होगी जहां हर व्यक्ति और कंपनी को एआई से लाभान्वित होने और सबसे आर्थिक तरीके से इसका उपयोग करने में सक्षम होना चाहिए।

त्वरित कंप्यूटिंग में काम करने वाली कई कंपनियों के संस्थापकों ने सेमीकंडक्टर और बुनियादी ढांचे में अपना करियर बनाया है। आप अपने एआई और गणित में पिछले अनुभव को कैसे देखते हैं कि यह आपको बाजार को समझने और प्रभावी ढंग से प्रतिस्पर्धा करने में मदद करता है?

मुझे लगता है कि उद्योग से नहीं आने का मुझे बाहरी लाभ मिलता है। मैंने पाया है कि उद्योग के मानकों या पारंपरिक ज्ञान के बारे में जानने से मुझे अधिक स्वतंत्र रूप से अन्वेषण करने और अधिक गहराई से जाने की स्वतंत्रता मिलती है, क्योंकि मैं पूर्वाग्रहों से मुक्त हूं।

मुझे अक्सर यह पूछने की स्वतंत्रता मिलती है कि ‘यह एक अच्छा विचार लगता है, लेकिन यह क्यों नहीं काम कर सकता’, या ‘इसके लिए क्या सच होना चाहिए’, या ‘हम क्या जानते हैं जो निश्चित सत्य हैं और क्या हम धारणाएं बना रहे हैं और क्यों?’। उद्देश्य यह है कि विचारों को जल्दी और सस्ते में अमान्य और समाप्त करना। हम उन चीजों की संख्या को अधिकतम करना चाहते हैं जिन पर हम किसी भी समय काम कर रहे हैं। यह समस्या के प्रति जुनूनी होने के बारे में है, और यह नहीं सोचते कि कौन सी तकनीक सबसे अच्छी है। बहुत से लोग तकनीक पर बहुत अधिक ध्यान केंद्रित करते हैं और वे ग्राहकों की समस्याओं को गलत समझते हैं और उद्योग में होने वाली परिवर्तनों को याद करते हैं जो उनके दृष्टिकोण को अमान्य कर सकते हैं।

एआई पृष्ठभूमि से आने के कारण, मैं सॉफ्टवेयर दृष्टिकोण से देखता हूं, वर्तमान में कार्यभार कहां हैं और वे समय के साथ कैसे बदल सकते हैं, और प्रशिक्षण और अनुमान के लिए पूरे एमएल पाइपलाइन को मॉडलिंग करके बोतलनेक को समझना, जो मुझे मूल्य प्रदान करने के अवसर बताता है। और गणितीय पृष्ठभूमि से आने के कारण, मैं चीजों को मॉडलिंग करना पसंद करता हूं ताकि मैं सत्य के करीब पहुंच सकूं, और इसका मार्गदर्शन करने के लिए इसका उपयोग करता हूं। उदाहरण के लिए, हमने सिस्टम प्रदर्शन के लिए मॉडल बनाए हैं कुल मालिकाना लागत के लिए और हम ग्राहकों को सॉफ्टवेयर और/या हार्डवेयर के साथ ला सकते हैं और हमारी सीमाओं और हमारे लिए उपलब्ध विभिन्न नॉब्स को बेहतर ढंग से समझने के लिए। हम डेटा-चालित हैं, और हम मॉडल से अंतर्दृष्टि का उपयोग अपने प्रयासों और व्यापार-बंदों को निर्देशित करने के लिए करते हैं।

यह लगता है कि एआई में प्रगति मुख्य रूप से स्केलिंग से आई है, जिसके लिए अधिक कंप्यूट और ऊर्जा की आवश्यकता होती है। यह लगता है कि हम एक हथियारों की दौड़ में हैं, जहां हर कंपनी सबसे बड़ा मॉडल बनाने की कोशिश कर रही है, और इसका कोई अंत नहीं दिख रहा है। क्या आपको लगता है कि इसका कोई तरीका है?

हमेशा तरीके होते हैं। स्केलिंग बहुत उपयोगी साबित हुई है, और मुझे लगता है कि हमने अभी तक इसका अंत नहीं देखा है। हम जल्द ही देखेंगे कि मॉडल को कम से कम एक अरब डॉलर की लागत से प्रशिक्षित किया जा रहा है। यदि आप जनरेटिव एआई में नेता बनना चाहते हैं और अग्रणी फाउंडेशन मॉडल बनाना चाहते हैं, तो आपको कम से कम एक अरब डॉलर प्रति वर्ष कंप्यूट पर खर्च करने की आवश्यकता होगी। अब, स्केलिंग की प्राकृतिक सीमाएं हैं, जैसे कि एक मॉडल के लिए पर्याप्त बड़ा डेटासेट बनाना, लोगों को सही ज्ञान प्राप्त करना, और पर्याप्त कंप्यूट तक पहुंच प्राप्त करना।

मॉडल के आकार को जारी रखना अपरिहार्य है, लेकिन हम पूरे पृथ्वी की सतह को एक ग्रह-आकार के सुपरकंप्यूटर में नहीं बदल सकते हैं ताकि हम एलएलएम को प्रशिक्षित और परोसने के लिए इसका उपयोग कर सकें। इसे नियंत्रित करने के लिए, हमारे पास कई नॉब हैं जिनसे हम खेल सकते हैं: बेहतर डेटासेट, नए मॉडल आर्किटेक्चर, नए प्रशिक्षण विधियां, बेहतर कंपाइलर, एल्गोरिदमिक सुधार और शोषण, बेहतर कंप्यूटर आर्किटेक्चर, और इसी तरह। यदि हम ऐसा करते हैं, तो सुधार के लिए लगभग तीन ऑर्डर हैं। यह सबसे अच्छा तरीका है।

आप पहले सिद्धांत सोच के महत्व में विश्वास रखते हैं, यह आपके दृष्टिकोण को कैसे आकार देता है कि आप लेमुरियन लैब्स का संचालन कैसे कर रहे हैं?

हम लेमुरियन में पहले सिद्धांत सोच का बहुत उपयोग करते हैं। मैंने हमेशा पाया है कि पारंपरिक ज्ञान भ्रामक हो सकता है क्योंकि यह ज्ञान एक निश्चित समय में बनाया गया था जब कertain धारणाएं सच थीं, लेकिन चीजें हमेशा बदलती रहती हैं और आपको अक्सर धारणाओं का परीक्षण करने की आवश्यकता होती है, खासकर जब आप इतनी तेजी से बदलते दुनिया में रहते हैं।

मैं अक्सर खुद से पूछता हूं कि ‘यह एक अच्छा विचार लगता है, लेकिन यह क्यों नहीं काम कर सकता’, या ‘इसके लिए क्या सच होना चाहिए’, या ‘हम क्या जानते हैं जो निश्चित सत्य हैं और क्या हम धारणाएं बना रहे हैं और क्यों?’। उद्देश्य यह है कि विचारों को जल्दी और सस्ते में अमान्य और समाप्त करना। हम उन चीजों की संख्या को अधिकतम करना चाहते हैं जिन पर हम किसी भी समय काम कर रहे हैं। यह समस्या के प्रति जुनूनी होने के बारे में है, और यह नहीं सोचते कि कौन सी तकनीक सबसे अच्छी है। बहुत से लोग तकनीक पर बहुत अधिक ध्यान केंद्रित करते हैं और वे ग्राहकों की समस्याओं को गलत समझते हैं और उद्योग में होने वाली परिवर्तनों को याद करते हैं जो उनके दृष्टिकोण को अमान्य कर सकते हैं।

पहले सिद्धांत सोच का उपयोग करने के अलावा, हम पीछे की ओर देखने वाले दृष्टिकोण का भी उपयोग करते हैं, जिसका अर्थ है कि एक आदर्श या वांछित भविष्य की कल्पना करना और उसे वास्तविक बनाने के लिए आवश्यक कदमों की पहचान करना। यह सुनिश्चित करता है कि हम एक अर्थपूर्ण समाधान पर पहुंचें जो न केवल नवाचारी है, बल्कि वास्तविकता में भी आधारित है। यह समझ में नहीं आता है कि एक आदर्श समाधान पर समय बिताने के लिए जो वास्तविक दुनिया की सीमाओं के कारण निर्मित नहीं किया जा सकता है, या एक समाधान बनाने के लिए जो आदर्श लगता है, लेकिन बाद में पता चलता है कि यह ग्राहकों के लिए अपनाने में बहुत मुश्किल है।

हर अब और फिर, हमें एक निर्णय लेने की आवश्यकता होती है लेकिन हमारे पास कोई डेटा नहीं होता है, और इस स्थिति में, हम न्यूनतम परीक्षण योग्य परिकल्पनाओं का उपयोग करते हैं जो हमें यह संकेत देते हैं कि क्या यह कुछ ऐसा है जिसे हम आगे बढ़ाना चाहते हैं या नहीं।

यह सब मिलकर हमें लचीलापन, तेजी से पुनरावृत्ति चक्र देता है जो आइटमों को जल्दी से जोखिम में डालता है, और हमें कठिन समस्याओं पर बहुत तेजी से प्रगति करने में मदद करता है।

आप पहले एज एआई पर केंद्रित थे, आपको क्लाउड कंप्यूटिंग में रिफोकस और पिवट करने के लिए क्या प्रेरित किया?

हमने एज एआई से शुरू किया क्योंकि उस समय मैं एक विशिष्ट समस्या का समाधान करने की कोशिश कर रहा था जो मैंने सामान्य उद्देश्य स्वायत्त रोबोटिक्स को बढ़ावा देने की कोशिश में सामना किया था। स्वायत्त रोबोटिक्स में सबसे बड़ा प्लेटफ़ॉर्म परिवर्तन का वादा है, और ऐसा लगता था कि हमें एक फाउंडेशन मॉडल बनाने के लिए आवश्यक सब कुछ था, लेकिन हमें सही संतुलन के साथ एक आदर्श अनुमान चिप की कमी थी थ्रूपुट, लेटेंसी, ऊर्जा दक्षता और प्रोग्रामबिलिटी के साथ इस फाउंडेशन मॉडल को चलाने के लिए।

मैं डेटासेंटर पर नहीं सोच रहा था क्योंकि वहां पर्याप्त कंपनियां काम कर रही थीं और मुझे उम्मीद थी कि वे इसे सुलझा लेंगे। हमने इस अनुप्रयोग स्थान के लिए एक बहुत ही शक्तिशाली आर्किटेक्चर डिज़ाइन किया और इसे टेप आउट करने के लिए तैयार थे, और फिर यह स्पष्ट हो गया कि दुनिया बदल गई थी और समस्या वास्तव में डेटासेंटर में थी। एलएलएम के स्केलिंग की दर कंप्यूटिंग में प्रगति की गति से कहीं अधिक है, और जब आप अपनाया जाता है तो यह एक चिंताजनक चित्र पेश करता है।

यह महसूस हुआ कि यह वह जगह है जहां हमें अपने प्रयासों को केंद्रित करना चाहिए, ताकि डेटासेंटर में एआई की ऊर्जा लागत को कम किया जा सके, बिना यह सीमित किए कि एआई कहां और कैसे विकसित होना चाहिए। और इसलिए, हमने इस समस्या का समाधान करने का काम शुरू किया।

क्या आप लेमुरियन लैब्स की स्थापना की उत्पत्ति की कहानी साझा कर सकते हैं?

यह कहानी 2018 की शुरुआत में शुरू होती है। मैं सामान्य उद्देश्य स्वायत्तता के लिए एक फाउंडेशन मॉडल को प्रशिक्षित करने और विभिन्न अनुप्रयोगों के लिए इसे फाइन-ट्यून करने के लिए काम कर रहा था, और कुछ अन्य चीजें जो बहुस्तरीय सिमुलेशन के लिए एक मॉडल को प्रशिक्षित करने में मदद करेंगी और एजेंट को प्रशिक्षित करेंगी। लेकिन बहुत जल्दी, मैंने जितना कंप्यूट मुझे मिला था उसे समाप्त कर दिया, और मुझे 20,000 वी100 जीपीयू की आवश्यकता थी। मैंने पर्याप्त उठाने की कोशिश की ताकि मुझे कंप्यूट तक पहुंच मिल सके, लेकिन बाजार अभी तक उस पैमाने के लिए तैयार नहीं था। यह मुझे तैनाती के पक्ष में सोचने के लिए प्रेरित किया और मैंने लक्ष्य वातावरण में मॉडल की सेवा के लिए आवश्यक प्रदर्शन की गणना करने के लिए बैठ गया और मुझे एहसास हुआ कि कोई चिप नहीं थी जो मुझे वहां ले जा सके।

कुछ साल बाद, 2020 में, मैं अपने सह-संस्थापक वासिल से मिलने गया और मैंने उन्हें स्वायत्तता के लिए एक फाउंडेशन मॉडल बनाने में जो चुनौतियां मैंने सामना की थीं, उनके बारे में बताया, और उन्होंने सुझाव दिया कि एक अनुमान चिप बनाई जाए जो फाउंडेशन मॉडल चला सके, और उन्होंने बताया कि उन्होंने संख्या प्रारूपों और बेहतर प्रतिनिधित्व के बारे में बहुत सोचा था जो न केवल तंत्रिका नेटवर्क को कम बिट-चौड़ाई पर सटीकता बनाए रखने में मदद करेगा, बल्कि अधिक शक्तिशाली आर्किटेक्चर भी बनाएगा।

यह एक आकर्षक विचार था लेकिन मेरे लिए यह बहुत दूर था। लेकिन यह मुझे नहीं छोड़ा, जो मुझे महीनों और महीनों तक कंप्यूटर आर्किटेक्चर, निर्देश सेट, रनटाइम, कंपाइलर और प्रोग्रामिंग मॉडल की जटिलताओं को सीखने के लिए प्रेरित किया। अंततः, एक सेमीकंडक्टर कंपनी बनाना समझ में आया और मैंने समस्या के बारे में एक थीसिस बनाई और इसका समाधान कैसे करना है। और फिर वर्ष के अंत में, हमने लेमुरियन लैब्स शुरू किया।

आप पहले कह चुके हैं कि हार्डवेयर बनाने से पहले सॉफ्टवेयर को संबोधित करने की आवश्यकता है, आप अपने विचारों को विस्तार से बता सकते हैं कि हार्डवेयर समस्या मुख्य रूप से एक सॉफ्टवेयर समस्या क्यों है?

जो लोग नहीं समझते हैं वह यह है कि सेमीकंडक्टर का सॉफ्टवेयर पक्ष स्वयं हार्डवेयर से कहीं अधिक कठिन है। एक उपयोगी कंप्यूटर आर्किटेक्चर बनाना जो ग्राहकों के लिए उपयोगी और लाभकारी हो, यह एक पूर्ण स्टैक समस्या है, और यदि आपके पास यह समझ और तैयारी नहीं है, तो आप एक सुंदर दिखने वाली आर्किटेक्चर के साथ समाप्त हो जाएंगे जो बहुत प्रदर्शनकारी और कुशल है, लेकिन विकासकर्ताओं द्वारा完全 अप्रयुक्त है, जो वास्तव में महत्वपूर्ण है।

सॉफ्टवेयर पहले दृष्टिकोण का एक और लाभ यह है कि यह बाजार में तेजी से पहुंच की अनुमति देता है, जो आज की तेजी से बदलती दुनिया में महत्वपूर्ण है, जहां एक आर्किटेक्चर या विशेषता पर बहुत अधिक आशावादी होना बाजार को पूरी तरह से याद करने का मतलब हो सकता है।

सॉफ्टवेयर पहले दृष्टिकोण का पालन नहीं करने से उत्पाद अपनाया जाने के लिए महत्वपूर्ण चीजों को जोखिम में नहीं डाला जाता है, बाजार में परिवर्तनों का जवाब देने में असमर्थता होती है, जैसे कि जब कार्यभार अप्रत्याशित तरीके से विकसित होते हैं, और हार्डवेयर का कम उपयोग होता है। यह सभी अच्छी चीजें नहीं हैं। यह एक बड़ा कारण है कि हम सॉफ्टवेयर केंद्रित होने की परवाह करते हैं और हमारा दृष्टिकोण है कि आप एक सेमीकंडक्टर कंपनी नहीं हो सकते हैं यदि आप वास्तव में एक सॉफ्टवेयर कंपनी नहीं हैं।

क्या आप अपने तत्कालीन सॉफ्टवेयर स्टैक लक्ष्यों पर चर्चा कर सकते हैं?

जब हम अपनी आर्किटेक्चर को डिज़ाइन कर रहे थे और आगे देख रहे थे तो रोडमैप और अवसरों को देख रहे थे कि हम कहां अधिक प्रदर्शन और ऊर्जा दक्षता ला सकते हैं, तो यह स्पष्ट हो गया कि हम बहुत अधिक विषमता देखेंगे जो सॉफ्टवेयर पर बहुत सारी समस्याएं पैदा करेगी। और हमें न केवल विषम आर्किटेक्चर को उत्पादक रूप से प्रोग्राम करने में सक्षम होने की आवश्यकता है, हमें डेटासेंटर स्तर पर इसका सामना करना होगा, जो एक चुनौती है जिसका हमने पहले सामना नहीं किया है।

यह हमें चिंतित करता है क्योंकि पिछली बार जब हमें एक बड़े परिवर्तन से गुजरना पड़ा था जब उद्योग ने एकल-कोर से मल्टी-कोर आर्किटेक्चर में बदलाव किया था, और उस समय यह सॉफ्टवेयर को काम करने और लोगों को इसका उपयोग करने में 10 साल लग गए थे। हम 10 साल तक इंतजार नहीं कर सकते हैं कि सॉफ्टवेयर हेटेरोजेनिटी के लिए काम करे और स्केल पर, यह अब होना चाहिए। और इसलिए, हमने समस्या को समझने और इसके लिए क्या आवश्यक है यह जानने का काम शुरू किया।

हम वर्तमान में कई अग्रणी सेमीकंडक्टर कंपनियों और हाइपरस्केलर/क्लाउड सेवा प्रदाताओं के साथ जुड़ रहे हैं और हम अपने सॉफ्टवेयर स्टैक को अगले 12 महीनों में जारी करेंगे। यह एक एकीकृत प्रोग्रामिंग मॉडल है जिसमें किसी भी प्रकार की आर्किटेक्चर को लक्षित करने में सक्षम कंपाइलर और रनटाइम है, और विभिन्न प्रकार के हार्डवेयर से बने क्लस्टर में काम को समन्वयित करने में सक्षम है, और एक नोड से लेकर एक हजार नोड क्लस्टर तक स्केल करने में सक्षम है सबसे उच्च प्रदर्शन के लिए।

साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें लेमुरियन लैब्स पर जाना चाहिए।