निकोलोस वासिलोग्लू, रिलेशनलएआई में रिसर्च एमएल के वीपी – साक्षात्कार श्रृंखला

निकोलोस वासिलोग्लू रिलेशनलएआई में रिसर्च एमएल के वीपी हैं। उन्होंने अपना करियर एमएल सॉफ्टवेयर बनाने और रिटेल, ऑनलाइन विज्ञापन और सुरक्षा में डेटा साइंस परियोजनाओं का नेतृत्व करने में बिताया है। वह आईसीएलआर/आईसीएमएल/न्यूरआईपीएस/यूएआई/एमएलकॉन्फ/केजीसी/आईईईई एसएंडपी समुदाय के एक सदस्य हैं, जिन्होंने एक लेखक, समीक्षक और कार्यशालाओं और मुख्य सम्मेलन के आयोजक के रूप में कार्य किया है। निकोलोस रिलेशनलएआई में लार्ज लैंग्वेज मॉडल और नॉलेज ग्राफ के बीच शोध और रणनीतिक पहलों का नेतृत्व कर रहे हैं।

रिलेशनलएआई एक एंटरप्राइज एआई कंपनी है जो निर्णय बुद्धिमत्ता प्लेटफ़ॉर्म बनाती है जो संगठनों को डेटा विश्लेषण से परे स्वचालित, उच्च-गुणवत्ता वाले निर्णय लेने में मदद करने के लिए डिज़ाइन किया गया है। इसकी प्रौद्योगिकी स्नोफ्लेक जैसे डेटा वातावरण के साथ सीधे एकीकृत होती है, जो संबंधपरक डेटाबेस, ज्ञान ग्राफ और उन्नत तर्क प्रणालियों को मिलाकर एक व्यवसाय का “सेमेंटिक मॉडल” बनाती है – मूल रूप से यह कैसे संचालित होता है, इसके संबंध और तर्क को एन्कोड करता है। यह एआई प्रणालियों (包括 निर्णय एजेंट जैसे “रिल”) को जटिल, अंतर्संबंधित डेटा पर तर्क करने और भविष्यसूचक और निर्देशात्मक अंतर्दृष्टि उत्पन्न करने की अनुमति देता है, जिससे उद्यम तेजी से और अधिक सूचित निर्णय ले सकते हैं बिना अपने डेटा को सुरक्षित क्लाउड वातावरण के बाहर ले जाए।

आपके पास एक दुर्लभ करियर पथ है जो अकादमिक मशीन लर्निंग, बड़े पैमाने पर उद्योग तैनाती और सिमेंटेक, एआईसेरा और अब रिलेशनलएआई जैसी कंपनियों में नेतृत्व भूमिकाओं को शामिल करता है। उन अनुभवों ने मशीन लर्निंग शोध को वास्तविक दुनिया की प्रणालियों के साथ मिलने के बारे में आपके दृष्टिकोण को कैसे आकार दिया है?

मैं विभिन्न व्यवसायिक डोमेन के साथ जुड़ने के लिए पर्याप्त भाग्यशाली था, खुदरा और सुरक्षा से लेकर ऑनलाइन विज्ञापन तक। इससे मुझे यह समझने में मदद मिली कि मशीन लर्निंग और एआई एक सामान्य हर के रूप में कैसे फिट होता है। हम जानते थे कि 2000 के दशक की शुरुआत में सॉफ्टवेयर दुनिया को खा रहा था, डेटा निर्णय बुद्धिमत्ता को खा रहा था, लेकिन कुछ कंपनियों, गूगल सहित, ने माना कि उन्नत मशीन लर्निंग एल्गोरिदम अंततः सब कुछ खा जाएंगे। 2008 में, न्यूरआईपीएस उपस्थित लोगों को वास्तविक दुनिया को नहीं समझने वाले सपने देखने वाले और खिलौनों के साथ खेलने वाले लोग माना जाता था। यह एक बिंदु तक सच था, लेकिन मैंने विश्वास किया कि यह एक परिवर्तन की दिशा में था। दूसरों के विपरीत, मैंने अकादमिक अनुसंधान को उद्योग में परिवर्तित करने में सक्रिय रूप से भाग लेने के लिए नहीं दिया।

न्यूरआईपीएस 2025 के आपके विश्लेषण में क्लाउड कोड, ओपनएआई कोडेक्स और नोटबुकएलएम जैसे कोडिंग सहायकों का उपयोग करके पूरे सम्मेलन को संसाधित करने के लिए क्या सबसे ज्यादा आश्चर्य हुआ?

यह आश्चर्यजनक रूप से आसान था कि सॉफ्टवेयर बनाने के लिए डेटा को स्क्रैप करना, मशीन-रीड करना और वर्गों में वर्गीकृत करना और यहां तक कि एक विशेष रूप से स्पष्ट तरीके से सारांशित और समझाने के लिए। जेनएआई सिस्टम कहानी सुनाने में अद्भुत हैं लेकिन कहानी नहीं सुनाते हैं। नोटबुकएलएम किसी भी डोमेन का विश्लेषण करने और अविश्वसनीय परिणाम देने में रानी है। हालांकि, आपको कहानी, ग्राफिक्स या जोर पर नियंत्रण नहीं है। मैंने सीखा कि टूल पावरपॉइंट स्लाइड बनाने में बहुत अच्छे नहीं हैं, इसलिए मुझे एचटीएमएल बनाने और फिर उन्हें पीडीएफ में बदलने के लिए मजबूर होना पड़ा। सबसे बड़ी चुनौती आंकड़े बनाने की थी – प्रसार उत्पादन बस बहुत धीमा, अविश्वसनीय और महंगा था, और नियंत्रण के साथ नहीं। आश्चर्यजनक रूप से, मॉडल मैटप्लॉटलिब, प्लॉटली और अन्य पायथन लाइब्रेरी के साथ प्रोग्रामेटिक रूप से एसवीजी बनाने में काफी अच्छे हैं। यह तकनीक स्केल की, लेकिन यह विज़ुअलाइजेशन त्रुटियों को ठीक करने के लिए कई पास की आवश्यकता थी। मॉडल अगले साल और भी बेहतर होंगे।

आपके विश्लेषण में सबसे मजबूत विषयों में से एक प्रशिक्षण-समय स्केलिंग से अनुमान-समय कंप्यूट में परिवर्तन है। परीक्षण-समय कंप्यूट इतनी शक्तिशाली लीवर क्यों बन रही है जो मॉडल प्रदर्शन में सुधार करती है?

स्केलिंग कानून हमारे दिशा सूचक हैं। मॉडल का आकार और पूर्व-प्रशिक्षण डेटा अपनी क्षमता तक पहुंच गया है। स्केलिंग कानूनों की पहली पीढ़ी ने हमें जीपीटी-4 तक ले जाने में मदद की। वे वह थे जिन्होंने ओपनएआई को जेनएआई क्रांति शुरू करने में मदद की। हम जल्द ही महसूस किया कि एक और आयाम था जो मॉडल को कई टोकन उत्पन्न करने से पहले उत्तर तक पहुंचने की अनुमति देता था। यह एलएलएम की दक्षता में सुधार करने का एक और तरीका है। मॉडल का आकार और तर्क लंबाई अक्सर सिस्टम 1 और सिस्टम 2 सोच मोड (डैनियल काह्नमैन) के रूप में व्यक्त किए जाते हैं। तर्क ट्रेस एक और तरीका है मॉडल क्षमता बढ़ाने का। यदि आप इसके बारे में सोचते हैं, तो मानवता से सफलता शुरू हुई (उच्च आईक्यू), लेकिन सफलता हमेशा लंबे और दर्दनाक तर्क के कारण थी। हम किसी पैटर्न को देखते हैं: छोटे मॉडल लंबे सोच खिड़कियों के साथ बड़े मॉडल को 100 गुना बेहतर प्रदर्शन करते हैं। इसलिए एलएलएम में सोच मायने रखती है, आईक्यू से ज्यादा।

आप मोनोलिथिक मॉडल से एजेंटिक सिस्टम में परिवर्तन की ओर इशारा करते हैं जो योजना, कार्रवाई और अपने आउटपुट की पुष्टि करने में सक्षम हैं। एजेंटिक एआई विश्वसनीय उत्पादन परिदृश्य बनने के बजाय शोध प्रोटोटाइप के रूप में कितना करीब है?

हम उस दिशा में बड़ी प्रगति कर रहे हैं। सबसे बड़ी समस्याएं विश्वसनीयता और सुरक्षा हैं, ताकि हम उन पर स्वायत्त रूप से भरोसा कर सकें। यदि आप न्यूरआईपीएस सामग्री पर करीब से देखते हैं, तो आप स्वायत्त प्रणालियों को देखेंगे जो शोध करती हैं, गणित की समस्याओं का समाधान करती हैं और कोडिंग समस्याओं का समाधान करती हैं, लेकिन आप एक एजेंटिक ड्राइवरलेस कार नहीं देखेंगे, उदाहरण के लिए। मोल्टबुक (एक सोशल नेटवर्क के लिए एआई एजेंट) के साथ नवीनतम अनुभव ने स्वायत्त एजेंटिक एआई के मुद्दों को उजागर किया। हालांकि, नए दवाओं और सामग्रियों का पता लगाने के लिए एजेंटिक एआई का उपयोग करना बहुत बड़ा है, इसलिए आइए इस पर जश्न मनाएं और इस पर ध्यान केंद्रित करें।

दक्षता नवाचार का एक प्रमुख चालक के रूप में प्रतीत होता है, छोटे मॉडल वास्तुकला सुधार और स्मार्ट अनुमान रणनीतियों के माध्यम से प्रतिस्पर्धी प्रदर्शन प्राप्त कर रहे हैं। क्या हम एक युग में प्रवेश कर रहे हैं जहां दक्षता प्रौद्योगिकी मॉडल के कच्चे आकार से अधिक मायने रखती है?

जैसे ही एआई उत्पादन में स्केल करता है, इंजीनियरिंग अधिक महत्वपूर्ण हो जाती है। फ्रंटियर मॉडल पर निर्भर रहना बस टिकाऊ नहीं है। यह डेमो के लिए बहुत अच्छा है, लेकिन कंपनियां बड़े मॉडल की उच्च लागत का सामना करती हैं। पहली बार छोटे मॉडल एक बहुत ही व्यवहार्य समाधान बन गए हैं। उद्योग में स्थिति को बदलने वाला एक मौन बल है। अब तक, एनवीडिया के पास जीपीयू का एकाधिकार था और कीमतें उच्च रखी थीं। एएमडी बाजार में उच्च-गुणवत्ता वाले चिप्स के साथ अपना रास्ता बना रहा है और यह कीमतों को कम करने के लिए मजबूर करेगा। ऊर्जा अभी भी एक मुद्दा है, लेकिन हम बाजार में कुछ गति देख रहे हैं। जैसे ही फ्रंटियर लैब अधिक महंगे हो गए, छोटे मॉडल किराए पर जीपीयू पर एक व्यवहार्य समाधान बन गया है।

आपकी प्रस्तुति से पता चलता है कि क्षेत्र मॉडल (पैरामीटर) के एक अक्ष से मल्टी-आयामी स्केलिंग में स्थानांतरित हो गया है, जिसमें पैरामीटर, डेटा, वास्तुकला और अनुमान शामिल हैं। शोधकर्ताओं और पрак्टिशनरों को इस नए स्केलिंग परिदृश्य के बारे में कैसे सोचना चाहिए?

अधिकांश पेशेवरों के लिए, वास्तुकला और पैरामीटर उनके नियंत्रण से परे हैं। मॉडल का निर्माण करने वाले निर्माता जिन्हें आवश्यक पूंजी है, वे नवाचार को चलाएंगे। टोकन अनुमान लंबाई उनके संगठन के कैपेक्स खर्च द्वारा निर्धारित की जाएगी। जो उनके नियंत्रण में रहता है वह डेटा है। हम डेटा बनाने, क्यूरेट करने और डिबग करने (अधिकांश समय तर्क ट्रेस) पर अधिक ध्यान केंद्रित देखेंगे। यह दिन-प्रतिदिन के संचालन का फोकस होगा। निश्चित रूप से उन्हें न्यूरआईपीएस और अन्य बड़े सम्मेलनों के साथ अपडेट रहने की आवश्यकता होगी ताकि वे नए वास्तुकला के रुझानों के साथ तालमेल रख सकें।

आपके न्यूरआईपीएस संश्लेषण में, आप बताते हैं कि शोध का एक बढ़ता हिस्सा विज्ञान की खोज, जीव विज्ञान से लेकर जलवायु मॉडलिंग तक, के लिए एआई-संचालित पर ध्यान केंद्रित कर रहा है। क्या आप एआई-फॉर-साइंस को मशीन लर्निंग शोध के लिए अगले बड़े मोर्चे के रूप में देखते हैं?

मुझे लगता है कि यह अकादमिक शोध से परे है। हम अगले सोने की भीड़ को देख रहे हैं। 1849 में कैलिफोर्निया में सोने की भीड़ अपने शिखर पर पहुंच गई। लोगों को बस नदी के पानी को बार-बार छानना था और सोना मिल जाता था। हम जानते हैं कि कई लोगों को सोना नहीं मिला, लेकिन जो हम आज देखते हैं वह बहुत वास्तविक है। मैं दो या तीन व्यक्तियों के स्टार्टअप्स को बड़े पैमाने पर देख सकता हूं जो भाषा मॉडल का उपयोग करके नए सामग्री, दवाएं और उत्पाद घटक खोज रहे हैं। टोकन को सबसे चतुर तरीके से जलाने से बड़े पैमाने पर उपज आ सकती है। क्लाउड कोड, ओपनएआई कोडेक्स और गूगल एंटीग्रेविटी जैसे कोडिंग सहायक सास कंपनियों के लिए खाई को दूर कर सकते हैं, जिससे वैज्ञानिक खोज में एक पूरी पीढ़ी के कंप्यूटर वैज्ञानिकों को छोड़ दिया जाता है। यदि आप एक गैर-लाभकारी संगठन जैसे फर्स्ट प्रिंसिपल्स या बायोहब के लिए काम करते हैं, तो नए भौतिकी के नियमों और सिद्धांतों या जीव विज्ञान में योगदान के अवसर हैं। यदि आप राजस्व उत्पन्न करना चाहते हैं, तो आप विज्ञान पर आधारित नए उत्पादों का आविष्कार करेंगे, जैसे कि फार्मास्यूटिकल्स, सामग्री, बैटरी आदि।

आपका काम एक बढ़ती पुष्टि अंतर को भी उजागर करता है, जहां मॉडल मजबूत बेंचमार्क स्कोर प्राप्त करते हैं लेकिन वास्तविक दुनिया के सरल संस्करणों पर विफल हो जाते हैं। यह अंतर बड़े भाषा मॉडल की वर्तमान सीमाओं के बारे में क्या बताता है?

वे एक अद्भुत स्मृति रखते हैं और सामान्यीकरण करने में अच्छे हैं। बेंचमार्क शोध की शुरुआत में अच्छे हैं। एक बार जब आप एक सीमा पार कर लेते हैं, तो आप बेंचमार्क सीखते हैं, समस्या नहीं। हम वर्षों से बेंचमार्क को पुनः सेट करने और उन्हें और भी कठिन बनाने में बहुत अच्छे रहे हैं ताकि सीमाओं को धक्का दिया जा सके। बेंचमार्क के साथ समस्या यह है कि एक बिंदु पर, हम ओवरइंडेक्स और अंततः धोखा देना शुरू कर देते हैं। यहां की पूरी प्रवृत्ति प्रतियोगियों को अधिक ईमानदार बनाने के लिए है। मैं व्यक्तिगत रूप से बेंचमार्क को कुछ छलांग के बाद बहुत ध्यान नहीं देता। आप एक अच्छा उत्पाद हो सकता है जो लीडरबोर्ड में शीर्ष 10 में नहीं है। मैंने कई उपर्युक्त उत्पादों को देखा है जो बेंचमार्क में अच्छे हैं।

आपकी प्रस्तुति से पता चलता है कि छोटे भाषा मॉडल को अनुमान स्केलिंग और एजेंटिक वास्तुकला के साथ मिलाकर शक्तिशाली एआई प्रणाली बनाने के लिए जो बाहरी हाइपरस्केल डेटा केंद्रों में चल सकती हैं। क्या यह विकेंद्रीकरण उद्योगों में एआई के तैनाती को कैसे बदल सकता है?

हमने एज डिप्लॉयमेंट पर एक बड़ा जोर देखा। हम अपने आसपास स्मार्ट डिवाइस देखने जा रहे हैं। माइक्रोसॉफ्ट 1बिट एलएलएम पर वर्षों से काम कर रहा है, जो लगभग 30 गुना संपीड़न प्राप्त करता है, जिससे यह एकल चिप पर फ्रंटियर मॉडल चलाने में सक्षम हो जाता है। हमने इस काम पर वर्षों से नज़र रखी है और प्रगति अद्भुत है। विशेष रूप से पहनने योग्य डोमेन में।

पिछले साल के न्यूरआईपीएस में जो कवर किया गया था वह कमजोर एज मॉडल को फ्रंटियर मॉडल के साथ जोड़ने का विचार था। इससे आपको अपने बैंडविड्थ के आधार पर अपनी अनुमान शक्ति को समायोजित करने की अनुमति मिलती है एक निरंतर स्पेक्ट्रम में। न्यूरआईपीएस में पहला टेल्को वर्कशॉप एक रुझान की ओर इशारा करता है जो सेल टावरों पर जीपीयू रखने की है, जो दिलचस्प है क्योंकि सेल टावर न तो एक डेटा सेंटर है और न ही एक एज डिवाइस है। यह कंप्यूट हायरार्की में एक नया परत जोड़ता है।

कुछ और जो एलएलएम से बच गया है वितरित मॉडल प्रशिक्षण है (और मैं गूगल को दूरस्थ डेटा केंद्रों में जेमिनी को प्रशिक्षित करने का मतलब नहीं है)। एक बहुत ही दिलचस्प रुझान है जो पकड़ रहा है जो स्वतंत्र संस्थाओं को अपने मॉडल को प्रशिक्षित करने और उपयोगकर्ताओं को उन्हें लेगो की तरह जोड़कर बड़े और अधिक शक्तिशाली बनाने की अनुमति देता है। यह एक बहुत ही आशाजनक मॉड्यूलर वास्तुकला है। यही बड़े मॉडल को प्रशिक्षित करने का तरीका है। विभिन्न टीमें विशेषज्ञता वाले मॉडल बनाती हैं, और अंत में, वे उन्हें लेगो ब्लॉक की तरह एक साथ प्लग करते हैं।

न्यूरआईपीएस के हजारों पत्रों का विश्लेषण करने के बाद, आपको लगता है कि एआई शोध समुदाय सटीक रूप से प्रगति की भविष्यवाणी कर रहा है, और कहां यह सबसे महत्वपूर्ण आगामी बदलावों को याद कर सकता है?

शोध समुदाय भविष्यवाणी नहीं करता है। शोधकर्ताओं के अपने ड्राइवर, जिज्ञासा, धन, संयोग और जाहिर है, प्रवृत्ति है। वे हमेशा दिलचस्प दिशाओं को याद कर सकते हैं, लेकिन निश्चित रूप से किसी बिंदु पर कोई उन्हें उठा लेगा। यह अपेक्षित है और यह स्वस्थ है। कार्यकारी, निवेशक और इंजीनियरों को उभरते रुझानों की पहचान करने की आवश्यकता है ताकि वे सही निर्णय ले सकें और सबसे शिक्षित दांव लगा सकें। मेरे 5 साल की विश्लेषण खिड़की में, कुछ रुझान थे जो जल्दी उठाए गए, और कुछ संकेत याद किए गए। उनमें से कुछ के लिए अभी भी अल्फा लहर पर काबू पाने का समय है।

डेटा बाजार कुछ ऐसा है जिस पर मैं वर्षों से नजर रख रहा हूं, और वे इस साल कूद गए। लापता घटक अट्रिब्यूशन था। हम अब एलएलएम प्रतियोगिता में योगदान देने वाले प्रशिक्षण डेटा की पहचान कर सकते हैं और उड़ान में डिविडेंड का भुगतान कर सकते हैं। इससे प्रकाशकों के लिए एक स्थायी राजस्व अवसर है जो फ्रंटियर मॉडल के साथ वर्ग कार्रवाई के मुकदमों पर हैं। उनमें से कुछ को फ्लैट लाइसेंसिंग समझौतों में बसना पड़ा, जबकि मुझे लगता है कि उन्हें एक अट्रिब्यूशन मॉडल से अधिक टिकाऊ राजस्व बनाने का अवसर है।

रोबोटिक्स में एक क्रांति आ रही है। एनवीडिया और अन्य द्वारा घोषित विश्व मॉडल बहुत सटीक और स्केलेबल भौतिकी सिमुलेशन कर रहे हैं। इसलिए अपेक्षा करें कि एआई अधिक भौतिक हो जाएगा।

ट्रांसफॉर्मर वास्तुकला अंततः आरएनएन, माम्बा, आदि जैसे स्टेट स्पेस मॉडल के साथ मerged हो गई और अद्भुत छोटे एलएलएम का उत्पादन किया। हम अब ट्रांसफॉर्मर की सीमाओं को जानते हैं जो प्रदर्शन में एक प्रमुख भूमिका निभाता है, लेकिन हम अभी भी अगले कदम को याद कर रहे हैं। यह तब आएगा जब ट्रांसफॉर्मर को साबित किया जाएगा कि यह मरने वाला है और काफी लचीला है। जो हम नहीं जानते हैं वह यह है कि क्या यह एक मानव होगा या एक ट्रांसफॉर्मर जो एलएलएम की नई वास्तुकला को डिजाइन करेगा। ट्रांसफॉर्मर ने एनएलपी (हाँ, जेनएआई की शुरुआत मूल एनएलपी कार्यों से हुई, जैसे कि इकाई वर्गीकरण) में खंडित वास्तुकला को एकजुट किया। यह गणित के लिए काम किया, इस साल यह टेबल के लिए काम किया, लेकिन यह भौतिकी के लिए काम नहीं किया। मैंने 15 से अधिक विभिन्न वास्तुकला गिने। इसलिए भौतिकी को एकजुट करने वाली नई वास्तुकला एएआई की यात्रा में ट्रांसफॉर्मर को बदलने वाली हो सकती है।

साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें रिलेशनलएआई पर जाना चाहिए।