रॉब मे, NeuroMetric के सीईओ और सह-संस्थापक – साक्षात्कार श्रृंखला

रॉब मे, NeuroMetric के सीईओ और सह-संस्थापक, एक अनुभवी उद्यमी और निवेशक हैं जिनका क्लाउड कंप्यूटिंग, एआई स्टार्टअप और वेंचर कैपिटल में लंबा ट्रैक रिकॉर्ड है, जो वर्तमान में Neurometric AI का नेतृत्व करने के साथ-साथ HalfCourt Ventures में प्रबंध निदेशक के रूप में भी कार्यरत हैं, जहाँ उन्होंने 100 से अधिक प्रौद्योगिकी कंपनियों में निवेश किया है। अपने परिचालन और निवेशक भूमिकाओं के साथ-साथ, उन्होंने AI Innovators Community की सह-स्थापना की और पहले Backupify जैसी कंपनियों का निर्माण किया और उन्हें बेचा, जो कई प्रौद्योगिकी चक्रों में गहन अनुभव को दर्शाता है। वे अपने लंबे समय से चले आ रहे Investing in AI न्यूज़लेटर के लिए भी व्यापक रूप से जाने जाते हैं, जिसे उन्होंने एक दशक से अधिक समय पहले उभरते एआई रुझानों, निवेश रणनीतियों और बाजार बदलावों का विश्लेषण करने के लिए लिखना शुरू किया था, और जो तब से तेजी से विकसित हो रहे एआई परिदृश्य में गहन अंतर्दृष्टि के लिए एक मंच में विकसित हो गया है।

NeuroMetric AI आज कृत्रिम बुद्धिमत्ता में सबसे महत्वपूर्ण चुनौतियों में से एक को हल करने पर केंद्रित है: बड़े पैमाने पर अनुमान (इनफेरेंस) की लागत और दक्षता। यह प्लेटफ़ॉर्म एआई वर्कलोड का गतिशील मूल्यांकन करता है और अनुकूलन रणनीतियों को लागू करता है—जैसे कि छोटे, विशेष मॉडल को उन्नत टेस्ट-टाइम कंप्यूट तकनीकों के साथ जोड़ना—लागत में नाटकीय रूप से कमी लाते हुए प्रदर्शन में सुधार करने के लिए, जिससे उद्यमों को एआई तैनाती से बेहतर ROI प्राप्त करने में सक्षम बनाता है। वर्कलोड को ऑर्केस्ट्रेट करके और विशिष्ट कार्यों के लिए मॉडल उपयोग को अनुकूलित करके, Neurometric का लक्ष्य एआई सिस्टम को काफी तेज़ और अधिक किफायती बनाना है, जो संगठनों के प्रयोग से उत्पादन की ओर बढ़ने के साथ, स्वयं को एआई बुनियादी ढांचे, दक्षता और वास्तविक दुनिया की स्केलेबिलिटी के प्रतिच्छेदन पर स्थापित करता है।

आपने कई एआई कंपनियों की स्थापना की और नेतृत्व किया है, HalfCourt Ventures के माध्यम से 100 से अधिक स्टार्टअप में निवेश किया है, और पहले Backupify का निर्माण किया और उसे बेचा। उन अनुभवों ने आज एआई में स्थायी मूल्य कहाँ बनता है, इस पर आपके दृष्टिकोण को कैसे आकार दिया है?

मुझे लगता है कि अधिकांश निवेशक और उद्यमी अल्पकालिक सुरक्षा (मोट) का पीछा कर रहे हैं – ऐसी चीजें जो आज बाजार में स्पष्ट अंतराल दिखती हैं लेकिन ऐसे अंतराल जो मौजूदा कंपनियों द्वारा जल्दी बंद कर दिए जाएंगे। एआई किसी व्यवसाय को चलाने को संभाव्य निर्णयों की एक श्रृंखला में समेट देगा। निवेश करने या बनाने के लिए वे कंपनियां हैं जिनके पास उन संभावनाओं का सबसे अच्छा समग्र अनुमान है। कभी-कभी यह लंबवत एकीकरण से आएगा और कभी-कभी क्षैतिज पैमाने से – यह बाजार पर निर्भर करता है।

आपके Investing in AI न्यूज़लेटर में, आपने तर्क दिया है कि मॉडल तेजी से विनिमेय होते जा रहे हैं और वास्तविक रक्षात्मकता सिस्टम लेयर की ओर स्थानांतरित हो रही है। व्यवहार में एक वास्तविक “सिस्टम मोट” कैसा दिखता है?

एक वास्तविक सिस्टम मोट के तीन गुण होते हैं: यह उपयोग के साथ बढ़ता है, यह ग्राहक के लिए विशिष्ट है, और इसे बेहतर मॉडल द्वारा बदलकर पुनर्निर्मित नहीं किया जा सकता है।

रक्षात्मकता उस में रहती है जिसे मैं “संदर्भ की प्रणाली (सिस्टम ऑफ कॉन्टेक्स्ट)” कहता हूं — एक एकीकृत आर्किटेक्चर जो फाउंडेशन मॉडल को उन सभी चीजों से जोड़ता है जो एक कंपनी को अद्वितीय बनाती हैं: इसका डेटा, इसके वर्कफ़्लो, इसका डोमेन ज्ञान, इसका निर्णय इतिहास। यह प्रणाली प्रत्येक इंटरैक्शन से सिग्नल कैप्चर करती है — कौन सा मॉडल किस कार्य में सफल होता है, लेटेंसी कहाँ मायने रखती है, कौन से उद्यम-विशिष्ट पैटर्न उभरते हैं — और इसे स्वयं को सुधारने में वापस फीड करती है।

मुख्य अंतर्दृष्टि यह है कि यह एक गुणक फ्लाईव्हील बनाता है, योगात्मक नहीं। आप केवल पिछले निर्णयों की एक खोज योग्य लॉग जमा नहीं कर रहे हैं। आप प्रशिक्षण सिग्नल उत्पन्न कर रहे हैं जो विशेष मॉडल तैयार करता है जो रूटिंग में सुधार करता है, जो अधिक मूल्यवान डेटा कैप्चर करता है। हर अनुमान (इनफेरेंस) के साथ सुरक्षा (मोट) चौड़ी होती जाती है।

व्यवहार में, एक सिस्टम मोट गहन वर्कफ़्लो एकीकरण जैसा दिखता है जहाँ स्विचिंग लागत एपीआई के बारे में नहीं है — वे व्यवसाय तर्क को फिर से लिखने के बारे में हैं। यह मालिकाना संदर्भ जैसा दिखता है जिसे कोई प्रतिस्पर्धी पुनर्निर्मित नहीं कर सकता क्योंकि यह किसी विशिष्ट उद्यम के अंदर महीनों के उत्पादन उपयोग के माध्यम से उत्पन्न हुआ था। और यह निरंतर विशेषज्ञता लूप जैसा दिखता है जहाँ प्रणाली उस ग्राहक के लिए सार्थक रूप से बेहतर हो जाती है, जिस तरह से एक सामान्य मॉडल प्रदाता कभी नहीं करेगा।

मॉडल युग ने हमें कच्ची क्षमता दी। सिस्टम युग वह है जहाँ वह क्षमता वास्तविक दुनिया का मूल्य बन जाती है।

उद्यमों को एकल फ्रंटियर मॉडल पर निर्भर रहने के बजाय, रूटिंग लॉजिक, एस्केलेशन पाथ और निरंतर मूल्यांकन सहित बहु-मॉडल रणनीति बनाने के बारे में कैसे सोचना चाहिए?

पहली बात जो उद्यमों को आत्मसात करने की आवश्यकता है वह यह है कि “बस सबसे अच्छे मॉडल का उपयोग करें” बड़े पैमाने पर एक हारने वाली रणनीति है। यह हर क्वेरी को अपने सबसे वरिष्ठ इंजीनियर के माध्यम से चलाने के बराबर है। यह महंगा है, यह धीमा है, और — विरोधाभासी रूप से — यह अक्सर सबसे अच्छे परिणाम नहीं देता है।

यह मेरे द्वारा कही गई “अनुमान (इनफेरेंस) की दांतेदार सीमा (जैग्ड फ्रंटियर)” की ओर ले जाता है: मॉडल प्रदर्शन कार्य-विशिष्ट और अप्रत्याशित है। फ्रंटियर मॉडल विशिष्ट कार्यों पर छोटे, विशेष मॉडल से हर समय हार जाते हैं। हमने कंपोजिट मल्टी-मॉडल सिस्टम को CRM कार्यों पर 72.7% सटीकता हासिल करते देखा है जहाँ फ्रंटियर मॉडल ने 58% स्कोर किया। प्रदर्शन सतह पैरामीटर संख्या के साथ साफ-साफ सहसंबद्ध नहीं होती है। तो असली सवाल यह नहीं है कि “कौन सा मॉडल सबसे अच्छा है?” — यह है “इस विशिष्ट उपकार्य के लिए कौन सा मॉडल सबसे अच्छा है?”

यह पुनर्निर्माण एक वास्तविक बहु-मॉडल रणनीति की नींव है। यहां बताया गया है कि मैं उद्यमों को इसे तीन परतों में कैसे सोचने के लिए कहूंगा।

रूटिंग लॉजिक आपके अनुमान (इनफेरेंस) परिदृश्य को मैप करने से शुरू होता है। अपने सिस्टम के हर उस बिंदु को सूचीबद्ध करें जहां एक एलएलएम कॉल की जाती है, और प्रत्येक के लिए, कार्य प्रकार, इनपुट/आउटपुट जटिलता, विलंबता आवश्यकताएं, सटीकता सीमा और कॉल वॉल्यूम दस्तावेज करें। यह आपको एक हीट मैप देता है। आप जल्दी पाएंगे कि आपकी अधिकांश मात्रा उच्च-आवृत्ति, संकीर्ण-दायरे का काम है — वर्गीकरण, इकाई निष्कर्षण, इरादा रूटिंग, टेम्प्लेट जनरेशन — जहां एक फाइन-ट्यून किया गया छोटा मॉडल लागत के एक अंश पर फ्रंटियर मॉडल से मेल खाता है या उसे हरा देता है। उन कार्यों के लिए अपनी महंगी फ्रंटियर कॉल आरक्षित रखें जिन्हें वास्तव में जटिल तर्क की आवश्यकता होती है। एक एजेंट जो प्रति कार्य 50 कॉल करता है, उसे सभी 50 के लिए GPT-4 की आवश्यकता नहीं है।

एस्केलेशन पाथ बुद्धिमान फॉलबैक बनाने के बारे में हैं, न कि केवल फेलओवर। सिस्टम को पहचानने की आवश्यकता है कि कब एक छोटा मॉडल कम आत्मविश्वास वाले परिणाम लौटा रहा है और एक अधिक सक्षम मॉडल — या पूरी तरह से एक अलग मॉडल-रणनीति संयोजन तक बढ़ा रहा है। यह वह जगह है जहाँ टेस्ट-टाइम कंप्यूट रणनीतियाँ आती हैं। कभी-कभी सही उत्तर एक बड़ा मॉडल नहीं होता है — यह चेन-ऑफ-थॉट, बीम सर्च, या बेस्ट-ऑफ-एन सैंपलिंग के साथ वही मॉडल होता है। इष्टतम कॉन्फ़िगरेशन न केवल मॉडल द्वारा बदलता है, बल्कि आपके द्वारा इसे जोड़े गए सोच एल्गोरिदम द्वारा भी बदलता है।

निरंतर मूल्यांकन वह टुकड़ा है जिसे अधिकांश उद्यम पूरी तरह से छोड़ देते हैं, और यह वह जगह है जहाँ वास्तविक रक्षात्मकता उभरती है। मॉडल चयन एक बार का निर्णय नहीं है — यह एक निरंतर अनुकूलन समस्या है। नए मॉडल लगातार रिलीज होते हैं, आपके उपयोग के मामले विकसित होते हैं, और प्रदर्शन उन तरीकों से गिरावट आती है जो चुपचाप विफल हो जाते हैं। आपको पता नहीं चलेगा कि आपके ग्राहक सेवा बॉट