साक्षात्कार

Propensity Labs के सह-संस्थापक और सीईओ राहुल नांबियार – साक्षात्कार शृंखला

Antoine Tardif
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
मुख्य बिंदुप्रॉम्प्ट को एक सस्ते मॉडल के अनुकूल बनाने से वह 7% लागत पर एक प्रीमियम मॉडल के बराबर…
और देखें
  • प्रॉम्प्ट को एक सस्ते मॉडल के अनुकूल बनाने से वह 7% लागत पर एक प्रीमियम मॉडल के बराबर हो सका।
  • सस्ते मॉडल अक्सर अपर्याप्त मूल क्षमता के बजाय सुधारने योग्य व्यवहारिक पैटर्न के कारण विफल होते हैं।
  • टीमों को केवल प्रति टोकन लागत के बजाय प्रति सफलतापूर्वक पूर्ण किए गए कार्य की लागत मापनी चाहिए।

राहुल नांबियार Propensity Labs के सह-संस्थापक और सीईओ हैं। इससे पहले, AWS में बड़े पैमाने का बुनियादी ढाँचा विकसित करने के बाद वे Meta से जुड़े, जहाँ उन्होंने मशीन लर्निंग वर्गीकरण का उपयोग करके एक्साबाइट-स्तरीय उपयोगकर्ता डेटा-सूची पर काम का नेतृत्व किया। अब उनका काम यह समझने पर केंद्रित है कि AI मॉडल कैसे व्यवहार करते हैं, और एजेंट-आधारित कार्यप्रवाहों की लागत घटाने तथा उनकी विश्वसनीयता बढ़ाने के लिए मॉडल रूटिंग को निर्देशों के अनुकूलन के साथ जोड़ने पर।

Propensity Labs ऐसी प्रणालियाँ विकसित करती है जो टीमों को अपने विशिष्ट कार्यभार के लिए AI मॉडल चुनने और निर्देशित करने में मदद करती हैं। इसका तरीका मॉडल के व्यवहार का मूल्यांकन करने, प्रॉम्प्ट को स्वचालित रूप से अनुकूलित करने और मॉडलों के बीच रूटिंग करने को जोड़ता है। इसका उद्देश्य उपयोगकर्ताओं को उपलब्ध मॉडलों से अधिक लाभ उठाने में मदद करना है, ताकि उन्हें हर मॉडल का विशेषज्ञ बनने की ज़रूरत न पड़े।

आपका करियर Meta से शुरू होकर—जहाँ आपने एक्साबाइट-स्तरीय डेटा-सूची परियोजना में गोपनीयता तकनीक पर काम का नेतृत्व किया—AWS और फिर Propensity Labs के सीईओ बनने तक पहुँचा है। इस तकनीकी पृष्ठभूमि ने मौजूदा AI मॉडलों की सीमाओं और विशेष निर्देश-रूटिंग की संभावनाओं के बारे में आपके नज़रिए को किस तरह आकार दिया है?

मैंने वास्तव में AWS से शुरुआत की और फिर Meta चला गया। बड़े पैमाने की प्रणालियाँ बनाते हुए मैंने सीखा है कि अक्सर उनके बुनियादी घटक कैसे व्यवहार करते हैं, यह समझकर और उन्हें बेहतर बनाकर बड़े लाभ हासिल किए जा सकते हैं—बजाय इसके कि उन्हें ऐसे ब्लैक बॉक्स माना जाए जिन्हें एक-दूसरे की जगह इस्तेमाल किया जा सकता है। यही बात AI मॉडलों पर भी लागू होती है। हमने पाया है कि बहुत सक्षम मॉडलों के व्यवहार में भी कुछ ऐसी खासियतें होती हैं जिन्हें समझकर उनसे निपटा जा सकता है, और इससे प्रदर्शन तथा लागत में अक्सर आश्चर्यजनक रूप से बड़े सुधार होते हैं।

अपने हालिया प्रयोग में आपने दिखाया कि रूटिंग के ज़रिए चुने गए छोटे मॉडल, प्रीमियम मॉडलों से बहुत कम लागत पर बेहतर प्रदर्शन कर सकते हैं। उत्पादन परिवेश में इस तरह की मॉडल रूटिंग लागू करने और किसी बेंचमार्क परीक्षण में इसे लागू करने के बीच इंजीनियरिंग की मुख्य चुनौतियाँ क्या हैं?

प्रॉम्प्ट को Luna और उसकी कमज़ोरियों के अनुरूप ढालकर हम Sierra के जटिल Tau3 एजेंट-आधारित बेंचमार्क में उससे, लागत के केवल 7% पर, Sol के बराबर प्रदर्शन करवा पाए। अनुकूलित Luna और Sol के बीच रूटिंग से हम Astra के प्रदर्शन के बराबर पहुँच पाए—और इसकी लागत उसके खर्च का केवल 16% थी।

हमारे लिए एक बड़ी सीख यह थी कि रूटिंग और प्रॉम्प्ट का अनुकूलन, दोनों ही किसी विशिष्ट कार्यभार के अनुरूप होने चाहिए। बेंचमार्क में व्यवस्थित परिवेश और मूल्यांकनकर्ता होते हैं, जिनकी मदद से आप किसी भी दिए गए कार्य में मॉडल के प्रदर्शन का अध्ययन कर सकते हैं और यह जाँच सकते हैं कि उसने कितना अच्छा काम किया। इससे यह तय करने में मदद मिलती है कि प्रॉम्प्ट को मॉडल के अनुरूप कैसे ढालना है और किस स्थिति में किस मॉडल की ओर रूट करना है।

उत्पादन कार्यप्रवाह इतने व्यवस्थित रूप में नहीं मिलते। आपके पास मॉडल के कार्य पूरे करने के रिकॉर्ड होते हैं, लेकिन यह जानने का कोई विश्वसनीय तरीका नहीं होता कि वे वास्तव में सफल हुए या नहीं, और अच्छे परिणाम किसे माना जाए। हमने सीखा है कि मौजूदा उपयोग डेटा—चाहे वह मूल्यांकन से आया हो या उत्पादन के रिकॉर्ड से—लेकर मूल्यांकन की ऐसी व्यवस्था फिर से बनाई जाए, जिससे एक ही कार्यभार पर अलग-अलग मॉडलों और अनुकूलनों को परखा जा सके।

दिलचस्प बात यह है कि रूटिंग और अनुकूलन पर साथ-साथ विचार करना ज़रूरी है। हो सकता है कि कोई सस्ता मॉडल आपके मौजूदा प्रॉम्प्ट के साथ किसी कार्य में विफल हो जाए, लेकिन उसके व्यवहार के अनुरूप प्रॉम्प्ट ढालने के बाद सफल हो जाए। इससे यह बदल जाता है कि शुरुआत में आपको किस मॉडल की ओर रूट करना चाहिए।

आपने निर्देशों को विशिष्ट मॉडलों के अनुरूप ढालने की बात कही। आप यह कैसे तय करते हैं कि कौन-से निर्देश सभी मॉडलों पर लागू होते हैं और किन्हें किसी खास मॉडल संरचना की खूबियों और कमज़ोरियों के अनुसार अलग से ढालना ज़रूरी है?

कई ऐसे निर्देश, जो सभी मॉडलों पर लागू होते हुए लगते हैं, वास्तव में मॉडल के अनुसार ढालने पड़ते हैं। इसका एक सरल उदाहरण है—एक ही संवाद-चक्र वाले जवाबों में मनगढ़ंत जानकारी देना। हमने यहाँ दो अलग-अलग मॉडलों का अध्ययन किया: DeepSeek V4 Pro और GPT-6 Luna। जब उन्हें किसी सवाल का जवाब नहीं पता होता, तो दोनों के गलत बातें गढ़ने की प्रबल प्रवृत्ति होती है। उनके प्रशिक्षण की कोई बात उन्हें जवाब देने से इनकार करने और “मुझे नहीं पता” कहने में बहुत हिचकिचाती बनाती है। यह व्यवहार दोनों में मिलता-जुलता है, लेकिन प्रॉम्प्ट के ज़रिए इसे कम करने के तरीके काफ़ी अलग हैं।

DeepSeek V4 Pro को “मुझे नहीं पता कहना ठीक है” के कई अलग-अलग रूप देकर, Claude मॉडलों के बराबर स्तर तक जवाब देने से रोका जा सकता है। यही तरकीब Luna पर बहुत कम असर करती है। Luna को गलत जवाब देने पर अंक काटने का निर्देश देने से सबसे अच्छा नतीजा मिलता है। उदाहरण के लिए, “गलत जवाब पर -90 अंक मिलेंगे, जबकि सही जवाब पर केवल +10 अंक मिलेंगे” कहने से वह अपने बड़े भाई Sol की तरह ही जवाब देने से रुक जाती है। व्यवहार एक जैसा है, लेकिन दोनों मॉडलों को इससे दूर करने के तरीके बहुत अलग हैं। किसी खास मॉडल के अनुरूप निर्देश ढालने के लिए, आपको मॉडल और उस कार्यप्रवाह—दोनों को गहराई से समझना होगा जिसमें उसे इस्तेमाल किया जाता है।

जब कंपनियाँ एजेंट-आधारित कार्यप्रवाहों की ओर बढ़ रही हैं, तो आपको क्या संकेत दिखते हैं कि सस्ते, विशिष्ट मॉडलों के बीच रूटिंग करना, हर काम संभालने में सक्षम किसी एक लगातार अधिक शक्तिशाली होते अग्रणी मॉडल की प्रतीक्षा करने से ज़्यादा टिकाऊ रणनीति है?

लगभग हर हफ्ते एक नया अग्रणी मॉडल सामने आता है। मान लीजिए कि आप इस समय अपने पूरे कार्यप्रवाह के लिए सबसे बड़ा और सबसे अच्छा मॉडल चुनते हैं। कुछ महीनों में, या शायद कुछ ही हफ्तों में, संभव है कि ऐसे छोटे मॉडल उपलब्ध हो जाएँ जो आपके कार्यप्रवाह के बड़े हिस्से—या शायद पूरे कार्यप्रवाह—को संभाल सकें। साथ ही, संभव है कि आपके कार्यप्रवाह में बेहतर प्रदर्शन करने वाले और बड़े या अधिक विशिष्ट मॉडल भी उपलब्ध हों। मॉडलों के बीच बदलाव या रूटिंग न करके, आप प्रदर्शन और लागत—दोनों के मामले में संभावित लाभ छोड़ रहे हैं।

लेकिन इन सबके साथ तालमेल बनाए रखना झंझट भरा है, और लोगों को अलग-अलग मॉडलों का विशेषज्ञ बनने की ज़रूरत नहीं होनी चाहिए। हमारा मानना है कि हम यह सुनिश्चित करके मदद कर सकते हैं कि आपको अपने वर्कलोड के लिए मनचाहा प्रदर्शन सबसे कम लागत पर देने वाला सर्वोत्तम मॉडल हमेशा मिले। कभी-कभी इसका मतलब होता है कि अपने वर्कलोड के कुछ हिस्सों के लिए उपलब्ध सबसे सक्षम मॉडल चुन लिया जाए, तो कभी इसका अर्थ होता है कि आपके वर्कलोड के अधिकांश हिस्से को इस तरह अनुकूलित किया जाए कि उसे कहीं सस्ते मॉडलों से संभाला जा सके।

कई मॉडलों के बीच काम बाँटने वाली प्रणाली का प्रबंधन करते समय, आप डेटा की एकरूपता और गोपनीयता कैसे बनाए रखते हैं—खासकर तब, जब उन कामों में संवेदनशील जानकारी शामिल हो?

हम उपयोगकर्ताओं और मॉडल प्रदाताओं के बीच एक परत के रूप में काम करते हैं। उपयोगकर्ता चुनते हैं कि वे किन प्रदाताओं का इस्तेमाल करना चाहते हैं और अपनी API कुंजियाँ स्वयं उपलब्ध कराते हैं। हम इन प्रदाताओं के मॉडलों में से उनके पूरे वर्कलोड या उसके किसी हिस्से के लिए सबसे उपयुक्त मॉडल चुनते हैं, उनके वर्कलोड को अनुकूलित करते हैं और उसे सही मॉडलों तक भेजते हैं। हम केवल उन्हीं मूल्यांकनों या ट्रेस का इस्तेमाल करते हैं जिन्हें ग्राहक साझा करना चुनते हैं, और न तो उनके डेटा पर प्रशिक्षण लेते हैं, न ही उसे अपने पास रखते हैं।

आपने Mana Azarm के साथ Propensity Labs की सह-स्थापना की। मॉडल के व्यवहार पर केंद्रित शोध और इन एजेंट-आधारित पाइपलाइनों के निर्माण से जुड़े व्यावहारिक सिस्टम इंजीनियरिंग के बीच आप अपने काम का बँटवारा कैसे करते हैं?

इस मामले में हमारी क्षमताएँ एक-दूसरे की अच्छी पूरक हैं। Mana, जो हमारी मुख्य वैज्ञानिक होने के साथ-साथ प्रोफेसर भी हैं, मॉडल के व्यवहार से जुड़े पहलुओं पर अधिक ध्यान देती हैं, जबकि मैं सिस्टम इंजीनियरिंग पर ध्यान देता हूँ। या यूँ कहें कि हम चाहते हैं कि काम का बँटवारा ऐसा हो। हकीकत ज़्यादा उलझी हुई है और अंततः हम दोनों उसी समस्या पर काम करने लगते हैं जो उस समय सबसे बड़ी अड़चन होती है।

जो CTO फिलहाल प्रीमियम मॉडल API कॉल पर भारी खर्च कर रहे हैं, उनके मौजूदा वर्कफ़्लो में मॉडल रूटिंग और निर्देशों के अनुकूलन को परखने का सबसे आसान शुरुआती तरीका क्या है?

आइए, हमसे बात कीजिए! लेकिन सच कहूँ तो, मैं बस यही आज़माने को कहूँगा कि नवीनतम पीढ़ी के किसी छोटे मॉडल को अपने खास वर्कलोड पर चलाकर देखें कि वह क्या-क्या संभाल सकता है। मुझे लगता है कि बहुत से लोग पिछली पीढ़ियों के बड़े मॉडलों पर ही अटके हुए हैं और मॉडल जिस तेज़ी से बेहतर हो रहे हैं, उसके बावजूद उन्हें यह एहसास नहीं हुआ है कि हाल ही में ऐसे छोटे और सस्ते विकल्प आए हैं जो उनका वर्कलोड संभाल सकते हैं।

उचित सीमाएँ तय करने या सही मार्गदर्शन देने पर सस्ते मॉडल क्या कर सकते हैं, इसे लेकर डेवलपर्स की सबसे आम गलतफहमियाँ क्या हैं?

सबसे आम गलतफहमी यह है कि जब कोई सस्ता मॉडल नाकाम होता है, तो उसमें बस पर्याप्त क्षमता नहीं होती। मुझे लगता है कि अपने वर्कफ़्लो में यह गहराई से समझना फ़ायदेमंद है कि सस्ता मॉडल कहाँ और कैसे नाकाम होता है। इन नाकामियों का एक हिस्सा उन प्रवृत्तियों से जुड़ा होता है जिनमें मॉडल अक्सर फँस जाता है; अगर उन्हें पहचानकर मॉडल को उनसे दूर रहने के लिए प्रेरित किया जाए, तो वह आपके वर्कफ़्लो में सफल हो सकता है। नाकामियों का दूसरा हिस्सा ऐसे कामों से जुड़ा होता है जिन्हें सही ढंग से करने की बुनियादी क्षमता सस्ते मॉडल में नहीं होती—ऐसे में आपको बड़े मॉडल की ज़रूरत होती है।

आपका काम गोपनीयता, बड़े पैमाने पर संचालन और लागत—इन तीनों के मेल से जुड़ा है। AI इंफ्रास्ट्रक्चर के अगले 12-18 महीनों के विकास को देखते हुए, कारोबारों की ज़रूरतों और मौजूदा टूल इकोसिस्टम की क्षमताओं के बीच सबसे बड़ा अंतर आपको कहाँ दिखता है?

प्रोडक्शन में मॉडल तैनात करने वाले विशेषज्ञों से बात करने पर मुझे अक्सर नए मॉडलों और उनकी बढ़ती क्षमताओं के साथ तालमेल बनाए रखने को लेकर छूट जाने का डर (FOMO) और कुछ हद तक थकान दिखाई देती है। ज़्यादातर तकनीकों का इस्तेमाल करना और उन्हें तैनात करना समय के साथ आसान होता जाता है। लेकिन LLMs का इस्तेमाल कठिन हो गया है: चुनने के लिए ढेरों मॉडल और सेटिंग्स हैं—जैसे तापमान, तर्क-प्रयास और कैशिंग। मेरा मानना है कि मॉडल इस्तेमाल करने वाली टीमों के लिए इनकी जटिलता को सरल बनाना और इन बारीकियों को उनसे दूर रखना बहुत फ़ायदेमंद है, ताकि वे इस पर ध्यान दे सकें कि मॉडल से उन्हें क्या काम लेना है, न कि यह सोचने पर कि वह काम कैसे करवाना है।

जब कोई तकनीकी टीम कई मॉडलों के बीच रूटिंग के प्रयोग शुरू करती है, तो उसे किन मापदंडों को प्राथमिकता देनी चाहिए, ताकि भरोसेमंद होने की कीमत पर सिर्फ़ लागत घटाने की कोशिश न हो?

मैं काम की सफलता दर, विफलता दर, विलंबता और सफलतापूर्वक पूरे किए गए हर काम की लागत से शुरुआत करूँगा। सिर्फ़ प्रति टोकन लागत का कोई खास मतलब नहीं, अगर सस्ता मॉडल ज़्यादा बार विफल होता हो। इसलिए किसी काम की कुल लागत गिननी चाहिए—इसमें दोबारा किए गए प्रयास और रूटिंग के लिए इस्तेमाल किए गए कोई भी वर्गीकारक या निर्णय लेने वाले मॉडल शामिल हैं।

मुश्किल काम विश्वसनीयता को मापना है। हमने एक आम स्थिति देखी है: टीमें अपने एजेंट को एक मॉडल से दूसरे मॉडल पर ले जाने में जूझती हैं, कुछ महीनों तक मूल्यांकनों पर पूरा ज़ोर देती हैं और फिर पाती हैं कि मॉडल बदलने की प्रक्रिया बहुत आसान हो गई है। मैं पुरज़ोर सलाह दूँगा कि आप जितनी जल्दी हो सके, अपने वर्कफ़्लो के लिए ठोस मूल्यांकन प्रणालियों में निवेश करें और उन्हें अद्यतन रखें, क्योंकि आपके वर्कफ़्लो और उपयोगकर्ताओं के उन्हें इस्तेमाल करने के तरीके बदलते रहते हैं।

इस बेहतरीन बातचीत के लिए धन्यवाद। जो पाठक अधिक विश्वसनीय और किफ़ायती AI वर्कफ़्लो के लिए मॉडल रूटिंग, निर्देशों के अनुकूलन और मूल्यांकन के तरीकों के बारे में जानना चाहते हैं, वे Propensity Labs पर जाएँ।

एंटोनी एक दूरदर्शी नेता और Unite.AI के संस्थापक भागीदार हैं। एआई और रोबोटिक्स के भविष्य को आकार देने और आगे बढ़ाने के प्रति उनका जुनून अटूट है। कई उद्यम शुरू कर चुके एंटोनी का मानना है कि एआई समाज में बिजली जितना ही बड़ा बदलाव लाएगा। वे अक्सर परिवर्तनकारी प्रौद्योगिकियों और एजीआई की संभावनाओं के बारे में उत्साह से बात करते हैं।

एक भविष्यविद् के रूप में, वे यह जानने के लिए समर्पित हैं कि ये नवाचार हमारी दुनिया को कैसे आकार देंगे। वे Securities.io के संस्थापक भी हैं। यह मंच उन अत्याधुनिक प्रौद्योगिकियों में निवेश पर केंद्रित है जो भविष्य को नई परिभाषा दे रही हैं और पूरे क्षेत्रों का स्वरूप बदल रही हैं।