Vin Sharma, Vijil के सह-संस्थापक और CEO – साक्षात्कार शृंखला

Vin Sharma Vijil के सह-संस्थापक और CEO हैं। उन्हें साइबर सुरक्षा, ओपन सोर्स, क्लाउड कंप्यूटिंग और AI इंफ्रास्ट्रक्चर के क्षेत्र में 30 से अधिक वर्षों का अनुभव है। कंपनी की स्थापना से पहले, उन्होंने AWS में Amazon SageMaker और Amazon Bedrock के लिए डीप-लर्निंग इंजीनियरिंग के काम का नेतृत्व किया, Intel में डेटा सेंटर इंफ्रास्ट्रक्चर विकसित किया और Hewlett-Packard में उत्पाद तथा इंजीनियरिंग से जुड़ी भूमिकाएँ निभाईं। उनके करियर की शुरुआत विश्वसनीय UNIX सिस्टम के लिए स्वचालित रेड-टीम परीक्षण से हुई थी। यही अनुभव उन्हें उद्यमों में इस्तेमाल होने वाले AI एजेंटों को भरोसेमंद, सुरक्षित और संरक्षित बनाने पर ध्यान केंद्रित करने की प्रेरणा देता है।

Vijil उद्यमों के AI एजेंटों के लिए भरोसे का इंफ्रास्ट्रक्चर उपलब्ध कराती है। इससे संगठनों को एजेंट के पूरे जीवनचक्र में उसके व्यवहार का आकलन करने, नियंत्रण लागू करने और उसकी लचीलापन क्षमता बढ़ाने में मदद मिलती है। इसका तरीका परीक्षण, सुरक्षा और लगातार मिलने वाली प्रतिक्रिया को जोड़ता है, ताकि एजेंट का व्यवहार संगठन के निर्धारित उद्देश्य और नीतियों के अनुरूप हो। इस साक्षात्कार में Sharma बताते हैं कि भरोसे को कैसे परिभाषित और मापा जाए, एजेंटों का परीक्षण पारंपरिक सॉफ़्टवेयर सुरक्षा से किस तरह अलग है और एजेंटों को अधिक स्वायत्तता मिलने के साथ उद्यमों को किस तरह की निगरानी की ज़रूरत होगी।

आपने Vijil की स्थापना से पहले AWS, Intel और Hewlett-Packard समेत कई कंपनियों में 30 से अधिक वर्षों तक काम किया। आखिर किस बात ने आपको यक़ीन दिलाया कि AI पर भरोसा और उसकी सुरक्षा इतनी बड़ी अनसुलझी समस्या है कि इसके लिए एक कंपनी बनाई जानी चाहिए?

30 साल पहले एक सुरक्षा स्टार्टअप से जुड़ने से पहले, मैं स्नातकोत्तर की पढ़ाई के दौरान AI और मशीन लर्निंग का अध्ययन कर रहा था। तब से मैंने ऐसी उत्पाद टीमों के साथ काम किया है जिन्होंने Unix और Linux पर आधारित ऑपरेटिंग सिस्टम में सैन्य-स्तर की सुरक्षा जोड़ी; ऑनलाइन बैंकिंग के लिए सुरक्षित वेब सर्वर बनाए; क्लाउड कंप्यूटिंग के लिए विश्वसनीय निष्पादन परिवेश तैयार किए; डेटा विश्लेषण प्लेटफ़ॉर्म में एन्क्रिप्शन शामिल किया; और हाल ही में, एक पूरा चक्र तय करके AWS में उद्यमों के लिए तैयार AI/ML सेवाएँ बनाने के काम पर लौट आया। इस सफ़र ने मुझे यह विश्वास दिलाया कि किसी बुद्धिमान प्रणाली में भरोसा पैदा करना, खुद बुद्धिमान प्रणाली बनाने से अधिक चुनौतीपूर्ण है। AI उद्योग व्यापक रूप से एजेंटों की क्षमताएँ बढ़ाने के लिए प्रतिबद्ध दिखता है, लेकिन मेरा मानना है कि हमें एजेंटों में ऐसे निगरानी और नियंत्रण तंत्र बनाने के लिए भी उतने ही संसाधन लगाने चाहिए जिन्हें बड़े पैमाने पर लागू किया जा सके। खास संगठनों की ज़रूरतों के अनुरूप इन मापदंडों और तंत्रों के बिना, शुरुआती उत्साहपूर्ण अपनाने की लहर जोखिम और निवेश पर प्रतिफल (ROI) की बाधाओं पर दम तोड़ देगी, क्योंकि व्यवसाय यह साबित नहीं कर पाएँगे कि उनके एजेंट उनके हित में काम कर रहे हैं।

Vijil इस विचार पर आधारित है कि कई AI एजेंट उत्पादन में इस्तेमाल होने के चरण तक नहीं पहुँच पाते, क्योंकि उद्यम उनकी विश्वसनीयता, सुरक्षा और संरक्षा की पर्याप्त जाँच नहीं कर सकते। जब कंपनियाँ AI के शुरुआती नमूनों से उत्पादन में तैनाती की ओर बढ़ रही हैं, तो भरोसे से जुड़ी सबसे बड़ी कमियाँ आपको कहाँ दिखाई दे रही हैं?

अधिक स्वायत्तता वाले एजेंटों को बड़े पैमाने पर तैनात करने में सबसे बड़ी बाधा यह है कि क्या संगठन अपने एजेंटों के अपेक्षित व्यवहार को स्पष्ट रूप से बता सकते हैं और जाँच सकते हैं कि एजेंट उसी के अनुसार काम कर रहे हैं या नहीं। इतना ही नहीं—उन्हें यह काम एजेंटों की कार्य-गति और पैमाने के अनुरूप करना होगा। ऐसे में यह तर्कसंगत है कि एजेंटों को दूसरे एजेंटों के व्यवहार को मापने और उसमें बदलाव करने का तरीका चाहिए। दो सबसे बड़ी कमियाँ हैं: यह जानना कि क्या मापना है (एजेंटों के संदर्भ में अच्छे व्यवहार का अर्थ क्या है) और यह जानना कि किसमें बदलाव करना है (एजेंट प्रणाली के किन घटकों को समायोजित किया जाए, ताकि उसके संचालक का इच्छित व्यवहार सामने आए: मॉडल और उसके पैरामीटर, सिस्टम प्रॉम्प्ट, उपयोगकर्ता के निर्देश, एजेंट हार्नेस या बहु-एजेंट प्रणालियों का ग्राफ)।

Vijil AI एजेंट में “भरोसे” को किस तरह परिभाषित और मापती है? और यह तय करते समय कि कोई एजेंट उद्यम के परिवेश में काम करने के लिए तैयार है या नहीं, कौन-से संकेतक या मानक सबसे अधिक मायने रखते हैं?

हम भरोसे को इस रूप में परिभाषित करते हैं: किसी स्वायत्त एजेंट को काम सौंपने से मिलने वाला अपेक्षित लाभ, हमारे इरादे के साथ उसके विश्वासघात के जोखिम के हिसाब से घटाया हुआ। इसका अर्थ है कि किसी एजेंट पर तब भरोसा किया जा सकता है, जब वह सामान्य, शोरयुक्त और प्रतिकूल परिस्थितियों में सही व्यवहार करे और विफल होने पर नुकसान के दायरे को न्यूनतम रखे। इसके बाद हम तीन आधारों पर भरोसे को माप सकते हैं: विश्वसनीयता, सुरक्षा और संरक्षा। एजेंट तब विश्वसनीय होते हैं, जब वे अलग-अलग परिस्थितियों में अपेक्षा के अनुरूप काम करते हैं; वे तब सुरक्षित होते हैं, जब प्रतिकूल परिस्थितियों में भी अपेक्षा के अनुरूप काम करते हैं; और वे तब संरक्षित होते हैं, जब वे कारोबारी, कानूनी और तकनीकी जोखिमों को न्यूनतम रख सकते हैं।

AI एजेंट मॉडल, टूल, डेटा स्रोत, मेमोरी और बाहरी प्रणालियों को जोड़ते हैं, इसलिए उनका व्यवहार अप्रत्याशित हो सकता है। किसी एजेंट का परीक्षण पारंपरिक एप्लिकेशन सुरक्षा परीक्षण या सामान्य मॉडल मूल्यांकन से किस तरह अलग है?

पारंपरिक सॉफ़्टवेयर उन तरीकों से विफल होता है जिन्हें अब अच्छी तरह समझा जा चुका है: मोटे तौर पर, इसमें अमान्य इनपुट सँभालने में असमर्थता, लॉजिक और सिस्टम डिज़ाइन की कमज़ोरियाँ, कार्यान्वयन में बग, हमलों के प्रति छिपी कमज़ोरियाँ और आउटपुट के अनपेक्षित दुष्प्रभाव शामिल हैं। इन विफलताओं का परीक्षण करना अपेक्षाकृत पूर्वानुमेय है। एजेंट विफलता के संभावित दायरे को बहुत व्यापक बना देते हैं—इतना कि मॉडल मूल्यांकन, यूनिट टेस्ट, इंटीग्रेशन टेस्ट, एप्लिकेशन सुरक्षा परीक्षण, पैठ परीक्षण और अनुपालन जाँच से उस दायरे का व्यवस्थित मूल्यांकन करना संभव नहीं रह जाता। एजेंटों के जोखिम के इस नए दायरे का परीक्षण करने के लिए हमें ऐसे नए मापदंडों और तंत्रों की ज़रूरत है जो एजेंट के व्यवहार का आकलन उसके संचालक द्वारा तय किए गए उद्देश्य, उसके उपयोगकर्ताओं की भूमिकाओं और उस संगठन, उद्योग तथा क्षेत्र की नीतियों के संदर्भ में करें जहाँ वह काम करता है।

आपकी पृष्ठभूमि में Amazon SageMaker और Amazon Bedrock के लिए डीप-लर्निंग इंजीनियरिंग प्रयासों का नेतृत्व करना शामिल है। AWS में AI अवसंरचना बनाने से मिले किन सबकों ने Vijil में एजेंट की सुरक्षा और विश्वसनीयता को लेकर आपके दृष्टिकोण को सबसे अधिक प्रभावित किया है?

सबसे अधिक दिशा देने वाली सीख यह थी कि सेवा के विकास चक्र के शुरुआती चरण में उसकी विश्वसनीयता, सुरक्षा और अनुपालन से जुड़ी खामियों का पता लगाना, लॉन्च की पूर्व संध्या पर—जैसा कि पहले आम तौर पर होता था—या इससे भी बुरा, सेवा के चालू हो जाने के बाद उनका पता लगाने की तुलना में कहीं अधिक प्रभावी और कुशल था। बाद की स्थिति में, सेवा में गड़बड़ी की सूचना देने वाले फ़ोन कॉल से हमारी नींद खुलती थी।

Vijil का ध्यान केवल तैनाती से पहले एजेंटों की जाँच करने पर ही नहीं, बल्कि उत्पादन परिवेश में उनकी सुरक्षा करने और उन्हें लगातार बेहतर बनाने पर भी है। जब कोई एजेंट वास्तविक उपयोगकर्ताओं, डेटा और एंटरप्राइज़ प्रणालियों के साथ बातचीत शुरू करता है, तो किस तरह के जोखिम सामने आते हैं जो इससे पहले दिखाई नहीं देते?

वास्तविक दुनिया में हमें अनगिनत तरीकों से चौंकाने की क्षमता है। और जो एजेंट चौंक जाता है, उससे गलतियाँ होने की आशंका अधिक होती है। मीम बनाते समय किसी एजेंट से गलती हो जाए, तो किसी को इसकी चिंता नहीं होती। लेकिन अगर किसी एजेंट को वित्तीय सलाहकार, कानूनी सहायक, वकील, नर्स, डॉक्टर, मरीज़ या ऐसे किसी भी उद्योग के पेशेवर की मदद करने या उसकी जगह लेने के लिए बनाया गया हो जहाँ न्यासीय दायित्वों के अनुरूप व्यवहार का प्रमाण देना ज़रूरी है, तो वह तभी काम कर सकता है जब उसकी सहनशीलता की सीमाएँ स्पष्ट रूप से तय हों, उन पर सावधानीपूर्वक निगरानी रखी जाए और उसके व्यवहार को तेज़ी से ठीक किया जाए।

जैसे-जैसे एंटरप्राइज़ ऐसे अधिक स्वायत्त एजेंट तैनात कर रहे हैं जो केवल जवाब तैयार करने के बजाय कार्रवाई भी कर सकते हैं, सुरक्षा मॉडल को किस तरह विकसित होना चाहिए? क्या अनुमतियों, पहचान और पहुँच नियंत्रण जैसी पारंपरिक अवधारणाएँ पर्याप्त हैं?

नहीं। जैसे-जैसे एजेंट किसी संगठन में सक्रिय भूमिका निभाने लगते हैं, उन्हें ऐसी विशिष्ट पहचान देनी होगी जिसकी पुष्टि की जा सके। उन्हें ऐसी भूमिकाएँ सौंपनी होंगी जो उनके व्यवहार के साथ-साथ उनके कार्यात्मक घटकों—यानी संसाधनों तक पहुँच की अनुमति वाले टूल—को भी अनिवार्य पहुँच-नियंत्रण नीतियों के ज़रिए बाँधें। उनके इच्छित उद्देश्य से भटकाव पर लगातार नज़र रखनी होगी और हमलों के बीच भी उनकी मज़बूती बनाए रखने के लिए उन्हें सही दिशा देनी होगी।

आपने लगभग 20 सदस्यों की संस्थापक टीम बनाई और वार्षिक आवर्ती राजस्व में अपना पहला $1 million हासिल किया। इस दौरान Vijil ने $6 million के सीड राउंड से $17 million की सीरीज़ A तक का सफ़र तय किया। शुरुआती तकनीकी विचार से व्यावसायिक स्वीकृति तक पहुँचने में कौन-से फ़ैसले सबसे अहम रहे?

शुरुआत में ही हमने भरोसे की एक ऐसी परत बनाने का फ़ैसला किया जो ग्राहक के चुने हुए प्लेटफ़ॉर्म के साथ एकीकृत हो। साथ ही, हमने अनुमान लगाया कि एंटरप्राइज़ खुले मॉडलों का इस्तेमाल करने वाली बहु-एजेंट प्रणालियों पर अधिक अनुकूलन, अधिक बारीक नियंत्रण और कम लागत चाहेंगे। किसी एक उत्पाद के बजाय प्लेटफ़ॉर्म की परत बनाने की दीर्घकालिक रणनीति हमें तुलनात्मक लाभ देती है, लेकिन इससे ऐसी चुनौतीपूर्ण स्थिति भी बनती है जिसमें बड़े पैमाने पर एजेंटों के प्रशासन के लिए तैयार एंटरप्राइज़ ढूँढ़ना, किसी सेवा को बिना बदलाव के नए परिवेश में स्थानांतरित करने की पेशकश बेचने जितना आसान नहीं है।

आपने 1995 में विश्वसनीय UNIX प्रणालियों के लिए स्वचालित रेड-टीम परीक्षण विकसित करके अपना करियर शुरू किया। लगभग तीन दशक बाद, जब परीक्षणाधीन प्रणाली तर्क करने, परिस्थितियों के अनुसार ढलने और बाहरी टूल इस्तेमाल करने में सक्षम AI एजेंट हो, तो रेड-टीमिंग के सिद्धांत किस तरह बदल गए हैं?

ऐतिहासिक रूप से, रेड टीमिंग का अर्थ था किसी संगठन की सुरक्षा व्यवस्था को एक समन्वित हमले के विरुद्ध परखना। इसके मूल सिद्धांत आज भी लागू होते हैं। जिस संगठन की जाँच की जा रही हो, उसकी कमज़ोरियों का पता लगाने के लिए हमें अब भी नियंत्रित परिस्थितियों में हमलों का समन्वय करना होता है। लेकिन इतिहास के उस दौर में, जब सॉफ़्टवेयर प्रणालियों को परखने के लिए रेड-टीम अभ्यासों की पटकथा पहले से तय की जाती थी, अब ऐसे अभ्यास पर्याप्त नहीं हैं—AI एजेंट नियतात्मक सॉफ़्टवेयर जैसे नहीं होते। उन्हें अपने परिवेश के अनुसार ढलने के लिए बनाया जाता है, इसलिए एक ही हमले को दोबारा चलाने पर हर बार अनुमानित नतीजा नहीं मिलता। मेरा तर्क है कि एजेंटों के साथ निगमों जैसा व्यवहार किया जाना चाहिए। इसलिए एजेंटों की रेड-टीम जाँच में उनके उद्देश्य के अनुसार ढलना, यह परखना कि वे अपने उपयोगकर्ताओं के इरादे से कितने भटकते हैं, और यह देखना भी ज़रूरी है कि वे अपने परिवेश की नीतियों से बचने के लिए कितने इच्छुक और सक्षम हैं।

आगे चलकर, क्या आपको लगता है कि एंटरप्राइज़ में AI एजेंट तैनात करने के लिए स्वतंत्र परीक्षण और भरोसे के मापने योग्य मानक अनिवार्य शर्त बन जाएँगे? इस स्तर का भरोसा आम चलन बनाने के लिए पूरे उद्योग को क्या करना होगा?

आज एजेंट बनाने वाली टीमें उनकी क्षमताओं का मूल्यांकन करती हैं, रेड टीमें प्रॉम्प्ट इंजेक्शन और जेलब्रेक के विरुद्ध उनकी प्रतिरोधक क्षमता परखती हैं, और GRC टीमें अभी-अभी यह जाँचना शुरू कर रही हैं कि वे नियमों का पालन करते हैं या नहीं। बहुत कम संगठन ऐसी व्यवहार-सत्यापन व्यवस्था लागू करते हैं जो एजेंट के पूरे जीवनचक्र के दौरान पृष्ठभूमि में लगातार चलती रहे—भले ही मॉडल, टूल, संसाधन, कार्यप्रवाह और लक्षित परिवेश बदलते रहें। इससे भी अहम बात यह है कि Vijil एंटरप्राइज़ को एक विशिष्ट सहायता देता है: वह उत्पादन परिवेश में एजेंट के वास्तविक व्यवहार का उसकी विशिष्टताओं से मिलान करता है और एक ऐसे फ़ीडबैक चक्र के ज़रिए एजेंट को लगातार बेहतर बनाता है। जो एजेंट हमलों के बाद भी टिके रहते हैं, वे अपनी मज़बूती बनाए रखने के लिए परिस्थितियों के अनुसार ढलते हैं।

इस शानदार बातचीत के लिए धन्यवाद। एंटरप्राइज़ AI एजेंटों की जाँच करने, उनकी सुरक्षा करने और उन्हें लगातार बेहतर बनाने के बारे में अधिक जानने के इच्छुक पाठक Vijil की वेबसाइट पर जाएँ।