बो ली, सीईओ, वर्चू एआई – साक्षात्कार श्रृंखला

बो ली, वर्चू एआई के सीईओ, एक प्रमुख शोधकर्ता और उद्यमी हैं जो कृत्रिम बुद्धिमत्ता प्रणालियों की सुरक्षा और सुरक्षा में विशेषज्ञता रखते हैं। वह वर्चू एआई का नेतृत्व करते हुए इलिनोइस विश्वविद्यालय अर्बाना-शैंपेन में प्रोफेसर के रूप में भी कार्य करते हैं, जहां उनका शोध मशीन लर्निंग सुरक्षा, विश्वसनीय एआई और विरोधी मजबूती पर केंद्रित है। उनका करियर अकादमिक और उद्योग दोनों में फैला हुआ है, जिससे उन्हें उन्नत एआई अनुसंधान को व्यावहारिक अनुप्रयोगों में अनुवाद करने में मदद मिलती है जो संगठनों को सुरक्षित और अधिक लचीली एआई प्रौद्योगिकियों का निर्माण करने में मदद करते हैं।

वर्चू एआई एक कंपनी है जो उद्यम वातावरण में उपयोग की जाने वाली एआई प्रणालियों की सुरक्षा और शासन पर केंद्रित है। इसका मंच स्वचालित रेड-टीमिंग, रियल-टाइम गार्डरेल और निरंतर निगरानी जैसी क्षमताएं प्रदान करता है ताकि प्रोम्प्ट इंजेक्शन, हॉलुसिनेशन और डेटा लीक जैसी कमजोरियों की पहचान की जा सके। एआई विकास और तैनाती वर्कफ्लो में सीधे एकीकरण करके, कंपनी संगठनों को बड़े पैमाने पर भाषा मॉडल और एआई-संचालित अनुप्रयोगों के उपयोग को सुरक्षित रूप से बढ़ाने में मदद करती है, साथ ही साथ मजबूत सुरक्षा और शासन मानकों को बनाए रखती है।

आपको शुद्ध अकादमिक करियर से वर्चू एआई की स्थापना और नेतृत्व करने के लिए क्या प्रेरित किया और आप उद्योग में बड़े पैमाने पर किस समस्या को हल करने में विफल देखते थे?

पारंपरिक सुरक्षा उपकरण भविष्यवाणी योग्य अनुप्रयोगों के लिए बनाए गए थे जिनके निश्चित पथ थे। वे सिस्टम के लिए डिज़ाइन नहीं किए गए थे जो तर्कसंगत, अनुकूल और स्वायत्त रूप से कार्य करते हैं। मेरे सह-संस्थापक और मैंने एक अंतर देखा जो मूल एआई सुरक्षा अनुसंधान द्वारा उत्पादित किया गया था और जो उद्यमों के पास वास्तव में उपलब्ध था। अनुसंधान मौजूद था। उत्पादन वास्तविकता नहीं थी। यही हम बदलने के लिए निकले थे।

वर्चू एआई बड़े भाषा मॉडल और स्वायत्त एजेंटों के लिए सुरक्षा, सुरक्षा और अनुपालन पर केंद्रित है। आपको लगता है कि उद्यम आज इनमें से किस क्षेत्र को सबसे अधिक कम आंकते हैं?

उद्यम सभी क्षेत्रों को कुछ हद तक समझते हैं, विशेष रूप से सुरक्षा को लेकर, लेकिन अभी भी एक बड़ा अंतर है।

उद्यमों ने मॉडल सुरक्षा को गंभीरता से लेना शुरू कर दिया है, कम से कम सतही स्तर पर। लेकिन एजेंट एक अलग समस्या हैं। वे उद्यम के सबसे संवेदनशील हिस्सों तक पहुंच प्राप्त कर रहे हैं: कोड निष्पादित करना, एपीआई को कॉल करना, वेब ब्राउज़ करना और डेटा, वित्त और संचालन को छूने वाले श्रृंखलाबद्ध निर्णय लेना। अधिकांश सुरक्षा टीमें इस तरह के सिस्टम के बारे में तर्क करने के लिए तैयार नहीं हैं। उनके पास जो टूलिंग है वह इसके लिए नहीं बनाई गई है।

जोखिम सैद्धांतिक नहीं है। एजेंटिक सिस्टम के लिए विशेष रूप से निर्मित सुरक्षा के बिना, छोटी विफलताएं तेजी से बढ़ सकती हैं। एक अप्रत्याशित टूल कॉल, एक अस्पष्ट निर्देश, एक प्रोम्प्ट जो गार्डरेल से गुजरता है – इनमें से कोई भी अनधिकृत कार्यों या डेटा एक्सपोजर में तेजी से वृद्धि कर सकता है इससे पहले कि कोई गलत होने का एहसास करे।

वर्चू एआई के दृष्टिकोण में निरंतर लाल-टीमिंग केंद्रीय है। उत्पादन में सिस्टम लाइव होने पर किस प्रकार की विफलताएं या जोखिम सामने आते हैं?

अधिकांश गंभीर लोग।

नियंत्रित वातावरण में, आप मॉडल और एजेंटों का परीक्षण कर रहे हैं। उत्पादन में, आप प्रणाली का परीक्षण कर रहे हैं – और वे अलग-अलग चीजें हैं। एक बार जब मॉडल टूल, रिट्रीवल पाइपलाइन, उपयोगकर्ता इनपुट और अन्य एजेंटों से जुड़ जाता है, तो व्यवहार स्थान ऐसे तरीकों से विस्तारित होता है जो पूर्व-तैनाती परीक्षण में कैप्चर नहीं किया जाता है। एक “सुरक्षित रूप से कॉन्फ़िगर किया गया” एजेंट वास्तविक डेटाबेस, नए एमसीपी सर्वर या अन्य एजेंटों से जुड़े होने पर बहुत अलग व्यवहार कर सकता है। प्रणाली गैर-निर्धारित हो जाती है। यह संदर्भ के आधार पर निर्णय लेना शुरू कर देती है जो मूल्यांकन के दौरान मौजूद नहीं था।

यह तब होता है जब आप वास्तव में महत्वपूर्ण विफलताओं का पता लगाते हैं।

आप “एआई सुरक्षा” को व्यावहारिक रूप से कैसे मापते हैं, खासकर जब प्रणालियां फाइन-ट्यूनिंग, रिट्रीवल और टूल के उपयोग के माध्यम से विकसित होती हैं?

व्यावहार में, एआई सुरक्षा को एक एकल स्थिर बेंचमार्क के माध्यम से मापा नहीं जा सकता है क्योंकि आधुनिक एआई प्रणालियां निरंतर फाइन-ट्यूनिंग, रिट्रीवल पूरकता और टूल या एजेंट इंटरैक्शन के माध्यम से विकसित होती हैं। इसके बजाय, सुरक्षा को पूरे एआई अनुप्रयोग के जीवन चक्र में एक प्रणाली स्तर की संपत्ति के रूप में मूल्यांकन किया जाना चाहिए। इसमें विविध लाल-टीमिंग हमलों के साथ मॉडल और एजेंटों का तनाव परीक्षण, प्रोम्प्ट, टूल कॉल और कार्यों जैसे वास्तविक समय व्यवहार की निगरानी, और परिभाषित जोखिम नीतियों (जैसे दुरुपयोग, हॉलुसिनेशन, गोपनीयता रिसाव, या अनधिकृत कार्य) के खिलाफ परिणामों का मूल्यांकन शामिल है।

उदाहरण के लिए, हमारे पुरस्कार विजेता पेपर (नेशनल सिक्योरिटी एजेंसी और न्यूरिप्स में सर्वश्रेष्ठ पेपर), डिकोडिंगट्रस्ट, ने फाउंडेशन मॉडल के लिए व्यापक सुरक्षा और सुरक्षा परीक्षण प्रदान किया है। हमारे डिकोडिंगट्रस्ट-एजेंट प्लेटफॉर्म ने विभिन्न परिवेशों के साथ एक यथार्थवादी एजेंट सिम्युलेटर का निर्माण किया है जो मूल एजेंटों के साथ गतिशील, अनुकूल और निरंतर लाल-टीमिंग परीक्षण करने के लिए मेजबानी करता है।

महत्वपूर्ण रूप से, सुरक्षा माप निरंतर और अनुकूल होना चाहिए, क्योंकि प्रोम्प्ट, रिट्रीवल स्रोतों या टूल में अपडेट नई कमजोरियों को पेश कर सकते हैं। व्यावहार में, इसका अर्थ है सुरक्षा मापने के लिए स्वचालित लाल-टीमिंग, रनटाइम गार्डरेल और दृश्यता को मिलाना, न कि केवल मॉडल प्रतिक्रियाओं को मापना, बल्कि वास्तविक दुनिया में संचालित एआई प्रणाली की सुरक्षा को मापना।

आपके शोध पृष्ठभूमि में मजबूती, गोपनीयता और विरोधी हमले शामिल हैं। इनमें से कौन सा क्षेत्र वास्तविक दुनिया की रक्षा में अनुवाद करने में सबसे कठिन साबित हुआ है?

मजबूती, गोपनीयता और विरोधी हमलों में अनुसंधान को वास्तविक दुनिया की रक्षा में अनुवाद करना वास्तव में बहुत संभव है। वास्तव में, मेरे समूह में कई अनुसंधान दिशाएं व्यावहारिक सुरक्षा चुनौतियों से प्रेरित हैं जो तैनात एआई प्रणालियों में देखी जाती हैं। वास्तविक कठिनाई रक्षा बनाने में नहीं है, बल्कि गतिशील, वास्तविक दुनिया के वातावरण में विश्वसनीय सुरक्षा गारंटी प्रदान करने में है।

अकादमिक अनुसंधान में, हमने प्रमाणित मजबूती और गोपनीयता गारंटी जैसे मजबूत प्रगति की है, लेकिन ये परिणाम आमतौर पर ऐसे धारणाओं पर निर्भर करते हैं जो जटिल उत्पादन प्रणालियों में पूरी तरह से नहीं हो सकते हैं। आधुनिक एआई अनुप्रयोग निरंतर नए डेटा, फाइन-ट्यूनिंग, रिट्रीवल पाइपलाइन और टूल एकीकरण के माध्यम से विकसित होते हैं, जो समय के साथ नई कमजोरियों को पेश कर सकते हैं।

परिणामस्वरूप, प्रभावी एआई सुरक्षा एक बार की सुरक्षा पर निर्भर नहीं रह सकती – यह निरंतर लाल-टीमिंग, जोखिम खोज और अनुकूल गार्डरेल की आवश्यकता है जो प्रणाली के साथ विकसित होती है। यह वर्चू एआई के दर्शन के पीछे है: हमारे लंबे समय से एआई सुरक्षा में अनुसंधान को स्वचालित बड़े पैमाने पर लाल-टीमिंग और वास्तविक समय सुरक्षा के साथ जोड़ना, निरंतर जोखिमों की पहचान करने और रक्षा को अपडेट करने के लिए, वास्तविक दुनिया की एआई प्रणालियों के लिए व्यावहारिक और स्केलेबल सुरक्षा को सक्षम करना।

स्वायत्त एआई एजेंटों को सुरक्षित करना पारंपरिक सॉफ्टवेयर या यहां तक कि चैटबॉट्स की तुलना में मूल रूप से क्या अलग बनाता है?

एजेंट स्थिर कार्यक्रम नहीं हैं। वे पूर्वानुमानित पथों का पालन नहीं करते हैं और वे तैनाती के दौरान आपके द्वारा उनके लिए निर्धारित सीमा के भीतर नहीं रहते हैं।

पारंपरिक सुरक्षा स्थिर निष्पादन पथ, स्थिर एपीआई और निर्धारित व्यवहार को मानती है। स्वायत्त एजेंट इन सभी धारणाओं का उल्लंघन करते हैं। वे अगले क्या करना है इसके बारे में तर्क करते हैं, संदर्भ के आधार पर टूल चुनते हैं और एक ही रन में कई प्रणालियों में प्रभाव पैदा करते हैं।

आप एक प्रोम्प्ट को स्कैन नहीं कर सकते, एक मॉडल को मजबूत नहीं कर सकते या एक एपीआई कॉल की निगरानी नहीं कर सकते और सोचते हैं कि काम हो गया है। आपको एजेंट को एक पूरी प्रणाली के रूप में सुरक्षित करना होगा – इसके तर्क, इसके टूल का उपयोग, इसके वातावरण और जो होता है उसके परिणामस्वरूप।

यह मूल समस्या बिंदु नियंत्रण है जो हल नहीं कर सकते। वे इसके लिए डिज़ाइन नहीं किए गए थे।

मौजूदा सुरक्षा उपकरण एजेंटों को कई प्रणालियों, टूल और डेटा स्रोतों के माध्यम से एक ही समय में कार्य करने की अनुमति देने पर कहां कम पड़ जाते हैं?

वे आपको यह देखने में अंधे बना देते हैं कि एजेंट वास्तव में कैसे संचालित होता है।

अधिकांश टूल स्थिर व्यवहार और स्पष्ट सीमाओं वाले अनुप्रयोगों के लिए बनाए गए थे। वे आपको एक एकल एपीआई कॉल कैसा दिखता है यह बता सकते हैं। वे आपको यह नहीं बता सकते कि एजेंट ने पांच टूल कॉल के माध्यम से तर्क किया और एक परिणाम उत्पन्न किया जो किसी को भी उम्मीद नहीं थी।

दृश्यता अंतर ही समस्या है। यदि आप पूरी कार्रवाई और निर्णय श्रृंखला को नहीं देख सकते हैं, तो आप इसका शासन नहीं कर सकते हैं और事実 के बाद इसका लेखा-जोखा नहीं कर सकते हैं।

वास्तविक समय गार्डरेल निगरानी या लॉगिंग की तुलना में जोखिम को कैसे कम करते हैं?

लॉगिंग आपको बताती है कि क्या गलत हो गया है जब नुकसान हो चुका होता है। यह फोरेंसिक और अनुपालन के लिए उपयोगी है, लेकिन यह कुछ भी रोकता नहीं है।

स्वायत्त एजेंटों के साथ, कार्रवाई और पता लगाने के बीच का विलंब वास्तव में महंगा हो सकता है। एक एजेंट जो पहले से ही एक खराब एपीआई कॉल को निष्पादित कर चुका है या डेटा को बाहर निकाल चुका है, वह आपके लॉगिंग पाइपलाइन के पकड़ने से पहले नहीं रुकता है।

वास्तविक समय गार्डरेल निष्पादन से पहले कार्रवाई को रोकते हैं। यदि एजेंट नीति के बाहर कुछ करने का प्रयास करता है, तो यह चलते समय अवरुद्ध या ध्वजांकित हो जाता है, न कि बाद में।

संयोजन भी महत्वपूर्ण है। वास्तविक समय की रोकथाम плюस सभी एजेंट-से-टूल इंटरैक्शन में एक एकल सुसंगत प्रवर्तन बिंदु व्यक्तिगत घटकों की निष्क्रिय निगरानी की तुलना में एक अलग जोखिम प्रोफ़ाइल है।

वर्चू एआई की स्थापना गहराई से तकनीकी शोधकर्ताओं द्वारा की गई थी। यह उत्पाद निर्णयों को कैसे आकार देता है – अधिक व्यावसायिक रूप से चलने वाले एआई स्टार्टअप्स की तुलना में?

एआई सुरक्षा और शासन मूल रूप से एक गहरा तकनीकी समस्या है। जिन प्रणालियों की हम सुरक्षा कर रहे हैं – जैसे बड़े पैमाने पर भाषा मॉडल, मल्टीमॉडल मॉडल और एजेंटिक सिस्टम – वे स्वयं उन्नत अनुसंधान पर आधारित हैं। इन्हें प्रभावी सुरक्षा समाधानों के बिना मजबूत एआई विशेषज्ञता के बिना डिज़ाइन नहीं किया जा सकता है।

वर्चू एआई में, हमारे शोध और इंजीनियरिंग टीमें एक ही समस्या पर एक साथ काम करती हैं। हमारे शोधकर्ता लगातार उभरते मॉडल आर्किटेक्चर, नए एजेंटिक वर्कफ्लो और विकसित होते हमलों का अध्ययन करते हैं, जबकि हमारी इंजीनियरिंग टीमें इन अंतर्दृष्टि को सीधे उत्पादन प्रणालियों में एकीकृत करती है।

जब हम एक नई कमजोरियों की पहचान करते हैं – जैसे कि एक नया प्रोम्प्ट इंजेक्शन पैटर्न या एजेंट मैनिपुलेशन रणनीति – तो इसे जल्दी से नए पता लगाने वाले मॉडल, गार्डरेल या लाल-टीमिंग रणनीतियों में अनुवादित किया जा सकता है। यह निरंतर होता है, न कि केवल तिमाही उत्पाद रोडमैप पर।

परिणामस्वरूप, हमारे उत्पाद न केवल अग्रिम पंक्ति में हैं, बल्कि उद्यम-तैयार भी हैं, जो संगठनों को अपने एआई सिस्टम को सुरक्षित रूप से बनाने और तैनात करने में मदद करते हैं क्योंकि वे उन्हें बनाते और तैनात करते हैं। हमारे कई ग्राहकों ने हमें बताया है कि यह शोध-आधारित दृष्टिकोण ही उन्हें सुरक्षा और अनुपालन को बनाए रखते हुए तेजी से आगे बढ़ने की अनुमति देता है।

इसके विपरीत, शुद्ध व्यावसायिक रूप से चलने वाली टीमें अक्सर आज ग्राहकों की मांगों के चारों ओर अनुकूलन करती हैं, जो कि इंक्रीमेंटल सुविधाएं प्रदान कर सकती हैं लेकिन एआई प्रणालियों के तेजी से विकसित होते खतरे के परिदृश्य से पीछे रह सकती हैं। एआई सुरक्षा में, खतरे स्वयं प्रौद्योगिकी के रूप में तेजी से विकसित होते हैं। एक शोध-पहले के आधार को आगे बढ़ाने से हमें नए जोखिमों की भविष्यवाणी करने और उन्हें व्यापक समस्याओं में बदलने से पहले रक्षा बनाने में मदद मिलती है।

उद्यम जब पहली बार वर्चू एआई के पास आते हैं तो उनके पास एआई सुरक्षा के बारे में सबसे आम गलत धारणा क्या है?

उद्यमों के पास जब वे पहली बार वर्चू एआई के पास आते हैं तो एआई सुरक्षा के बारे में सबसे आम गलत धारणा यह है कि एआई सुरक्षा को पारंपरिक साइबर सुरक्षा उपकरणों या बुनियादी सामग्री मॉडरेशन फिल्टर लागू करके संबोधित किया जा सकता है।

वास्तव में, एआई प्रणालियां पूरी तरह से नए खतरों का परिचय देती हैं, जैसे कि प्रोम्प्ट इंजेक्शन, जेलब्रेक, हॉलुसिनेशन से प्रेरित दुरुपयोग, रिट्रीवल सिस्टम के माध्यम से डेटा लीक, और टूल या बाहरी एपीआई के माध्यम से एजेंट मैनिपुलेशन। ये जोखिम मॉडल के व्यवहार और तर्कसंगतता से उत्पन्न होते हैं, न कि केवल आसपास के बुनियादी ढांचे से।

परिणामस्वरूप, एआई प्रणालियों की सुरक्षा के लिए एआई मॉडल और एजेंटों के इनपुट, आउटपुट और निर्णय प्रक्रियाओं को समझने वाली सुरक्षा तंत्र की आवश्यकता होती है, जो एआई अनुप्रयोग के पूरे जीवन चक्र में होती है, जिसके लिए मूल एआई अनुसंधान क्षमताओं की आवश्यकता होती है।

यही कारण है कि हम एआई-मूल सुरक्षा पर जोर देते हैं: स्वचालित लाल-टीमिंग को कमजोरियों की खोज के लिए, वास्तविक समय गार्डरेल नीतियों को लागू करने के लिए, और प्रणाली स्तर की दृश्यता प्रोम्प्ट, टूल कॉल और एजेंट क्रियाओं की निगरानी के लिए।

एक बार जब उद्यम यह देखते हैं कि एआई जोखिम पारंपरिक सॉफ्टवेयर जोखिम से कितने अलग हैं, तो वे जल्दी से महसूस करते हैं कि एआई को सुरक्षित करने के लिए एक मूल रूप से नई सुरक्षा स्टैक की आवश्यकता है।

अंत में, एक उद्यम के भीतर आज उत्पादों को शिप करने के लिए “जिम्मेदार एआई तैनाती” का आपके लिए क्या अर्थ है – सिद्धांत में नहीं, बल्कि व्यावहार में?

तेजी से और सुरक्षित रूप से नहीं हैं विपरीत, हालांकि अधिकांश उद्यम उन्हें इस तरह मानते हैं। धारणा यह है कि गंभीर सुरक्षा आपको धीमा कर देती है – अधिक समीक्षा चक्र, अधिक गेट, तैनाती से पहले अधिक घर्षण।

व्यावहार में, जो उद्यम एजेंटों को आत्मविश्वास से तैनात करते हैं वे हैं जो सुरक्षा को प्रक्रिया में बनाते हैं, न कि अंत में इसे जोड़ते हैं: तैनाती से पहले स्वचालित लाल-टीमिंग, एक बार एजेंट लाइव हो जाने के बाद वास्तविक समय नियंत्रण, और पूरे एजेंट जीवन चक्र में केंद्रीकृत दृश्यता।

यह एक अनुपालन अभ्यास नहीं है। यही आपको तेजी से आगे बढ़ने देता है, क्योंकि आप उत्पादन में नहीं पा रहे हैं जो आपको पहले से पता होना चाहिए था।

जिम्मेदार तैनाती, ठोस शब्दों में, आपके एजेंटों को यह जानने का अर्थ है कि वे क्या कर सकते हैं, आप देख सकते हैं कि वे क्या कर रहे हैं, और आप उन्हें रोक सकते हैं जब कुछ गलत हो जाता है।

जिम्मेदार एआई विकास निरंतर, बड़े पैमाने पर एआई प्रणाली तैनाती को आत्मविश्वास के साथ सक्षम बनाता है, एआई नवाचार को धीमा करने के बजाय।

साक्षात्कार के लिए धन्यवाद, पाठक जो और जानना चाहते हैं उन्हें वर्चू एआई पर जाना चाहिए।