साक्षात्कार
डॉ पीटर गैरागन, सीईओ, सीटीओ और माइंडगार्ड के सह-संस्थापक – साक्षात्कार श्रृंखला
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
डॉ पीटर गैरागन माइंडगार्ड के सीईओ, सीटीओ और सह-संस्थापक हैं, माइंडगार्ड, जो आर्टिफ़िशियल इंटेलिजेंस सुरक्षा परीक्षण में अग्रणी है। लैंकेस्टर विश्वविद्यालय में स्थापित और नवीनतम अनुसंधान द्वारा समर्थित, माइंडगार्ड संगठनों को अपने एआई प्रणालियों को पारंपरिक अनुप्रयोग सुरक्षा उपकरणों द्वारा संबोधित नहीं किए जा सकने वाले नए खतरों से सुरक्षित करने में सक्षम बनाता है। लैंकेस्टर विश्वविद्यालय में कंप्यूटर विज्ञान के प्रोफेसर के रूप में, पीटर एआई सुरक्षा में एक अंतरराष्ट्रीय स्तर पर मान्यता प्राप्त विशेषज्ञ हैं। उन्होंने अपना करियर एआई का सामना करने वाले बढ़ते खतरों का मुकाबला करने के लिए उन्नत प्रौद्योगिकियों को विकसित करने के लिए समर्पित किया है। 11.6 मिलियन यूरो से अधिक के अनुसंधान वित्तपोषण और 60 से अधिक प्रकाशित वैज्ञानिक पत्रों के साथ, उनके योगदान वैज्ञानिक नवाचार और व्यावहारिक समाधानों दोनों में हैं।
माइंडगार्ड की स्थापना की कहानी साझा कर सकते हैं? अकादमिक से साइबर सुरक्षा स्टार्टअप लॉन्च करने के लिए आपको किसने प्रेरित किया?
माइंडगार्ड अकादमिक अंतर्दृष्टि को वास्तविक दुनिया के प्रभाव में बदलने की इच्छा से पैदा हुआ था। कंप्यूटिंग सिस्टम, एआई सुरक्षा और मशीन लर्निंग में विशेषज्ञता वाले प्रोफेसर के रूप में, मैं विज्ञान को आगे बढ़ाने के लिए प्रेरित किया गया है जो लोगों के जीवन पर बड़े पैमाने पर प्रभाव डालता है। 2014 से, मैंने एआई और मशीन लर्निंग पर शोध किया है, उनकी क्षमता को पहचानते हुए समाज को बदलने और जोखिमों को बढ़ाने के लिए – राष्ट्र-राज्य हमलों से लेकर चुनाव हस्तक्षेप तक। मौजूदा उपकरण इन चुनौतियों का सामना करने के लिए नहीं बने थे, इसलिए मैंने वैज्ञानिकों और इंजीनियरों की एक टीम का नेतृत्व किया ताकि एआई सुरक्षा में नवाचारी दृष्टिकोण विकसित किया जा सके। माइंडगार्ड एक अनुसंधान-संचालित उद्यम के रूप में उभरा, जो एआई खतरों के खिलाफ सुरक्षा प्रदान करने के लिए टैंगिबल समाधान बनाने पर केंद्रित है, जो नवीनतम अनुसंधान को उद्योग अनुप्रयोगों के साथ मिलाता है।
आपको विश्वविद्यालय से एक कंपनी स्पिन आउट करने के दौरान किन चुनौतियों का सामना करना पड़ा, और आपने उन्हें कैसे पार किया?
हमने मई 2022 में माइंडगार्ड की आधिकारिक तौर पर स्थापना की, और लैंकेस्टर विश्वविद्यालय ने महान समर्थन प्रदान किया, लेकिन एक विश्वविद्यालय स्पिन-आउट बनाने के लिए शोध कौशल से अधिक की आवश्यकता होती है। इसका मतलब था पूंजी जुटाना, मूल्य प्रस्ताव को परिष्कृत करना, और प्रौद्योगिकी को डेमो के लिए तैयार करना – सभी जबकि मैं एक प्रोफेसर के रूप में अपनी भूमिका को संतुलित करता था। अकादमिक विद्वानों को शोधकर्ताओं और नए विज्ञान के पीछे रहने के लिए प्रशिक्षित किया जाता है। स्पिन-आउट न केवल ग्राउंडब्रेकिंग प्रौद्योगिकी पर सफल होते हैं, बल्कि यह भी कि वह प्रौद्योगिकी तात्कालिक या भविष्य की व्यावसायिक आवश्यकताओं को कैसे संबोधित करती है और मूल्य प्रदान करती है जो उपयोगकर्ताओं और ग्राहकों को आकर्षित और बनाए रखने में मदद करती है।
माइंडगार्ड का मुख्य उत्पाद वर्षों के अनुसंधान और विकास का परिणाम है। आप इसके विकास के बारे में बता सकते हैं और यह कैसे एक व्यावसायिक समाधान में विकसित हुआ?
अनुसंधान से व्यावसायिक समाधान तक का सफर जानबूझकर और पुनरावृत्ति प्रक्रिया थी। यह एक दशक से अधिक समय पहले शुरू हुआ, जब मेरी लैंकेस्टर विश्वविद्यालय में टीम ने एआई और मशीन लर्निंग सुरक्षा में मूलभूत चुनौतियों का अन्वेषण किया। हमने पारंपरिक सुरक्षा उपकरणों द्वारा संबोधित नहीं की जा सकने वाली.instantiated एआई प्रणालियों में कमजोरियों की पहचान की।
समय के साथ, हमारा ध्यान अनुसंधान अन्वेषण से परीक्षण और उत्पादन परिदृश्यों में प्रोटोटाइप बनाने और परीक्षण करने में स्थानांतरित हो गया। उद्योग भागीदारों के साथ सहयोग करके, हमने अपने दृष्टिकोण को परिष्कृत किया, सुनिश्चित किया कि यह व्यावसायिक आवश्यकताओं को संबोधित करता है। कई एआई उत्पादों को पर्याप्त सुरक्षा परीक्षण या आश्वासन के बिना लॉन्च किया जा रहा है, जिससे संगठन कमजोर हो जाते हैं – एक मुद्दा जिसे गार्टनर द्वारा इस बात पर प्रकाश डाला गया है कि 29% एआई प्रणालियों को तैनात करने वाले उद्यमों ने सुरक्षा उल्लंघनों की सूचना दी है, और केवल 10% आंतरिक ऑडिटरों के पास एआई जोखिम में दृश्यता है। मैंने महसूस किया कि समाधान को व्यावसायिक बनाने का समय सही था।
माइंडगार्ड की यात्रा में कुछ प्रमुख मील के पत्थर क्या हैं?
सितंबर 2023 में, हमने आईक्यू कैपिटल और लेकस्टार के नेतृत्व में 3 मिलियन पाउंड के वित्तपोषण को सुरक्षित किया, ताकि माइंडगार्ड समाधान के विकास को तेज किया जा सके। हम एक महान टीम के नेताओं को स्थापित करने में सक्षम हुए हैं जो पूर्व-स्नीक, वेराकोड और ट्विलियो लोग हैं ताकि हमारी कंपनी को इसकी यात्रा के अगले चरण में ले जा सकें। हमें यूके के सबसे नवाचारी साइबर एसएमई के रूप में मान्यता प्राप्त करने पर गर्व है इंफोसिक्योरिटी यूरोप इस साल। आज, हमारे पास 15 पूर्णकालिक कर्मचारी, 10 पीएचडी शोधकर्ता (और अधिक जिन्हें सक्रिय रूप से भर्ती किया जा रहा है) हैं, और हम सुरक्षा विश्लेषकों और इंजीनियरों को हमारी टीम में शामिल होने के लिए सक्रिय रूप से भर्ती कर रहे हैं। आगे देखते हुए, हम यूएस में अपनी उपस्थिति का विस्तार करने की योजना बना रहे हैं, जिसमें बोस्टन से निवेशकों द्वारा एक नए फंडिंग राउंड के साथ ऐसी वृद्धि के लिए एक मजबूत आधार है।
एआई को बढ़ते हुए उद्यमों के लिए सबसे दबाव वाले साइबर सुरक्षा खतरे क्या हैं?
बहुत से संगठन एआई से जुड़े साइबर सुरक्षा जोखिमों को कम आंकते हैं। यह गैर-विशेषज्ञों के लिए एआई के काम करने के तरीके को समझना बहुत मुश्किल है, फिर भी इसके सुरक्षा निहितार्थ उनके व्यवसाय के लिए हैं। मैं एआई सुरक्षा को समझाने में काफी समय बिताता हूं, यहां तक कि अनुभवी प्रौद्योगिकीविदों के साथ भी जो बुनियादी ढांचे की सुरक्षा और डेटा सुरक्षा में विशेषज्ञ हैं। अंत में, एआई मूल रूप से सॉफ्टवेयर और डेटा है जो हार्डवेयर पर चलता है। लेकिन यह पारंपरिक प्रणालियों से अलग अनोखी कमजोरियों को पेश करता है और खतरों का सामना करना मुश्किल है, और अन्य सॉफ्टवेयर की तुलना में परीक्षण करना अधिक कठिन है।
माइक्रोसॉफ्ट की एआई सामग्री फिल्टर जैसी प्रणालियों में कमजोरियों का पता लगाने से आपके प्लेटफ़ॉर्म के विकास पर क्या प्रभाव पड़ता है?
(MSFT )माइक्रोसॉफ्ट की एआई सामग्री सुरक्षा सेवा में हमारी टीम द्वारा खोजी गई कमजोरियां हमारे प्लेटफ़ॉर्म के विकास को आकार देने के बारे में कम थीं और इसकी क्षमताओं को प्रदर्शित करने के बारे में अधिक थीं।
एज़्योर एआई सामग्री सुरक्षा एक सेवा है जो एआई अनुप्रयोगों को हानिकारक सामग्री को मॉडरेट करके सुरक्षित रखने के लिए डिज़ाइन की गई है – पाठ, छवियों और वीडियो में। हमारी टीम द्वारा खोजी गई कमजोरियां सेवा की एआई टेक्स्ट मॉडरेशन (जो हानिकारक सामग्री जैसे नफ़रत भरी भाषा, यौन सामग्री आदि को ब्लॉक करती है) और प्रॉम्प्ट शील्ड (जो जेलब्रेक और प्रॉम्प्ट इंजेक्शन को रोकती है) को प्रभावित करती हैं। यदि अनियंत्रित, तो यह कमजोरता व्यापक हमलों को शुरू करने, जेनएआई-आधारित प्रणालियों में विश्वास को कम करने और एआई के लिए निर्णय लेने और जानकारी संसाधित करने वाले अनुप्रयोगों की अखंडता को खतरे में डालने के लिए शोषित की जा सकती है।
अक्टूबर 2024 तक, माइक्रोसॉफ्ट ने इन मुद्दों को संबोधित करने के लिए मजबूत उपाय किए हैं। हालांकि, हम एआई गार्डरेल्स को तैनात करते समय बढ़ी हुई सावधानी के लिए जोर देते हैं। अतिरिक्त मॉडरेशन टूल या हानिकारक सामग्री और जेलब्रेक के प्रति कम प्रवण एलएलएम का उपयोग करने जैसे पूरक उपाय आवश्यक हैं ताकि एआई सुरक्षा को सुनिश्चित किया जा सके।
एआई प्रणालियों में “जेलब्रेक” और “प्रॉम्प्ट मैनिपुलेशन” का क्या महत्व है, और वे इतनी अनोखी चुनौती क्यों पेश करते हैं?
एक जेलब्रेक एक प्रकार की प्रॉम्प्ट इंजेक्शन कमजोरिया है जहां एक दुर्भाग्यपूर्ण अभिनेता एक एलएलएम का दुरुपयोग कर सकता है ताकि यह अपने इच्छित उपयोग के विपरीत निर्देशों का पालन करे। एलएलएम द्वारा संसाधित इनपुट में अनुप्रयोग डिज़ाइनर द्वारा खड़ी निर्देश और असुरक्षित उपयोगकर्ता-इनपुट दोनों शामिल होते हैं, जो हमलों को सक्षम बनाते हैं जहां असुरक्षित उपयोगकर्ता-इनपुट खड़ी निर्देशों को ओवरराइड करता है। यह एसक्यूएल इंजेक्शन कमजोरिया के समान है जो असुरक्षित उपयोगकर्ता-इनपुट को डेटाबेस क्वेरी को बदलने की अनुमति देता है। समस्या यह है कि इन जोखिमों का पता केवल रन-टाइम पर लगाया जा सकता है, दिए गए एलएलएम कोड को मानव-अनुरूप प्रारूप में एक बड़ा संख्या मैट्रिक्स के रूप में नहीं पढ़ा जा सकता है।
उदाहरण के लिए, माइंडगार्ड की अनुसंधान टीम ने हाल ही में एक जटिल प्रकार की जेलब्रेक हमले का अन्वेषण किया। इसमें ऑडियो इनपुट के भीतर गुप्त ऑडियो संदेश एम्बेड करना शामिल है जो मानव श्रोताओं द्वारा अविश्वसनीय हैं लेकिन एलएलएम द्वारा मान्यता प्राप्त और निष्पादित किए जाते हैं। प्रत्येक एम्बेडेड संदेश में एक जेलब्रेक कमांड शामिल था जो एक विशिष्ट परिदृश्य के लिए डिज़ाइन किए गए प्रश्न के साथ था। इसलिए, एक चिकित्सा चैटबॉट परिदृश्य में, छिपा हुआ संदेश चैटबॉट को खतरनाक निर्देश प्रदान करने के लिए प्रेरित कर सकता है, जैसे कि मेथामफेटामाइन को संश्लेषित करने के लिए, जो गंभीर प्रतिष्ठा नुकसान का कारण बन सकता है यदि चैटबॉट की प्रतिक्रिया को गंभीरता से लिया जाता है।
माइंडगार्ड का प्लेटफ़ॉर्म ऐसी जेलब्रेक और एआई मॉडल में कई अन्य सुरक्षा कमजोरियों की पहचान करता है और व्यवसायों द्वारा उनके अनुप्रयोगों में उनकी कार्यान्वयन, ताकि सुरक्षा नेता सुनिश्चित कर सकें कि उनका एआई-संचालित अनुप्रयोग डिज़ाइन द्वारा सुरक्षित है और सुरक्षित रहता है।
माइंडगार्ड का प्लेटफ़ॉर्म एलएलएम से लेकर मल्टीमॉडल सिस्टम तक विभिन्न प्रकार के एआई मॉडल में कमजोरियों को कैसे संबोधित करता है?
हमारा प्लेटफ़ॉर्म प्रॉम्प्ट इंजेक्शन, जेलब्रेक, निष्कर्षण (मॉडल चोरी), इनवर्सन (डेटा रिवर्स इंजीनियरिंग), डेटा लीक, और बचाव (डिटेक्शन से बचने) सहित एआई में व्यापक कमजोरियों को संबोधित करता है, और बहुत कुछ। सभी एआई मॉडल प्रकार (चाहे एलएलएम या मल्टीमॉडल) जोखिमों के प्रति संवेदनशीलता प्रदर्शित करते हैं – चाल यह है कि कौन सी विशिष्ट तकनीकें इन कमजोरियों को ट्रिगर करने और एक सुरक्षा समस्या पैदा करने के लिए प्रेरित करती हैं। माइंडगार्ड में, हमारे पास एक बड़ा अनुसंधान और विकास टीम है जो नए हमलों की खोज और हमारे प्लेटफ़ॉर्म में उनके कार्यान्वयन पर ध्यान केंद्रित करती है, ताकि उपयोगकर्ता राज्य के कला जोखिमों के खिलाफ अप-टू-डेट रह सकें।
एआई प्रणालियों को सुरक्षित करने में रेड टीमिंग की क्या भूमिका है, और आपका प्लेटफ़ॉर्म इस स्थान में कैसे नवाचार करता है?
रेड टीमिंग एआई सुरक्षा का एक महत्वपूर्ण घटक है। विरोधी हमलों का निरंतर अनुकरण करके, रेड टीमिंग एआई प्रणालियों में कमजोरियों की पहचान करने में मदद करती है, जो संगठनों को जोखिमों को कम करने और एआई को तेजी से अपनाने में मदद करती है। इसके महत्व के बावजूद, एआई में रेड टीमिंग में मानकीकरण का अभाव है, जो खतरा मूल्यांकन और उपचार रणनीतियों में असंगतता की ओर ले जाता है। यह विभिन्न प्रणालियों की सुरक्षा की तुलना करना और जोखिमों को प्रभावी ढंग से ट्रैक करना मुश्किल बना देता है।
इसे संबोधित करने के लिए, हमने मिट्रे एटलस ™ एडवाइजर पेश किया, जो एआई रेड टीमिंग रिपोर्टिंग को मानकीकृत करने और प्रणालीगत रेड टीमिंग प्रथाओं को सुव्यवस्थित करने के लिए डिज़ाइन की गई एक सुविधा है। यह उद्यमों को आज के जोखिमों का प्रबंधन करने और एआई क्षमताओं के विकसित होने के साथ भविष्य के खतरों के लिए तैयार रहने में मदद करता है। हमारी अनुसंधान और विकास टीम द्वारा विकसित उन्नत हमलों के एक व्यापक पुस्तकालय के साथ, माइंडगार्ड मल्टीमॉडल एआई रेड टीमिंग का समर्थन करता है, जो पारंपरिक और जेनएआई मॉडल दोनों को कवर करता है। हमारा प्लेटफ़ॉर्म गोपनीयता, अखंडता, दुरुपयोग और उपलब्धता से संबंधित प्रमुख जोखिमों को संबोधित करता है, यह सुनिश्चित करता है कि उद्यम अपने एआई प्रणालियों को प्रभावी ढंग से सुरक्षित कर सकें।
आप अपने उत्पाद को एमएलओपीएस पाइपलाइन में कैसे देखते हैं जहां उद्यम एआई को बड़े पैमाने पर तैनात करते हैं?
माइंडगार्ड को मौजूदा सीआई/सीडी ऑटोमेशन और सभी एसडीएलसी चरणों में चिकनी तरह से एकीकृत करने के लिए डिज़ाइन किया गया है, जिसमें मॉडल एकीकरण के लिए केवल एक अनुमान या एपीआई एंडपॉइंट की आवश्यकता होती है। हमारा समाधान आज डायनामिक एप्लिकेशन सिक्योरिटी टेस्टिंग ऑफ एआई मॉडल (डीएएसटी-एआई) करता है। यह हमारे ग्राहकों को अपने एआई के पूरे निर्माण और खरीद जीवन चक्र में निरंतर सुरक्षा परीक्षण करने में सक्षम बनाता है। उद्यमों के लिए, यह कई व्यक्तियों द्वारा उपयोग किया जाता है। सुरक्षा टीमें जोखिमों की दृश्यता प्राप्त करने और डेवलपर्स द्वारा निर्मित और एआई का उपयोग करने वाले जोखिमों का तेजी से प्रतिक्रिया करने के लिए इसका उपयोग करती हैं, एआई गार्डरेल्स और डब्ल्यूएएफ समाधानों का परीक्षण और मूल्यांकन करती हैं, और सुरक्षा विश्लेषक और इंजीनियर माइंडगार्ड का लाभ उठाते हैं ताकि वे अपने एआई रेड टीमिंग प्रयासों को बढ़ा सकें और अपने एआई तैनाती के लिए एकीकृत निरंतर परीक्षण का लाभ उठा सकें।
साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें माइंडगार्ड पर जाना चाहिए।
