वाहिद बेहज़ादान, सुरक्षित और आश्वस्त बुद्धिमान शिक्षा (एसएआईएल) प्रयोगशाला के निदेशक – साक्षात्कार श्रृंखला

वाहिद कंप्यूटर विज्ञान और डेटा विज्ञान में सहायक प्रोफेसर हैं और वे सुरक्षित और आश्वस्त बुद्धिमान शिक्षा (एसएआईएल) प्रयोगशाला के निदेशक भी हैं।

उनके शोध के क्षेत्र में बुद्धिमान प्रणालियों की सुरक्षा और सुरक्षा, एआई सुरक्षा समस्याओं का मनोवैज्ञानिक मॉडलिंग, जटिल अनुकूली प्रणालियों की सुरक्षा, गेम सिद्धांत, बहु-एजेंट प्रणालियों और साइबर सुरक्षा शामिल हैं।

आपके पास साइबर सुरक्षा और एआई को सुरक्षित रखने में व्यापक अनुभव है। क्या आप हमें बता सकते हैं कि आप इन दोनों क्षेत्रों में कैसे आकर्षित हुए?

मेरे शोध की यात्रा मेरे दो मूलभूत रुचियों द्वारा ईंधनित है: यह जानना कि चीजें कैसे टूटती हैं, और मानव मन की यांत्रिकी के बारे में सीखना। मैं अपने किशोरावस्था से ही साइबर सुरक्षा में सक्रिय रूप से शामिल रहा हूं, और परिणामस्वरूप, मैंने अपने शुरुआती शोध एजेंडे को इस डोमेन की क्लासिक समस्याओं के आसपास बनाया। कुछ वर्षों के बाद, मुझे अपने शोध क्षेत्र को बदलने का एक दुर्लभ अवसर मिला। उस समय, मैं स्ज़ेगेडी और गुडफेलो के प्रारंभिक कार्यों पर आया था, जो मशीन लर्निंग पर हमला करने के विचार को बहुत आकर्षक पाया। जैसे ही मैंने इस समस्या को गहराई से देखा, मुझे एआई सुरक्षा और सुरक्षा के अधिक सामान्य क्षेत्र के बारे में पता चला, और मुझे लगा कि यह मेरे मूलभूत रुचियों को शामिल करता है, जैसे कि साइबर सुरक्षा, संज्ञानात्मक विज्ञान, अर्थशास्त्र और दर्शन। मुझे यह भी लगता है कि इस क्षेत्र में शोध नहीं केवल आकर्षक है, बल्कि एआई क्रांति के दीर्घकालिक लाभों और सुरक्षा के लिए भी आवश्यक है।

आप एसएआईएल प्रयोगशाला के निदेशक हैं, जो बुद्धिमान मशीनों की सुरक्षा और सुरक्षा के लिए ठोस आधार बनाने का काम करती है। क्या आप एसएआईएल द्वारा किए गए काम के बारे में कुछ विवरण दे सकते हैं?

एसएआईएल में, मेरे छात्रों और मैं सुरक्षा, एआई और जटिल प्रणालियों के बीच के क्षेत्र में समस्याओं पर काम करते हैं। हमारे शोध का मुख्य फोकस बुद्धिमान प्रणालियों की सुरक्षा और सुरक्षा की जांच करने पर है, दोनों सैद्धांतिक और व्यावहारिक दृष्टिकोण से। सैद्धांतिक पक्ष पर, हम वर्तमान में बहु-एजेंट सेटिंग्स में मूल्य-संरेखण समस्या की जांच कर रहे हैं और एआई एजेंटों के उद्देश्यों के संबंध में स्थिरता और मजबूत संरेखण के लिए गणितीय उपकरण विकसित कर रहे हैं। व्यावहारिक पक्ष पर, हमारी कुछ परियोजनाएं स्वायत्त वाहनों और एल्गोरिदमिक ट्रेडिंग जैसी आगामी एआई प्रौद्योगिकियों की सुरक्षा कमजोरियों का अन्वेषण करती हैं और ऐसी प्रौद्योगिकियों की लचीलापन में सुधार करने के लिए तकनीकों को विकसित करने का लक्ष्य रखती हैं।

हम साइबर सुरक्षा में मशीन लर्निंग के अनुप्रयोगों पर भी काम करते हैं, जैसे कि स्वचालित प्रवेश परीक्षण, आक्रमण प्रयासों का प्रारंभिक पता लगाना और सोशल मीडिया जैसे खुले स्रोतों से डेटा से स्वचालित खतरा बुद्धिमत्ता संग्रह और विश्लेषण।

आप हाल ही में एआई सुरक्षा समस्याओं को मनोवैज्ञानिक विकारों के रूप में मॉडलिंग करने के प्रयास का नेतृत्व किया। यह क्या है?

यह परियोजना एआई एजेंटों और प्रणालियों की तेजी से बढ़ती जटिलता को संबोधित करती है: यह पहले से ही बहुत मुश्किल है कि गैर-मामूली सेटिंग्स में पुनरावृत्ति शिक्षा एजेंटों के असुरक्षित व्यवहार का निदान, भविष्यवाणी और नियंत्रण किया जाए, केवल उनके निम्न-स्तरीय कॉन्फ़िगरेशन को देखकर। इस कार्य में, हम ऐसी समस्याओं की जांच के लिए उच्च-स्तरीय स abstract की आवश्यकता पर जोर देते हैं। मानव व्यवहार संबंधी समस्याओं के वैज्ञानिक दृष्टिकोण से प्रेरित होकर, हम एआई और एजीआई में हानिकारक व्यवहार के उदय के लिए मनोवैज्ञानिक विकारों के रूप में एक उपयोगी उच्च-स्तरीय स abstract का प्रस्ताव करते हैं। एक प्रमाण के रूप में, हम पुनरावृत्ति शिक्षा एजेंट को स्नेक खेल खेलने के लिए सीखने के लिए अध्ययन करते हैं और दिखाते हैं कि यदि हम पर्यावरण में एक “नशीली दवा” बीज जोड़ते हैं, तो एजेंट एक उप-आप्टिमल व्यवहार सीखता है जिसे तंत्रिका विज्ञान मॉडलों के माध्यम से व्यसन के रूप में वर्णित किया जा सकता है। यह कार्य मानसिक विकारों के उपचार में उपयोग की जाने वाली चिकित्सा दृष्टिकोणों के आधार पर नियंत्रण विधियों का भी प्रस्ताव करता है। उदाहरण के लिए, हम कृत्रिम रूप से उत्पन्न पुरस्कार संकेतों का उपयोग एजेंटों के हानिकारक व्यवहार को संशोधित करने के लिए दवा चिकित्सा के समकक्ष के रूप में प्रस्तावित करते हैं।

क्या आपको स्वायत्त वाहनों के साथ एआई सुरक्षा के बारे में कोई चिंता है?

स्वायत्त वाहन साइबर-भौतिक प्रणालियों में एआई की तैनाती के प्रमुख उदाहरण बन रहे हैं। वर्तमान मशीन लर्निंग प्रौद्योगिकियों की मूलभूत संवेदनशीलता और हमलों के प्रति संवेदनशीलता को देखते हुए, मैं अर्ध-स्वायत्त वाहनों की सुरक्षा और सुरक्षा के बारे में गहराई से चिंतित हूं। स्वायत्त ड्राइविंग का क्षेत्र सुरक्षा मानकों और मूल्यांकन प्रोटोकॉल की गंभीर कमी से पीड़ित है। हालांकि, मैं आशावादी रहता हूं। जैसे प्राकृतिक बुद्धिमत्ता के साथ, एआई भी गलतियां करने के लिए प्रवण होगा। फिर भी, स्व-ड्राइविंग कारों का उद्देश्य अभी भी पूरा किया जा सकता है यदि ऐसी गलतियों की दर और प्रभाव मानव चालकों की तुलना में कम हो। हम उद्योग और अकादमिक दोनों में इन मुद्दों को解决 करने के लिए बढ़ते प्रयासों को देख रहे हैं, साथ ही सरकारों को भी।

स्ट्रीट साइन को स्टिकर के साथ हैक करना या अन्य तरीकों से स्वायत्त वाहन के कंप्यूटर दृष्टि मॉड्यूल को भ्रमित कर सकता है। क्या आप इसे कितना बड़ा मुद्दा मानते हैं?

स्टिकर और सामान्य रूप से विरोधी उदाहरण मशीन लर्निंग मॉडल की मजबूती में मूलभूत चुनौतियां पैदा करते हैं। जॉर्ज ई. पी. बॉक्स के शब्दों में, “सभी मॉडल गलत हैं, लेकिन कुछ उपयोगी हैं”। विरोधी उदाहरण मॉडल की इस “गलतता” का फायदा उठाते हैं, जो उनकी संक्षिप्त प्रकृति के कारण होता है, साथ ही उन डेटा की सीमाओं के कारण भी होता है जिन पर वे प्रशिक्षित होते हैं। विरोधी मशीन लर्निंग डोमेन में हाल के प्रयासों ने गहरे शिक्षा मॉडलों को ऐसे हमलों के प्रति लचीलापन बढ़ाने की दिशा में महत्वपूर्ण प्रगति की है। सुरक्षा की दृष्टि से, मशीन लर्निंग मॉडलों को भ्रमित करने का एक तरीका हमेशा होगा। हालांकि, मशीन लर्निंग मॉडलों को सुरक्षित करने का व्यावहारिक उद्देश्य ऐसे हमलों को आर्थिक रूप से अव्यावहारिक बनाने के लिए उनके कार्यान्वयन की लागत को बढ़ाना है।

आप गहरे शिक्षा और गहरे पुनरावृत्ति शिक्षा की सुरक्षा विशेषताओं पर ध्यान केंद्रित करते हैं। यह इतना महत्वपूर्ण क्यों है?

पुनरावृत्ति शिक्षा नियंत्रण समस्याओं पर मशीन लर्निंग को लागू करने का प्रमुख तरीका है, जो परिभाषा के अनुसार उनके वातावरण के मैनिपुलेशन को शामिल करता है। इसलिए, मुझे लगता है कि पुनरावृत्ति शिक्षा पर आधारित प्रणालियों में वास्तविक दुनिया में महत्वपूर्ण नुकसान पहुंचाने का जोखिम अन्य मशीन लर्निंग विधियों की तुलना में काफी अधिक है, जैसे कि वर्गीकरण। यह समस्या गहरे शिक्षा के साथ पुनरावृत्ति शिक्षा के एकीकरण से और भी बढ़ जाती है, जो पुनरावृत्ति शिक्षा को जटिल सेटिंग्स में अपनाने की अनुमति देती है। इसके अलावा, मुझे लगता है कि पुनरावृत्ति शिक्षा का ढांचा मानव बुद्धिमत्ता में संज्ञान के अंतर्निहित तंत्र से密ELY जुड़ा हुआ है, और इसकी सुरक्षा और कमजोरियों का अध्ययन करने से हमारे दिमाग में निर्णय लेने की सीमाओं के बारे में बेहतर अंतर्दृष्टि मिल सकती है।

क्या आपको लगता है कि हम कृत्रिम सामान्य बुद्धिमत्ता (एजीआई) प्राप्त करने के करीब हैं?

यह एक कठिन प्रश्न है जिसका उत्तर देना मुश्किल है। मुझे लगता है कि हमारे पास वर्तमान में कुछ संरचनाएं हैं जो एजीआई के उदय को सुविधाजनक बना सकती हैं। हालांकि, यह संभव है कि इन संरचनाओं में सुधार करने और उनके प्रशिक्षण और रखरखाव की लागत को बढ़ाने में कुछ और वर्ष या दशक लग सकते हैं। आने वाले वर्षों में, हमारे एजेंट तेजी से अधिक बुद्धिमान होंगे। मुझे नहीं लगता कि एजीआई का उदय किसी वैज्ञानिक रूप से वैध शीर्षक के रूप में घोषित किया जाएगा, बल्कि यह एक постепी प्रगति का परिणाम होगा। इसके अलावा, मुझे लगता है कि हमारे पास अभी तक एजीआई के अस्तित्व का पता लगाने और परीक्षण करने के लिए एक व्यापक रूप से स्वीकृत विधि नहीं है, और यह हमारे पहले एजीआई के उदाहरणों के एहसास में देरी कर सकता है।

एक एजीआई प्रणाली में सुरक्षा कैसे बनाए रखी जा सकती है जो स्वयं के लिए सोच सकती है और मानवों से अधिक बुद्धिमान होगी?

मुझे लगता है कि बुद्धिमान व्यवहार का एकीकृत सिद्धांत अर्थशास्त्र है और यह जांचता है कि एजेंट कैसे कार्य करते हैं और कैसे बातचीत करते हैं जो वे चाहते हैं। मानवों के निर्णय और क्रियाएं उनके उद्देश्यों, उनकी जानकारी और उपलब्ध संसाधनों द्वारा निर्धारित होती हैं। समाज और सहयोगी प्रयास व्यक्तिगत सदस्यों के लिए लाभ के कारण उत्पन्न होते हैं। एक और उदाहरण है दंड संहिता, जो कertain निश्चित निर्णयों को व्यय से रोकती है जो समाज को नुकसान पहुंचा सकती है। उसी तरह, मुझे लगता है कि प्रोत्साहन और संसाधनों को नियंत्रित करके मानवों और एजीआई के बीच संतुलन की स्थिति का उदय संभव हो सकता है। वर्तमान में, एआई सुरक्षा समुदाय इस थीसिस की जांच करता है मूल्य-संरेखण समस्याओं के तहत।

आप आतंकवाद-विरोधी का एक क्षेत्र हैं जिसे आप बारीकी से देखते हैं। क्या आपको लगता है कि आतंकवादी एआई या एजीआई प्रणालियों पर कब्जा कर सकते हैं?

एआई प्रौद्योगिकियों के दुरुपयोग के बारे में कई चिंताएं हैं। आतंकवादी ऑपरेशन के मामले में, मुख्य चिंता यह है कि आतंकवादी स्वायत्त हमलों को विकसित करने और उन्हें लागू करने में कितनी आसानी है। मेरे कई सहयोगी सक्रिय रूप से स्वायत्त हथियारों (देखें https://autonomousweapons.org/ ) के जोखिमों के खिलाफ चेतावनी दे रहे हैं। एआई-सक्षम हथियारों के साथ एक मुख्य समस्या यह है कि अंतर्निहित प्रौद्योगिकी को नियंत्रित करने में कठिनाई है: एआई खुले स्रोत अनुसंधान के अग्रभाग पर है, और किसी को भी इंटरनेट और उपभोक्ता-ग्रेड हार्डवेयर तक पहुंच होने पर हानिकारक एआई प्रणालियों को विकसित किया जा सकता है। मुझे लगता है कि स्वायत्त हथियारों का उदय अपरिहार्य है, और जल्द ही ऐसे हथियारों का मुकाबला करने के लिए नए तकनीकी समाधानों की आवश्यकता होगी। यह एक बिल्ली और चूहे का चक्र हो सकता है जो एआई-सक्षम हथियारों के विकास को ईंधन देता है, जो दीर्घकाल में गंभीर अस्तित्व जोखिम पैदा कर सकता है।

इन विरोधी एजेंटों से एआई प्रणालियों को सुरक्षित रखने के लिए हम क्या कर सकते हैं?

पहला और सबसे महत्वपूर्ण कदम शिक्षा है: सभी एआई इंजीनियरों और पрак्टिशनरों को एआई प्रौद्योगिकियों की कमजोरियों के बारे में सीखना चाहिए और अपनी प्रणालियों के डिजाइन और कार्यान्वयन में प्रासंगिक जोखिमों पर विचार करना चाहिए। अधिक तकनीकी सिफारिशों के लिए, विभिन्न प्रस्ताव और समाधान अवधारणाएं हैं जिन्हें नियोजित किया जा सकता है। उदाहरण के लिए, विरोधी सेटिंग्स में मशीन लर्निंग एजेंटों को प्रशिक्षित करने से उनकी लचीलापन और विरोधी हमलों के खिलाफ मजबूती में सुधार हो सकता है (जैसे कि मेरे शोध पत्र “व्हाटेवर डज़ नॉट किल डीप रिनफोर्समेंट लर्निंग, मेक्स इट स्ट्रॉन्गर” देखें)। एक और समाधान यह है कि एजेंट की वास्तुकला में सीधे विरोधी हमलों के जोखिम को ध्यान में रखा जाए (जैसे कि बेयसियन दृष्टिकोण से जोखिम मॉडलिंग)। हालांकि, इस क्षेत्र में एक बड़ा अंतर है और यह विरोधी हमलों के खिलाफ एआई एजेंटों की लचीलापन के लिए सार्वभौमिक मेट्रिक्स और विधियों की आवश्यकता है। वर्तमान समाधान अधिकांशतः ad hoc हैं और सभी प्रकार के हमलों के खिलाफ लचीलापन के सामान्य उपाय प्रदान नहीं करते हैं।

क्या आप इन विषयों में से किसी पर और कुछ साझा करना चाहेंगे?

2014 में, स्कली एट अल ने न्यूरिप्स सम्मेलन में एक पत्र प्रकाशित किया जिसका विषय बहुत प्रेरक था: “मशीन लर्निंग: तकनीकी ऋण का उच्च-ब्याज वाला क्रेडिट कार्ड”। एआई क्षेत्र में पिछले कुछ वर्षों में हुई सभी प्रगति के बावजूद, यह बयान अभी भी अपनी वैधता नहीं खोया है। एआई और मशीन लर्निंग की वर्तमान स्थिति अद्भुत है, लेकिन हम अभी भी एआई के नींव और इंजीनियरिंग आयामों में कई बड़े अंतरों को भरने से दूर हैं। मेरे विचार में, यह हमारी बातचीत का सबसे महत्वपूर्ण निष्कर्ष है। मैं एआई प्रौद्योगिकियों के व्यावसायिक अपनाने को प्रोत्साहित करने के लिए नहीं कहता, लेकिन केवल इंजीनियरिंग समुदाय को वर्तमान एआई प्रौद्योगिकियों के जोखिमों और सीमाओं को उनके निर्णयों में ध्यान में रखने के लिए सक्षम बनाने के लिए।

मुझे विभिन्न प्रकार की एआई प्रणालियों के साथ सुरक्षा और सुरक्षा चुनौतियों के बारे में जानने में बहुत आनंद आया। यह वास्तव में कुछ ऐसा है जिसके बारे में व्यक्तियों, निगमों और सरकारों को जागरूक होने की आवश्यकता है। जो पाठक अधिक जानना चाहते हैं उन्हें सुरक्षित और आश्वस्त बुद्धिमान शिक्षा (एसएआईएल) प्रयोगशाला पर जाना चाहिए।