सैंडी डन, सीआईएसओ एटी एसपीएलएक्स – साक्षात्कार श्रृंखला

सैंडी डन, एसपीएलएक्स में सीआईएसओ एक अनुभवी सीआईएसओ हैं जिनके पास स्वास्थ्य सेवा और स्टार्टअप्स में 20+ वर्षों का अनुभव है, जो क्वार्कआईक्यू के माध्यम से सीआईएसओ परामर्श प्रदान करते हैं। वह ओवास्प टॉप 10 फॉर एलएलएम एप्लिकेशन साइबर सुरक्षा और शासन जांच सूची का नेतृत्व करती है और ओवास्प एआई एक्सचेंज, ओवास्प टॉप 10 फॉर एलएलएम, और क्लाउड सुरक्षा गठबंधन में योगदान करती है। बोइस स्टेट यूनिवर्सिटी में एक एडजंक्ट साइबर सुरक्षा प्रोफेसर, वह बोइस स्टेट के संस्थान फॉर परवेसिव साइबर सुरक्षा के एक फ्रीक्वेंट स्पीकर, सलाहकार, और बोर्ड सदस्य भी हैं। सैंडी के पास सैंस से सूचना सुरक्षा प्रबंधन में मास्टर्स है और सीआईएसएसपी, मल्टीपल सैंस जीआईएसी क्रेडेंशियल्स, सिक्योरिटी+, आईएसटीक्यूबी, और एफएआईआर जैसे कई प्रमाणपत्र हैं।

एसपीएलएक्स एक साइबर सुरक्षा कंपनी है जो स्वचालित रेड-टीमिंग, रनटाइम सुरक्षा, शासन, उपचार, खतरा निरीक्षण, और मॉडल सुरक्षा के माध्यम से एआई सिस्टम के लिए एंड-टू-एंड सुरक्षा प्रदान करती है। इसका प्लेटफ़ॉर्म एक घंटे से कम समय में हज़ारों प्रतिद्वंद्वी सिमुलेशन चलाता है, कमजोरियों की पहचान करता है, तैनाती से पहले सिस्टम प्रॉम्प्ट को मजबूत करता है, और इसमें एजेंटिक रडार शामिल है, जो मल्टी-एजेंट एआई वर्कफ़्लोज़ में जोखिमों को मैप और विश्लेषण करने के लिए एक ओपन-सोर्स टूल है।

आपको एआई और साइबर सुरक्षा के बीच के संगम में क्या आकर्षित किया, और यह पथ आपको एसपीएलएक्स में आपकी भूमिका और ओवास्प के साथ जुड़ने में कैसे ले गया?

एआई ने साइबर सुरक्षा वार्ताओं में वर्षों से भाग लिया था, लेकिन यह अक्सर ऐसा लगता था कि यह अपने हYPE तक नहीं पहुंचा था। इसलिए जब यह लॉन्च हुआ, तो मुझे उम्मीद थी कि मैं निराश हो जाऊंगा, लेकिन इसके बजाय मेरी प्रतिक्रिया विपरीत थी। जब मैंने पहली बार चैटजीपीटी का उपयोग किया, तो मैं इसकी क्षमताओं से आश्चर्यचकित था और इसके द्वारा होने वाले प्रतिकूल हमलों या गोपनीयता के दुरुपयोग की संभावना से आतंकित था। उस पल ने एक आग लगा दी। मैंने एलएलएम्स में सिर्फ़ पढ़ना शुरू किया, हर शोध पत्र जो मैं पढ़ सकता था, जोइन किया हर प्रासंगिक स्लैक और डिस्कॉर्ड समुदाय, और अपने स्वयं के प्रयोग चलाए। मैं ओवास्प टॉप 10 फॉर एलएलएम्स चैनल में एक समय के लिए लुर्क किया, और जब पहली सूची प्रकाशित हुई, तो मुझे पता था कि यह एक महत्वपूर्ण मील का पत्थर था। लेकिन एक सीआईएसओ के रूप में, मुझे लगा कि सुरक्षा टीमों को अधिक जानकारी की आवश्यकता है। हमने लोगों को बताया था कि उन्हें क्या चिंतित होना चाहिए, लेकिन उन्हें यह नहीं बताया कि क्या करना है। मैंने परियोजना के नेता, स्टीव विल्सन से संपर्क किया और एक “एलएलएम सुरक्षा सीआईएसओ चेकलिस्ट” बनाने के बारे में बात की। यह तब ओवास्प जेनएआई सब-प्रोजेक्ट बन गया, जिसने कई अतिरिक्त सब-प्रोजेक्ट्स को प्रेरित किया।

इसके माध्यम से, मैं क्रिस्टियन कंबर और एंटे गोजालिक (एसपीएलएक्स के संस्थापक) से मिला, और कई एआई सुरक्षा स्टार्टअप्स को सलाह दी, जिनमें से कुछ के पास वादा करने वाले विचार थे, जबकि अन्य के पास कम थे। उस समय, मैं एक बी2बी चैटबॉट कंपनी में सीआईएसओ था, जो एक व्यापक एआई प्रतिद्वंद्वी परीक्षण प्लेबुक बना रहा था। जब मैंने एसपीएलएक्स का डेमो देखा, तो मुझे तुरंत पता था कि उन्होंने उस समस्या का समाधान किया था जिसके साथ मैं जूझ रहा था: प्रतिद्वंद्वी परीक्षण को कैसे संचालित किया जाए। जब एसपीएलएक्स को एक सीआईएसओ की आवश्यकता थी, तो मैं अवसर को पकड़ने के लिए तैयार था एक अद्भुत कंपनी का हिस्सा बनने के लिए जो महत्वपूर्ण चुनौतियों का समाधान कर रही थी।

एसपीएलएक्स में सीआईएसओ के रूप में, आप विशेष रूप से एजेंटिक एआई के संबंध में सबसे नए हमले तकनीकों का पता लगा रहे हैं?

जेनएआई सिस्टम डिज़ाइन की बारीकियों के कारण, जेनएआई कमजोरियों और हमलों को समाप्त करना जो एजेंट की स्वायत्तता और क्षमताओं का शोषण करते हैं, यह संभव नहीं है। मेमोरी पॉइज़निंग हमले जैसे मिनजा एक हालिया उदाहरण है। मिनजा के साथ, हमलावर एक एजेंट के मेमोरी बैंकों को शिल्प किए गए इंटरैक्शन के माध्यम से धीरे से भ्रष्ट कर सकते हैं, हानिकारक “स्मृतियों” को प्रतिबिंबित करते हुए जो बाद में भ्रामक या खतरनाक व्यवहार का परिणाम हो सकता है। एक और उदाहरण इको चैंबर हमला है। यह वह जगह है जहां एक प्रतिद्वंद्वी एक एजेंट के साथ बार-बार दुर्भाग्यपूर्ण संदर्भ में संवादात्मक लूप बनाता है। शोधकर्ताओं ने सुरक्षा तंत्रों को बायपास करने के लिए हानिकारक निर्देशों को कई मोड़ों पर प्रबलित किया।

अप्रत्यक्ष और क्रॉस-मॉडल प्रॉम्प्ट इंजेक्शन एक और उदाहरण है। दुर्भाग्यपूर्ण निर्देश बाहरी सामग्री जैसे छवियों या दस्तावेजों में छिपे होते हैं जिन्हें एजेंट उपभोग करते हैं। ये निर्देश स्वचालित निर्णय लेने को हाइजैक कर सकते हैं बिना उपयोगकर्ता के直接 इनपुट के।

सोफिस्टिकेटेड एआई एजेंट पारिस्थितिकी तंत्र हमले जैसे टूल पॉइज़निंग के लिए एआई एजेंट तैनाती के लिए पूरे आपूर्ति की सावधानीपूर्वक समीक्षा की आवश्यकता है। हमलावर एजेंट प्लेटफ़ॉर्म के लिए कथित तौर पर वैध उपकरण बनाते हैं लेकिन उपकरण विवरण और दस्तावेज़ में दुर्भाग्यपूर्ण निर्देशों को एम्बेड करते हैं। जब एजेंट इन उपकरणों को लोड करते हैं, तो एम्बेडेड निर्देश एजेंट के संदर्भ का हिस्सा बन जाते हैं, जो डेटा निर्गमन या सिस्टम समझौते जैसे अनधिकृत कार्यों को सक्षम करते हैं।

एसपीएलएक्स प्लेटफ़ॉर्म एलएलएम-विशिष्ट खतरों जैसे प्रॉम्प्ट इंजेक्शन या प्रतिद्वंद्वी जेलब्रेक हमलों का पता लगाने और प्रतिक्रिया देने में संगठनों की मदद कैसे करता है?

एसपीएलएक्स एक एंड-टू-एंड सुरक्षा प्लेटफ़ॉर्म है जो एलएलएम-संचालित अनुप्रयोगों और मल्टी-एजेंट सिस्टम को विकास से लेकर तैनाती तक और वास्तविक समय संचालन में सुरक्षा प्रदान करता है। हमारा एआई रनटाइम सुरक्षा इन खतरों को रोकने के लिए डिज़ाइन किया गया है क्योंकि वे होते हैं द्वारा निरंतर इनपुट और आउटपुट की निगरानी और फ़िल्टरिंग। यह एक वास्तविक समय के लिए एक आग की दीवार के रूप में कार्य करता है एआई और सख्त व्यवहार सीमाएं लागू करता है एआई पर। एसपीएलएक्स का डायनामिक डिटेक्शन इंजन वास्तविक समय में दुर्भाग्यपूर्ण गतिविधि को झंडा देता है, यह सुनिश्चित करता है कि एआई सिस्टम सुरक्षित रूप से प्रतिक्रिया देते हैं और इरादा सीमाओं के भीतर रहते हैं।

ओवास्प के अद्यतन जेनएआई सुरक्षा टॉप 10 में सिस्टम-प्रॉम्प्ट लीकेज और वेक्टर-डेटाबेस कमजोरियों जैसे प्रमुख जोखिमों का विस्तार कैसे होता है, और ये नए खतरे विकसित होते प्रतिद्वंद्वी परिदृश्य को कैसे दर्शाते हैं?

2025 ओवास्प टॉप 10 अद्यतन वास्तविक दुनिया के परिदृश्यों में एलएलएम्स और जेनरेटिव एआई प्रौद्योगिकियों के उपयोग की बढ़ती समझ को दर्शाते हैं। यह इंगित करना महत्वपूर्ण है कि एलएलएम खतरों से अधिक हैं, लेकिन लक्ष्य शीर्ष 10 की पहचान करना है। बड़े परिवर्तन एलएलएम07 असुरक्षित प्लगइन डिज़ाइन को शामिल किया गया था आपूर्ति श्रृंखला में और एलएलएम010 मॉडल चोरी को अनबाउंडेड खपत में शामिल किया गया था 2025 सूची के लिए, जिसने कमरा बनाया:

1. सिस्टम-प्रॉम्प्ट लीकेज जो सिस्टम प्रॉम्प्ट के खुलासे के खतरे की पहचान करता है जो गार्डरेल, तर्क प्रवाह, या एलएलएम प्रॉम्प्ट में एम्बेडेड रहस्यों का खुलासा कर सकता है।

2. वेक्टर-डेटाबेस कमजोरियों को झंडा देता है आरएजी सिस्टम जैसे क्रॉस-टेनेंट डेटा लीक, एम्बेडिंग इनवर्सन, या जहरीले दस्तावेज़ जो बाद में खतरनाक आउटपुट का खुलासा कर सकते हैं।

3. अद्यतन यह दिखाते हैं कि एआई-फ़ोकस्ड हमले क्राफ्टेड अवसरवादी प्रॉम्प्ट हमलों से विकसित हुए हैं जो पूरे एआई आपूर्ति श्रृंखला को लक्षित करते हैं। आधुनिक हमले पूरे एआई सिस्टम की रणनीतिक सोच का प्रदर्शन करते हैं, जो एक-बार के शोषण के बजाय दृढ़ता, स्केल, और प्रणालीगत प्रभाव पर ध्यान केंद्रित करते हैं।

अजेंटिक आर्किटेक्चर का विस्तारित कवरेज एक और महत्वपूर्ण विकास को स्वीकार करता है। जब एआई सिस्टम अधिक स्वायत्तता और निर्णय लेने की क्षमता प्राप्त करते हैं, तो सुरक्षा विफलताओं के परिणामों की संभावना बहुत बढ़ जाती है। मानव पर्यवेक्षण को कम करना, जबकि अधिक शक्तिशाली अनुप्रयोगों को सक्षम करना, एक प्रभाव को बढ़ाता है जो सफल हमलों के प्रभाव को बढ़ाता है।

आपके विचार में, आज एजेंटिक एआई तैनात करने वाले उद्यमों में सबसे अधिक अनदेखी की जाने वाली कमजोरियां क्या हैं?

सबसे अधिक अनदेखी की जाने वाली समस्या वही चुनौती है जिसका हम सामना करते हैं पारंपरिक सॉफ़्टवेयर और सिस्टम तैनाती के साथ, न्यूनतम विशेषाधिकार का सिद्धांत। हम अभी भी मानव उपयोगकर्ताओं और सेवा खातों के साथ न्यूनतम विशेषाधिकार के साथ संघर्ष कर रहे हैं और अब संगठनों को एक नई चुनौती का सामना करना पड़ रहा है गैर-मानव पहचान (एनआईएच)। लोग एजेंट तैनात कर रहे हैं जबकि एजेंट पहचान और पहुंच अभी तक पूरी तरह से समझी या हल नहीं हुई है। हम एजेंटों को व्यापक अनुमतियां देखते हैं जो दस्तावेज़ पढ़ने, बाहरी एपीआई तक पहुंचने, और यहां तक कि सिस्टम में बदलाव करने की अनुमति देते हैं। यह मॉडल में एक तकनीकी दोष नहीं है, यह एक मूलभूत वास्तुशिल्प गलती है। एक समझौता एजेंट को अत्यधिक विशेषाधिकार दिया जा सकता है जो विनाशकारी परिणाम पैदा कर सकता है, डेटा की बड़ी मात्रा को निकाल सकता है या वित्तीय लेनदेन शुरू कर सकता है।

एक और अक्सर अनदेखी या अनदेखी की जाने वाली समस्या “विश्वास” संबंध है एजेंटों के बीच। एजेंटिक सिस्टम में, एजेंट अक्सर एक दूसरे के साथ संवाद और सहयोग करने के लिए डिज़ाइन किए जाते हैं। हम एक नए वर्ग के हमलों को देख रहे हैं जहां एक समझौता एजेंट एक वैध एक की नकल कर सकता है, मूल रूप से एक “एजेंट-इन-द-मध्य” बन जाता है। यह एक ट्रोजन हॉर्स की तरह है लेकिन एक वास्तुशिल्प स्तर पर।

क्या आप उद्यम सुरक्षा टीमों के लिए कार्रवाई योग्य कदमों के माध्यम से चल सकते हैं जब वे उत्पादन वातावरण में एजेंटिक एआई टूल्स तैनात करते हैं?

1. घटना प्रतिक्रिया योजनाओं से शुरू करें। सबसे बुरा दिन क्या दिखता है, फिर सुनिश्चित करने के लिए पीछे की ओर काम करें कि सुरक्षा नियंत्रण और दृश्यता स्थान पर हैं। जब एक एआई उल्लंघन होता है, तो आपके सुरक्षा संचालन केंद्र को एक प्लेबुक की आवश्यकता होती है। कौन सूचित किया जाता है? एक समझौता एजेंट को कैसे अलग किया जाता है? एक ज्ञात-गुड़ स्थिति में वापस रोल करने की प्रक्रिया क्या है? एक संकट से पहले एक योजना होना महत्वपूर्ण है।

2. हमले की सतह इन्वेंट्री और खतरा मूल्यांकन। आप जो नहीं जानते हैं उसे सुरक्षित नहीं कर सकते। पहला कदम सभी एआई एजेंटों, उपकरणों का उपयोग और डेटा पहुंच का पूरा इन्वेंट्री प्राप्त करना है। यह कौन सा डेटा छूता है? इसके पास क्या अनुमतियां हैं? समझौता होने पर इसका क्या प्रभाव हो सकता है? उच्च प्रभाव और सबसे अधिक संभावित खतरों पर प्राथमिकता दें। फिर कार्यकारी टीम के साथ जोखिम भूख पर एक ईमानदार बातचीत करें। त्वरित एआई गतिविधि का एक लाभ यह है कि सीआईएसओ, जोखिम अधिकारी, कानूनी टीमें और कार्यकारी नेतृत्व को व्यवसायिक उद्देश्यों, जोखिम भूख, और सुरक्षा बजट के बारे में वास्तविक बातचीत करने के लिए मजबूर किया जाएगा। ऐतिहासिक रूप से, एक अपेक्षा थी कि कोई घटना नहीं होगी न्यूनतम बजट के साथ। सीआईएसओ (मुख्य रूप से) एक बड़े घटना से बचने में सक्षम थे सुरक्षा को लागू करके जो संगठन को एक कम सुरक्षित संगठन की तुलना में कम आकर्षक बनाता था। एआई-सक्षम प्रतिद्वंद्वी इस रणनीति को अवास्तविक बनाते हैं।

3. गार्डरेल, न्यूनतम विशेषाधिकार, और निगरानी उपकरण लागू करें। दायरा किसी भी एजेंट तैनाती के लिए महत्वपूर्ण है। एक एजेंट के उद्देश्य, इसकी सीमाएं, और इसकी अनुमतियों को परिभाषित करें। एक एजेंट को अपनी पूरी शेयरपॉइंट लाइब्रेरी तक पहुंच प्रदान न करें यदि यह केवल एक फ़ोल्डर की आवश्यकता है। नियंत्रण लागू करें जो सीमित करते हैं कि यह कौन से एपीआई को कॉल कर सकता है और यह क्या कार्रवाई कर सकता है। इसे एक नए, बहुत ही स्मार्ट, नशे में धुत इंटर्न की तरह सोचें जिसे आप पहचानते हैं कि इसमें अद्भुत क्षमताएं हैं, लेकिन आप इस पर विश्वास नहीं करेंगे। आप इसे कंपनी के भीतर क्या कर सकते हैं इसे सीमित करेंगे, आप इसे कुछ भी महत्वपूर्ण तक पहुंच प्रदान नहीं करेंगे, आप यह देखेंगे कि यह क्या करता है और आप अलार्म प्रणाली स्थापित करेंगे यदि यह कुछ ऐसा करने की कोशिश करता है जो यह绝 नहीं करना चाहिए जैसे सीईओ के कार्यालय तक पहुंच।

4. एक एआई-विशिष्ट सुरक्षा स्टैक लागू करें जो आपके पारंपरिक सुरक्षा स्टैक के साथ मेल खाता है। पारंपरिक सुरक्षा उपकरण जेनएआई सिस्टम या एजेंटिक सिस्टम के लिए डिज़ाइन नहीं किए गए थे। आपको ऐसे उपकरण लागू करने की आवश्यकता है जो जेनएआई और एजेंटिक सिस्टम के लिए विशिष्ट मुद्दों जैसे प्रॉम्प्ट वैलिडेशन, आउटपुट सैनिटाइजेशन, और एजेंट व्यवहार की निरंतर निगरानी के लिए डिज़ाइन किए गए हैं।

5. अपने सीआई/सीडी पाइपलाइन में एआई रेड टीमिंग को एकीकृत करें। आपको अपने एजेंटों को निरंतर रूप से कमजोरियों के लिए परीक्षण करने की आवश्यकता है जोखिम के महत्व और संगठन की जोखिम भूख के आधार पर। हाल ही में जीपीटी-5 अपडेट एक उदाहरण है कि कैसे विघटनकारी परिवर्तन एजेंटिक वर्कफ़्लोज़ पर हो सकते हैं। स्वचालित रेड-टीमिंग को अपने विकास जीवन चक्र का एक मूलभूत हिस्सा बनाएं। यह आपको अपने एजेंटों को अद्यतन और बदलने के दौरान मुद्दों की पहचान करने में मदद करता है।

संगठनों को अपनी जेनएआई जोखिम प्रबंधन रणनीति में स्वचालित रेड-टीमिंग, सीआईएएम, आरएजी शासन, और निगरानी को कैसे एकीकृत करना चाहिए?

मुख्य बात एकीकरण है जो उन्हें अलग-अलग पहलों के रूप में मानता है। आपकी जेनएआई जोखिम प्रबंधन रणनीति एक सुसंगत ढांचा होना चाहिए जहां प्रत्येक घटक दूसरों को मजबूत करता है।

स्वचालित रेड-टीमिंग के साथ शुरू करें। यह महत्वपूर्ण है कि आपके पास खतरे के परिदृश्य के साथ विकसित होने वाला निरंतर प्रतिद्वंद्वी परीक्षण हो। एसपीएलएक्स प्लेटफ़ॉर्म जोखिम श्रेणियों में हज़ारों हमले परिदृश्यों का अनुकरण करता है, प्रॉम्प्ट इंजेक्शन, जेलब्रेक, संदर्भ मैनिपुलेशन, और टूल पॉइज़निंग के लिए परीक्षण करता है। महत्वपूर्ण पहलू यह है कि इसे अपने सीआई/सीडी पाइपलाइन का हिस्सा बनाना है ताकि हर एजेंट अपडेट को तैनाती से पहले सुरक्षा-मान्य किया जा सके।

सीआईएएम के लिए एआई सिस्टम के लिए पारंपरिक पहचान मॉडल को फिर से सोचने की आवश्यकता है। एआई एजेंटों को ग्रैन्युलर अनुमतियों की आवश्यकता होती है जिन्हें संदर्भ और जोखिम स्तरों के आधार पर गतिविधि से समायोजित किया जा सकता है। विशेषता-आधारित पहुंच नियंत्रण लागू करें जो केवल एजेंट की पहचान पर विचार नहीं करता है, बल्कि यह डेटा भी प्रोसेस करता है, यह जिस टूल तक पहुंच का अनुरोध करता है, और खतरे का संदर्भ।

निगरानी के लिए, आपको तकनीकी और व्यवहार संबंधी संकेतक दोनों को पकड़ने वाली टेलीमेट्री की आवश्यकता है। तकनीकी निगरानी में इनपुट/आउटपुट विश्लेषण, एपीआई कॉल पैटर्न, और संसाधन उपभोग शामिल हैं। व्यवहार संबंधी निगरानी में निर्णय की गुणवत्ता, कार्य पूर्णता पैटर्न, और संदर्भ बातचीत शामिल हैं जो समझौता दर्शा सकते हैं।

एकीकरण महत्वपूर्ण है। रेड-टीमिंग परिणाम सीआईएएम नीतियों को सूचित करना चाहिए, निगरानी प्रणाली आरएजी शासन प्रक्रियाओं में वापस फीड करना चाहिए, और सभी को एक केंद्रीय उद्यम जोखिम प्रबंधन प्लेटफ़ॉर्म के माध्यम से समन्वित किया जाना चाहिए जो इन सभी डोमेन में संकेतों को संबंधित कर सकता है।

एआई से संबंधित उल्लंघन अभी भी प्रारंभिक चरण में हैं, लेकिन बढ़ने के लिए तैयार हैं, अगले 12 से 18 महीनों में सुरक्षा नेताओं को किन रुझानों की तैयारी करनी चाहिए?

मुझे उम्मीद है कि आपूर्ति श्रृंखला पर हमलों में एक महत्वपूर्ण वृद्धि देखेंगे, जिसमें एआई बुनियादी ढांचे भी शामिल हैं। एआई आपूर्ति श्रृंखला हमले प्रशिक्षण डेटासेट को जहर देते हैं, मॉडल रिपॉजिटरी को समझौता करते हैं, या सॉफ़्टवेयर निर्भरताओं में दुर्भाग्यपूर्ण कोड को एम्बेड करते हैं ताकि एआई सिस्टम तक स्थायी पहुंच प्राप्त की जा सके।

अभी भी ऑटोनोमस सोशल इंजीनियरिंग जैसे डीपफ़ेक विशिंग की घटना है, लेकिन पूरी तरह से स्वचालित पीढ़ी की ओर विकास है जो मुझे सबसे ज्यादा चिंतित करता है। एआई एजेंट एक ही समय में कई प्लेटफ़ॉर्म पर सामाजिक इंजीनियरिंग अभियानों को संभालने में सक्षम होंगे, प्रत्येक लक्ष्य और संदर्भ के लिए अनुकूलित। यह पारंपरिक रक्षाओं के लिए एक बल गुणक प्रभाव बनाता है जो मशीन की गति से नहीं रखा जा सकता है।

मुझे लगता है कि हम एआई-मूल हमलों का उदय देखेंगे जो मशीन की गति से संचालित होते हैं। पारंपरिक सुरक्षा उपकरण और मानव विश्लेषक एक हमलावर के साथ तालमेल नहीं बिठा सकते जो जटिल, बहु-चरण शोषण को मिलीसेकंड में निष्पादित कर सकता है।

आप जेनएआई जोखिमों के प्रतिक्रिया में नियामक और अनुपालन ढांचे के विकास को कैसे देखते हैं?

मुझे लगता है कि नियामक ढांचे में एक बड़ा बदलाव होगा, जो नवाचार के साथ जोखिम पर ध्यान केंद्रित करने के लिए तैयार होगा। मुझे उम्मीद है कि डेटा प्रोवेनेंस और अखंडता पर ध्यान केंद्रित किया जाएगा। नियामक निकाय यह जानना चाहेंगे कि एआई मॉडल को प्रशिक्षित और बढ़ाने के लिए उपयोग किया गया डेटा कहां से आया था। वे यह देखना चाहेंगे कि डेटा को सैनिटाइज़ किया गया था, यह संवेदनशील जानकारी नहीं थी, और यह जहरीला नहीं था।

अंत में, मुझे लगता है कि हम क्षेत्र-विशिष्ट नियमन देखेंगे। एक वित्तीय संस्थान के लिए जो एक एआई एजेंट का उपयोग लेन-देन को संभालने के लिए करता है, जोखिम एक स्वास्थ्य सेवा कंपनी से भिन्न होते हैं जो निदान के लिए इसका उपयोग करती है। नियामक निकाय महत्वपूर्ण उद्योगों के लिए विशिष्ट मानकों को परिभाषित करना शुरू कर देंगे, जैसे कि स्वचालित रेड-टीमिंग, मानव-इन-द-लूप पर्यवेक्षण, और जीवन या मृत्यु के परिणामों वाले एआई सिस्टम के लिए सख्त ऑडिटिंग की आवश्यकता होगी।

बोइस स्टेट के संस्थान फॉर परवेसिव साइबर सुरक्षा में एक एडजंक्ट प्रोफेसर और बोर्ड सदस्य के रूप में, आप अगली पीढ़ी के एआई-सुरक्षा पेशेवरों को कैसे तैयार कर रहे हैं, और आज के विकसित परिदृश्य में आपको कौन से कौशल सबसे महत्वपूर्ण लगते हैं?

सITICAL सोच और समस्या समाधान अभी भी सबसे महत्वपूर्ण कौशल हैं जिन्हें छात्रों को एक महान करियर के लिए साइबर सुरक्षा में आवश्यकता होती है, लेकिन कौशल जैसे मानव मनोविज्ञान और भाषाविज्ञान, जो एक बार साइबर खतरा खुफिया टीमों में पाए जाते थे, वे विभिन्न साइबर सुरक्षा नौकरी भूमिकाओं में लाभान्वित होंगे एआई भविष्य में।

लोगों और संचार कौशल भी महत्वपूर्ण हैं। साइबर सुरक्षा केवल आईटी सिस्टम के बारे में नहीं है, यह लोगों के बारे में है, व्यवसाय को अपने व्यवसायिक उद्देश्यों को पूरा करने में मदद करना, और जटिल तकनीकी जोखिमों को गैर-तकनीकी हितधारकों के लिए अनुवाद और संवाद करने में सक्षम होना ताकि वे कंपनी के लिए सही निर्णय ले सकें। साइबर सुरक्षा का भविष्य उन पेशेवरों पर निर्भर करेगा जो न केवल तकनीकी रूप से स्मार्ट हैं बल्कि जमीनी और कुशल संचारकर्ता भी हैं।

अंत में, एआई सुरक्षा परिदृश्य इतनी तेजी से विकसित हो रहा है, इसलिए यह महत्वपूर्ण है कि जल्दी से सीखने और अनुकूलन करने में सक्षम होने के लिए।

साक्षात्कार और विस्तृत अंतर्दृष्टि के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें एसपीएलएक्स पर जाना चाहिए।