सैंडी डन, सीप्लेक्स में सीआईएसओ – साक्षात्कार श्रृंखला

सैंडी डन, सीप्लेक्स में सीआईएसओ एक अनुभवी सीआईएसओ हैं जिनके पास स्वास्थ्य सेवा और स्टार्टअप्स में 20+ वर्षों का अनुभव है, और वे क्वार्कआईक्यू के माध्यम से सीआईएसओ परामर्श प्रदान करते हैं। वह ओवासपी टॉप 10 फॉर एलएलएम एप्लिकेशन साइबर सुरक्षा और शासन चेकलिस्ट का नेतृत्व करती हैं और ओवासपी एआई एक्सचेंज, ओवासपी टॉप 10 फॉर एलएलएम, और क्लाउड सुरक्षा गठबंधन में योगदान करती हैं। बोइस स्टेट यूनिवर्सिटी में साइबर सुरक्षा की सहायक प्रोफेसर, वह बोइस स्टेट के संस्थान फॉर परवेसिव साइबर सुरक्षा की एक बार-बार बोलने वाली और सलाहकार हैं। सैंडी के पास सैंस से सूचना सुरक्षा प्रबंधन में मास्टर्स है और सीआईएसएसपी, कई सैंस जीआईएसी प्रमाणपत्र, सुरक्षा+, आईएसटीक्यूबी, और एफएआईआर जैसे कई प्रमाणपत्र हैं।

सीप्लेक्स एक साइबर सुरक्षा कंपनी है जो स्वचालित रेड-टीमिंग, रनटाइम सुरक्षा, शासन, उपचार, खतरा निरीक्षण, और मॉडल सुरक्षा के माध्यम से एआई प्रणालियों के लिए अंत-से-अंत सुरक्षा प्रदान करती है। इसका प्लेटफ़ॉर्म एक घंटे से कम समय में हज़ारों प्रतिद्वंद्वी सिमुलेशन चलाता है ताकि कमजोरियों की पहचान की जा सके, प्रणाली प्रोम्प्ट्स को तैनाती से पहले मजबूत कर देता है, और इसमें एजेंटिक रडार शामिल है, जो एक खुला स्रोत उपकरण है जो मल्टी-एजेंट एआई वर्कफ़्लो में जोखिमों को मैप और विश्लेषण करने के लिए।

आपको एआई और साइबर सुरक्षा के बीच के संगम में क्या आकर्षित किया, और यह पथ आपको सीप्लेक्स में आपकी भूमिका और ओवासपी के साथ जुड़ने के लिए कैसे ले आया?

एआई ने साइबर सुरक्षा वार्ताओं में वर्षों से भाग लिया था, लेकिन यह अक्सर ऐसा महसूस होता था कि यह अपने हYPE तक नहीं पहुंचा था। इसलिए, जब यह लॉन्च हुआ, तो मुझे लगता था कि मैं निराश हो जाऊंगा, लेकिन इसके बजाय मेरी प्रतिक्रिया बिल्कुल विपरीत थी। जब मैंने पहली बार चैटजीपीटी का उपयोग किया, तो मैं इसकी क्षमताओं से आश्चर्यचकित था और इसके द्वारा होने वाले प्रतिकूल हमलों या गोपनीयता के दुरुपयोग की संभावना से डरा हुआ था।

यह पल एक आग की तरह था। मैंने एलएलएम्स में गोता लगाया, हर शोध पत्र पढ़ा जो मैं पढ़ सकता था, हर प्रासंगिक स्लैक और डिस्कॉर्ड समुदाय में शामिल हो गया, और अपने प्रयोग चलाए। मैं ओवासपी टॉप 10 फॉर एलएलएम्स चैनल में एक समय के लिए छिपा रहा, और जब पहली सूची प्रकाशित हुई, तो मुझे पता था कि यह एक महत्वपूर्ण मील का पत्थर था। लेकिन एक सीआईएसओ के रूप में, मुझे लगता था कि सुरक्षा टीमों को अधिक जानकारी की आवश्यकता है। हमने लोगों को बताया था कि उन्हें क्या चिंतित होना चाहिए, लेकिन उन्हें यह नहीं बताया कि उन्हें क्या करना चाहिए। मैंने स्टीव विल्सन, परियोजना के नेता, से एक “एलएलएम सुरक्षा सीआईएसओ चेकलिस्ट” बनाने के बारे में संपर्क किया। यह फिर ओवासपी जेनएआई सब-प्रोजेक्ट बन गया, जिसने कई अतिरिक्त सब-प्रोजेक्ट्स को प्रेरित किया।

इस काम के माध्यम से, मैं क्रिस्टियन काम्बर और एंटे गोजालिक (सीप्लेक्स के संस्थापक) से मिला, और मैंने कई एआई सुरक्षा स्टार्टअप्स को सलाह दी, जिनमें से कुछ में आशाजनक विचार थे, जबकि अन्य में कम थे। उस समय, मैं एक बी2बी चैटबॉट कंपनी में सीआईएसओ था, जो एक व्यापक एआई प्रतिद्वंद्वी परीक्षण प्लेबुक बना रहा था। जब मैंने सीप्लेक्स के डेमो को देखा, तो मुझे तुरंत पता चला कि उन्होंने उस समस्या का समाधान किया था जिसके साथ मैं जूझ रहा था: प्रतिद्वंद्वी परीक्षण को कैसे संचालित किया जाए। जब सीप्लेक्स को एक सीआईएसओ की आवश्यकता थी, तो मैं एक अद्भुत कंपनी में शामिल होने के अवसर को抓 नहीं पाया जो महत्वपूर्ण चुनौतियों का समाधान कर रही थी।

सीप्लेक्स में सीआईएसओ के रूप में, आप कौन सी सबसे नए हमले की तकनीकों का पता लगा रहे हैं, विशेष रूप से एजेंटिक एआई के संबंध में?

जेनएआई प्रणाली डिज़ाइन की बारीकियों के कारण, जेनएआई कमजोरियों और हमलों को समाप्त करना जो एजेंट की स्वायत्तता और क्षमताओं का शोषण करते हैं, असंभव है। मेमोरी पॉइज़निंग हमले जैसे मिनजा एक हालिया उदाहरण है। मिनजा के साथ, हमलावर क्राफ्टेड इंटरैक्शन के माध्यम से एक एजेंट के मेमोरी बैंकों को भ्रष्ट कर सकते हैं, जो बाद में हानिकारक “स्मृतियों” को प्रम्प्ट परिणामों के साथ प्रत्यारोपित करते हैं। एक और उदाहरण इको चैंबर हमला है। यह हमला एक प्रतिद्वंद्वी द्वारा एक एजेंट को बार-बार दुर्भाग्यपूर्ण संदर्भ भेजने के द्वारा किया जाता है। शोधकर्ताओं ने सुरक्षा तंत्रों को बायपास करने के लिए हानिकारक निर्देशों को कई मोड़ों पर प्रबलित किया।

प्रत्यक्ष और क्रॉस-मॉडल प्रॉम्प्ट इंजेक्शन एक और उदाहरण है। दुर्भाग्यपूर्ण निर्देश बाहरी सामग्री जैसे छवियों या दस्तावेजों में छिपे होते हैं जिन्हें एजेंट उपभोग करते हैं। ये निर्देश स्वचालित निर्णय लेने को हाईजैक कर सकते हैं बिना उपयोगकर्ता के सीधे इनपुट के।

सोफिस्टिकेटेड एआई एजेंट पारिस्थितिकी तंत्र हमले जैसे टूल पॉइज़निंग के लिए एआई एजेंट तैनाती के लिए पूरे आपूर्ति श्रृंखला की सावधानीपूर्वक समीक्षा की आवश्यकता होती है। हमलावर एजेंट प्लेटफ़ॉर्म के लिए कथित तौर पर वैध उपकरण बनाते हैं लेकिन उपकरण विवरण और दस्तावेज़ में दुर्भाग्यपूर्ण निर्देश एम्बेड करते हैं। जब एजेंट इन उपकरणों को लोड करते हैं, तो एम्बेडेड निर्देश एजेंट के संदर्भ का हिस्सा बन जाते हैं, जो अनधिकृत कार्यों जैसे डेटा एक्सफ़िल्ट्रेशन या सिस्टम समझौता करने में सक्षम बनाता है।

सीप्लेक्स प्लेटफ़ॉर्म एलएलएम-विशिष्ट खतरों जैसे प्रॉम्प्ट इंजेक्शन या प्रतिद्वंद्वी जेलब्रेक हमलों का पता लगाने और प्रतिक्रिया करने में संगठनों की मदद कैसे करता है?

सीप्लेक्स एक अंत-से-अंत सुरक्षा प्लेटफ़ॉर्म है जो एलएलएम-संचालित अनुप्रयोगों और मल्टी-एजेंट प्रणालियों को विकास से लेकर तैनाती तक और वास्तविक समय संचालन तक सुरक्षित करता है। हमारा एआई रनटाइम सुरक्षा इन खतरों को रोकने के लिए डिज़ाइन किया गया है क्योंकि वे होते हैं durch लगातार इनपुट और आउटपुट की निगरानी और फ़िल्टरिंग। यह एक वास्तविक समय की आग की दीवार है जो एआई के लिए सख्त व्यवहार सीमाएं लागू करती है। सीप्लेक्स का डायनामिक डिटेक्शन इंजन वास्तविक समय में दुर्भाग्यपूर्ण गतिविधि को झंडा देता है, यह सुनिश्चित करता है कि एआई प्रणालियां सुरक्षित रूप से प्रतिक्रिया देती हैं और इरादित सीमाओं के भीतर रहती हैं।

ओवासपी की अद्यतन जेनएआई सुरक्षा टॉप 10 में सिस्टम-प्रॉम्प्ट लीकेज और वेक्टर-डेटाबेस कमजोरियों जैसे प्रमुख जोखिमों का विस्तार कैसे करता है? यह नए खतरों को कैसे दर्शाता है जो विरोधी परिदृश्य को बदलते हैं?

2025 ओवासपी टॉप 10 अद्यतन जेनएआई प्रौद्योगिकियों के वास्तविक दुनिया के परिदृश्यों में उपयोग की बढ़ती समझ को दर्शाते हैं। यह इंगित करना महत्वपूर्ण है कि एलएलएम्स के लिए दस से अधिक खतरे हैं, लेकिन लक्ष्य शीर्ष 10 की पहचान करना है। बड़े परिवर्तन एलएलएम07 असुरक्षित प्लगइन डिज़ाइन को आपूर्ति श्रृंखला में शामिल किया गया था और एलएलएम010 मॉडल चोरी को अनबाउंडेड खपत में शामिल किया गया था जो 2025 सूची के लिए कमरा बनाता है:

1. सिस्टम-प्रॉम्प्ट लीकेज जो सिस्टम प्रॉम्प्ट के खुलासे के खतरे की पहचान करता है जो गार्डरेल, तर्क प्रवाह, या एलएलएम प्रॉम्प्ट्स में निहित रहस्यों का खुलासा कर सकता है।

2. वेक्टर-डेटाबेस कमजोरियों ने आरएजी प्रणालियों में सुरक्षा मुद्दों को झंडा दिया, जैसे क्रॉस-टेनेंट डेटा लीक, एम्बेडिंग इनवर्सन, या जहरीले दस्तावेज़ जो बाद में खतरनाक आउटपुट का कारण बनते हैं।

3. अद्यतन यह दिखाते हैं कि एआई-फ़ोकस्ड हमले क्राफ्टेड अवसरवादी प्रॉम्प्ट हमलों से उन्नत हमलों में बदल गए हैं जो पूरे एआई प्रणाली को लक्षित करते हैं। आधुनिक हमले पूरे एआई प्रणाली पर रणनीतिक सोच को प्रदर्शित करते हैं, जो एक-बार के शोषण के बजाय दृढ़ता, पैमाने और प्रणालीगत प्रभाव पर ध्यान केंद्रित करते हैं।

एजेंटिक आर्किटेक्चर के विस्तार को स्वीकार करना एक और महत्वपूर्ण विकास है। जब एआई प्रणालियां अधिक स्वायत्तता और निर्णय लेने की क्षमता प्राप्त करती हैं, तो सुरक्षा विफलताओं के परिणामों की संख्या बढ़ जाती है। मानव पर्यवेक्षण को कम करना, जबकि अधिक शक्तिशाली अनुप्रयोगों को सक्षम करना, एक प्रभाव को बढ़ाता है जो सफल हमलों के प्रभाव को बढ़ाता है।

आपके विचार में, आज एजेंटिक एआई को तैनात करने वाले उद्यमों में सबसे अधिक अनदेखी कमजोरियां क्या हैं?

सबसे आम अनदेखी मुद्दा वही चुनौती है जिसका हम पारंपरिक सॉफ़्टवेयर और प्रणाली तैनाती के साथ सामना करते हैं, न्यूनतम विशेषाधिकार का सिद्धांत। हम अभी भी मानव उपयोगकर्ताओं और सेवा खातों के लिए न्यूनतम विशेषाधिकार के साथ संघर्ष कर रहे हैं और अब संगठनों को गैर-मानव पहचान (एनआईएच) प्रबंधन की एक नई चुनौती का सामना करना पड़ रहा है। लोग एजेंटों को तैनात कर रहे हैं जबकि एजेंट पहचान और पहुंच अभी तक पूरी तरह से समझी या हल नहीं हुई है। हम एजेंटों को व्यापक अनुमतियां देते हुए देख रहे हैं ताकि वे दस्तावेज़ पढ़ सकें, बाहरी एपीआई तक पहुंच सकें और даже प्रणालियों को संशोधित कर सकें। यह मॉडल में एक तकनीकी दोष नहीं है, यह एक मूलभूत वास्तुकला त्रुटि है। एक समझौता एजेंट के साथ अत्यधिक विशेषाधिकार एक बड़ी मात्रा में डेटा को निकालने से लेकर वित्तीय लेनदेन शुरू करने तक विनाशकारी परिणाम पैदा कर सकता है।

एक और अक्सर अनदेखी या अनदेखी किया जाने वाला मुद्दा “विश्वास” संबंध है जो एजेंटों के बीच होता है। एजेंटिक प्रणालियों में, एजेंटों को अक्सर एक दूसरे के साथ संवाद और सहयोग करने के लिए डिज़ाइन किया जाता है। हम एक नए वर्ग के हमलों को देख रहे हैं जहां एक समझौता एजेंट एक वैध एजेंट की नकल कर सकता है, मूल रूप से एक “एजेंट-इन-द-मिडल” बन जाता है। यह एक ट्रोजन हॉर्स है लेकिन वास्तुकला स्तर पर।

उद्यम सुरक्षा टीमों को उत्पादन वातावरण में एजेंटिक एआई टूल्स को तैनात करते समय क्या कार्रवाई करनी चाहिए?

1. घटना प्रतिक्रिया योजनाओं से शुरू करें। सबसे बुरा दिन क्या दिखता है, फिर सुनिश्चित करें कि सुरक्षा नियंत्रण और दृश्यता जगह में हैं। जब एक एआई उल्लंघन होता है, तो आपको सुरक्षा संचालन केंद्र में एक प्लेबुक की आवश्यकता होती है। किसे सूचित किया जाना चाहिए? एक समझौता एजेंट को कैसे अलग किया जाए? किसी ज्ञात-सुरक्षित स्थिति में वापस रोल करने की प्रक्रिया क्या है? एक संकट से पहले एक योजना होना महत्वपूर्ण है।

2. हमले की सतह का इन्वेंट्री और खतरा मूल्यांकन। आप जो नहीं जानते हैं उसे सुरक्षित नहीं कर सकते। पहला कदम सभी एआई एजेंटों, उपकरणों और डेटा पहुंच का पूरा इन्वेंट्री प्राप्त करना है। यह डेटा क्या छूता है? इसके क्या अनुमतियां हैं? यदि यह समझौता हो जाता है तो क्या प्रभाव हो सकता है? उच्च प्रभाव और सबसे अधिक संभावित खतरों पर प्राथमिकता दें। फिर कार्यकारी टीम के साथ जोखिम भूख पर एक खुली बातचीत करें। एआई गतिविधि का त्वरण लाभ यह है कि सीआईएसओ, जोखिम अधिकारी, कानूनी टीम और कार्यकारी नेतृत्व को व्यवसायिक उद्देश्यों, जोखिम भूख और सुरक्षा बजट के बारे में वास्तविक बातचीत करने के लिए मजबूर किया जाएगा। ऐतिहासिक रूप से, एक अपेक्षा थी कि न्यूनतम बजट के साथ कोई घटना नहीं होगी। सीआईएसओ ने (मुख्य रूप से) एक बड़े घटना से बचने के लिए पर्याप्त सुरक्षा लागू करके इसे प्रबंधित किया है। एआई-सक्षम प्रतिद्वंद्वी इस रणनीति को अवास्तविक बनाते हैं।

3. गार्डरेल, न्यूनतम विशेषाधिकार और निगरानी उपकरण लागू करें। दायरा किसी भी एजेंट तैनाती के लिए महत्वपूर्ण है। एजेंट के उद्देश्य, इसकी सीमाएं और अनुमतियों को परिभाषित करें। यदि एजेंट को केवल एक फ़ोल्डर तक पहुंच की आवश्यकता है, तो इसे पूरे शेयरपॉइंट लाइब्रेरी तक पहुंच न दें। उन नियंत्रणों को लागू करें जो सीमित करते हैं कि यह किन एपीआई को कॉल कर सकता है और क्या कार्रवाई कर सकता है। इसे एक नए, बहुत ही स्मार्ट, शराबी इंटर्न की तरह सोचें। आप इसकी क्षमताओं को पहचानते हैं, लेकिन आप इसे पूरी तरह से विश्वास नहीं करते हैं। आप इसकी कंपनी के भीतर क्या कर सकते हैं इसे सीमित करेंगे, आप इसकी पहुंच को महत्वपूर्ण चीजों तक सीमित रखेंगे, आप इसकी निगरानी करेंगे और आप अलार्म प्रणाली स्थापित करेंगे यदि यह कुछ ऐसा करने का प्रयास करता है जो यह绝 नहीं करना चाहिए, जैसे सीईओ के कार्यालय तक पहुंच।

4. एक एआई-विशिष्ट सुरक्षा स्टैक लागू करें जो आपके पारंपरिक सुरक्षा स्टैक के साथ मिल जाता है। पारंपरिक सुरक्षा उपकरण जेनएआई प्रणालियों या एजेंटिक प्रणालियों के लिए डिज़ाइन नहीं किए गए थे। आपको ऐसे उपकरण लागू करने की आवश्यकता है जो जेनएआई के लिए विशिष्ट मुद्दों जैसे प्रॉम्प्ट सत्यापन, आउटपुट सैनिटाइजेशन और एजेंट व्यवहार की निरंतर निगरानी के लिए डिज़ाइन किए गए हैं। इन उपकरणों को जेनएआई और एजेंटिक प्रणालियों के लिए विशिष्ट सूक्ष्म, सेमेंटिक-आधारित हमलों का पता लगाने में सक्षम होना चाहिए।

5. अपने सीआई/सीडी पाइपलाइन में एआई रेड टीमिंग को एकीकृत करें। आपको अपने एजेंटों को निरंतर रूप से कमजोरियों के लिए परीक्षण करने की आवश्यकता है, जो परिवर्तनों के महत्व और संगठन की जोखिम भूख पर निर्भर करता है। हाल ही में जीपीटी-5 अपडेट एक उदाहरण है कि कैसे विघटनकारी परिवर्तन एजेंटिक वर्कफ़्लो पर हो सकते हैं। स्वचालित रेड टीमिंग को अपने विकास जीवनचक्र का एक मूलभूत हिस्सा बनाएं। यह आपको अपने एजेंटों को अपडेट और बदलने के रूप में मुद्दों की पहचान करने में मदद करता है।

संगठनों को अपने जेनएआई जोखिम प्रबंधन रणनीति में स्वचालित रेड टीमिंग, सीआईएएम, आरएजी शासन और निगरानी को कैसे एकीकृत करना चाहिए?

मुख्य बात एकीकरण है और उन्हें अलग-अलग पहलों के रूप में नहीं मानना चाहिए। आपकी जेनएआई जोखिम प्रबंधन रणनीति को एक सुसंगत ढांचे के रूप में होना चाहिए जहां प्रत्येक घटक दूसरों को मजबूत करता है।

स्वचालित रेड टीमिंग के साथ शुरू करें। यह महत्वपूर्ण है कि आपके पास खतरे के परिदृश्य के साथ विकसित होने वाला निरंतर प्रतिद्वंद्वी परीक्षण हो। सीप्लेक्स प्लेटफ़ॉर्म विभिन्न जोखिम श्रेणियों में हज़ारों हमले परिदृश्यों का अनुकरण करता है, प्रॉम्प्ट इंजेक्शन, जेलब्रेक, संदर्भ हेरफेर और टूल पॉइज़निंग के लिए परीक्षण करता है। महत्वपूर्ण पहलू यह है कि इसे अपने सीआई/सीडी पाइपलाइन में शामिल करना ताकि प्रत्येक एजेंट अपडेट को तैनाती से पहले सुरक्षा-मान्य किया जा सके।

एआई प्रणालियों के लिए सीआईएएम के लिए पारंपरिक पहचान मॉडल को पुनः सोचें। एआई एजेंटों को संदर्भ और जोखिम स्तरों के आधार पर गतिविधि अनुमतियों की आवश्यकता होती है। विशेषता-आधारित पहुंच नियंत्रण लागू करें जो केवल एजेंट की पहचान पर विचार नहीं करता है, बल्कि डेटा को संसाधित करता है, अनुरोधित उपकरणों तक पहुंच और खतरे के संदर्भ को भी ध्यान में रखता है।

आरएजी शासन विशेष रूप से महत्वपूर्ण है। वेक्टर स्टोर में ली गई सभी सामग्री के लिए डेटा वंशावली ट्रैकिंग स्थापित करें। सामग्री सत्यापन पाइपलाइनें लागू करें जो दस्तावेजों में एम्बेडेड दुर्भाग्यपूर्ण उदाहरणों या दुर्भाग्यपूर्ण निर्देशों का पता लगा सकती हैं।

निगरानी के लिए, आपको तकनीकी और व्यवहार संबंधी संकेतक दोनों को पकड़ने वाली टेलीमेट्री की आवश्यकता है। तकनीकी निगरानी में इनपुट/आउटपुट विश्लेषण, एपीआई कॉल पैटर्न और संसाधन खपत शामिल है। व्यवहार संबंधी निगरानी में निर्णय की गुणवत्ता, कार्य पूर्णता पैटर्न और संभावित समझौते का संकेत देने वाले संदर्भ शामिल हैं।

एकीकरण महत्वपूर्ण है। रेड टीमिंग परिणाम सीआईएएम नीतियों को सूचित करना चाहिए, निगरानी प्रणाली आरएजी शासन प्रक्रियाओं में प्रतिक्रिया देनी चाहिए, और यह सब एक केंद्रीय उद्यम जोखिम प्रबंधन प्लेटफ़ॉर्म के माध्यम से समन्वित किया जाना चाहिए जो इन सभी डोमेन में संकेतों को संबंधित कर सकता है।

एआई से संबंधित उल्लंघन अभी भी शुरुआती चरण में हैं, लेकिन बढ़ने के लिए तैयार हैं, अगले 12 से 18 महीनों में सुरक्षा नेताओं को कौन से रुझान तैयार करने चाहिए?

मुझे उम्मीद है कि एआई बुनियादी ढांचे सहित सब कुछ पर हमला करने वाले आपूर्ति श्रृंखला हमलों में एक महत्वपूर्ण वृद्धि देखी जाएगी। एआई आपूर्ति श्रृंखला हमले प्रशिक्षण डेटासेट को जहर देते हैं, मॉडल रिपॉजिटरी को समझौता करते हैं या सॉफ़्टवेयर निर्भरताओं में दुर्भाग्यपूर्ण कोड को इंजेक्ट करते हैं ताकि एआई प्रणालियों तक स्थायी पहुंच प्राप्त की जा सके।

स्व-निर्देशित सोशल इंजीनियरिंग जैसे डीपफ़ेक विशिंग की घटनाएं पहले से ही बढ़ रही हैं, लेकिन जो मुझे सबसे ज्यादा चिंतित करता है वह यह है कि पूरी तरह से स्व-निर्देशित पीढ़ी की ओर विकास है। एआई एजेंट पूरी सोशल इंजीनियरिंग अभियानों को कई मंचों पर एक साथ चला सकते हैं, प्रत्येक लक्ष्य और संदर्भ के लिए तैयार किया जा सकता है, जो पारंपरिक रक्षा के लिए एक बल गुणक प्रभाव पैदा करता है।

मुझे लगता है कि हम मशीन गति पर काम करने वाले एआई-मूल हमलों का उदय देखेंगे। पारंपरिक सुरक्षा उपकरण और मानव विश्लेषक उन हमलावरों के साथ तालमेल नहीं बिठा सकते हैं जो जटिल, बहु-चरण के शोषण को मिलीसेकंड में निष्पादित कर सकते हैं।

आप जेनएआई जोखिमों के प्रतिक्रिया में नियामक और अनुपालन ढांचे को कैसे विकसित होते देखते हैं?

मुझे लगता है कि नियामक ढांचे में एक बड़ा बदलाव होगा, जो नवाचार के साथ जोखिम के प्रति जवाबदेही पर ध्यान केंद्रित करेगा। मुझे लगता है कि डेटा प्रोवेनेंस और अखंडता पर ध्यान केंद्रित किया जाएगा। नियामक निकाय यह जानना चाहेंगे कि एआई मॉडलों को प्रशिक्षित और बढ़ाने के लिए उपयोग किए जाने वाले डेटा का स्रोत क्या था। वे यह देखना चाहेंगे कि डेटा को सैनिटाइज़ किया गया था, यह सुनिश्चित करने के लिए कि इसमें संवेदनशील जानकारी नहीं थी और यह जहरीला नहीं था।

अंत में, मुझे लगता है कि हम क्षेत्र-विशिष्ट नियमन देखेंगे। वित्तीय संस्थानों के लिए जोखिम जो एआई एजेंट का उपयोग लेन-देन के लिए करते हैं, वे स्वास्थ्य सेवा कंपनी से अलग हैं जो निदान के लिए इसका उपयोग करती है। नियामक संवेदनशील उद्योगों के लिए विशिष्ट मानकों को परिभाषित करना शुरू करेंगे, जैसे कि स्वचालित रेड टीमिंग, मानव-इन-द-लूप पर्यवेक्षण और जीवन या मृत्यु के परिणामों वाले एआई प्रणालियों के लिए सख्त ऑडिटिंग की आवश्यकता होगी।

बोइस स्टेट के संस्थान फॉर परवेसिव साइबर सुरक्षा में एक सहायक प्रोफेसर और बोर्ड सदस्य के रूप में, आप अगली पीढ़ी के एआई-सुरक्षा पेशेवरों को कैसे तैयार कर रहे हैं, और आज के विकसित परिदृश्य में आपको सबसे महत्वपूर्ण कौशल क्या दिखाई देते हैं?

सITICAL सोच और समस्या समाधान अभी भी छात्रों को साइबर सुरक्षा में एक महान करियर के लिए आवश्यक कौशल हैं। हालांकि, मानव मनोविज्ञान और भाषाविज्ञान जैसे कौशल, जो पहले केवल साइबर खतरा खुफिया टीमों में पाए जाते थे, विभिन्न साइबर सुरक्षा भूमिकाओं के लिए एआई भविष्य में लाभकारी होंगे।

लोगों और संचार कौशल भी महत्वपूर्ण हैं। साइबर सुरक्षा केवल आईटी प्रणालियों के बारे में नहीं है, यह लोगों के बारे में है, व्यवसाय को अपने व्यवसायिक उद्देश्यों को पूरा करने में मदद करने और जटिल तकनीकी जोखिमों को गैर-तकनीकी हितधारकों के लिए अनुवाद और संवाद करने में सक्षम होने के बारे में है ताकि वे कंपनी के लिए सही निर्णय ले सकें। साइबर सुरक्षा का भविष्य उन पेशेवरों पर निर्भर करेगा जो न केवल तकनीकी रूप से स्मार्ट हैं बल्कि संचार में भी कुशल हैं।

अंत में, एआई सुरक्षा परिदृश्य इतनी तेजी से विकसित हो रहा है, इसलिए यह महत्वपूर्ण होगा कि जल्दी से सीखने और अनुकूलन करने में सक्षम होने के लिए।

धन्यवाद महान साक्षात्कार और विस्तृत अंतर्दृष्टि के लिए, पाठक जो अधिक जानना चाहते हैं उन्हें सीप्लेक्स पर जाना चाहिए।