कीरन नॉर्टन, डेलॉइट के यूएस साइबर एआई और ऑटोमेशन लीडर – साक्षात्कार श्रृंखला

कीरन नॉर्टन डेलॉइट एंड टाउच एलएलपी में एक प्रिंसिपल (पार्टनर) हैं, जो डेलॉइट के लिए यूएस साइबर एआई और ऑटोमेशन लीडर हैं। 25 वर्षों से अधिक के व्यापक अनुभव और एक ठोस प्रौद्योगिकी पृष्ठभूमि के साथ, कीरन साइबर सुरक्षा और प्रौद्योगिकी जोखिम प्रबंधन में उभरते जोखिमों को संबोधित करने में उत्कृष्टता प्राप्त करते हैं, जिससे ग्राहकों को रणनीतिक और व्यावहारिक अंतर्दृष्टि प्रदान की जाती है।

डेलॉइट के भीतर, कीरन यूएस साइबर प्रैक्टिस के लिए एआई परिवर्तन प्रयासों का नेतृत्व करते हैं। वह एआई और ऑटोमेशन समाधानों के डिजाइन, विकास और बाजार तैनाती की देखरेख करते हैं, जो ग्राहकों को अपनी साइबर क्षमताओं को बढ़ाने और एआई/जेन एआई प्रौद्योगिकियों को अपनाने में मदद करते हैं, साथ ही साथ जुड़े जोखिमों को प्रभावी ढंग से प्रबंधित करते हैं।

बाहरी, कीरन ग्राहकों को उनकी पारंपरिक सुरक्षा रणनीतियों को डिजिटल परिवर्तन, आपूर्ति श्रृंखला को आधुनिक बनाने, बाजार में समय को कम करने, लागत को कम करने और अन्य महत्वपूर्ण व्यावसायिक उद्देश्यों को प्राप्त करने के लिए विकसित करने में मदद करते हैं।

एआई एजेंटों के बढ़ते स्वायत्तता के साथ, कौन से नए साइबर सुरक्षा खतरे उभर रहे हैं जिनकी व्यवसायों को अभी तक पूरी तरह से समझ में नहीं आया है?

नए एआई संबंधित प्रौद्योगिकियों का उपयोग करने से जुड़े जोखिमों को डिजाइन, निर्माण, तैनाती और प्रबंधन करने के लिए समझा जा सकता है – संचालन करना एक अलग मामला है।

एआई एजेंट एजेंसी और स्वायत्तता – एजेंटों की क्षमता जो मानवों के स्वतंत्र रूप से धारणा, निर्णय, कार्य और संचालित करने में सक्षम होती है – उपयोगकर्ताओं, डेटा और अन्य एजेंटों के साथ संबंधों और इंटरैक्शन पर दृश्यता और नियंत्रण बनाए रखने में चुनौतियां पैदा कर सकती है। जब एजेंट उद्यम में गुणा करते हैं, तो कई मंचों और सेवाओं को जोड़ते हैं और स्वायत्तता और निर्णय अधिकारों में वृद्धि करते हैं, यह और भी कठिन हो जाएगा। खराब संरक्षित, अत्यधिक या छाया एआई एजेंसी/स्वायत्तता से जुड़े खतरे कई हैं। इसमें डेटा लीक, एजेंट मैनिपुलेशन (प्रॉम्प्ट इंजेक्शन, आदि के माध्यम से) और एजेंट-टू-एजेंट हमला श्रृंखला शामिल हो सकती है। इनमें से सभी खतरे वर्तमान में नहीं हैं, लेकिन उद्यमों को यह विचार करना चाहिए कि वे एआई संचालित क्षमताओं को अपनाने और परिपक्व होने के रूप में इन खतरों का प्रबंधन कैसे करेंगे।

एआई पहचान प्रबंधन एक और जोखिम है जिस पर विचारशील रूप से विचार किया जाना चाहिए। एआई एजेंटों की मशीन पहचानों की पहचान, स्थापना और प्रबंधन अधिक जटिल हो जाएगा क्योंकि अधिक एजेंटों को तैनात किया जाता है और उद्यमों में उपयोग किया जाता है। एआई मॉडल/मॉडल घटकों की अस्थायी प्रकृति जो बार-बार विभिन्न परिस्थितियों में स्पिन अप और टोर्न डाउन होती है, मॉडल आईडी को बनाए रखने में चुनौतियों का परिणाम होगा। मॉडल पहचान सुरक्षा और विश्वास के दृष्टिकोण से एजेंटों की गतिविधि और व्यवहार की निगरानी के लिए आवश्यक है। यदि इसे ठीक से लागू और निगरानी नहीं की जाती है, तो संभावित मुद्दों (प्रदर्शन, सुरक्षा, आदि) का पता लगाना बहुत मुश्किल होगा।

एआई प्रशिक्षण पाइपलाइनों में डेटा जहरीले हमलों के बारे में हमें कितना चिंतित होना चाहिए, और रोकथाम के लिए सबसे अच्छी रणनीतियां क्या हैं?

डेटा जहरीला एआई मॉडलों को प्रभावित करने/मैनिपुलेट करने के कई तरीकों में से एक है। जहरीला आमतौर पर तब होता है जब एक दुर्भाग्यपूर्ण अभिनेता प्रशिक्षण सेट में हानिकारक डेटा को इंजेक्ट करता है। हालांकि, यह महत्वपूर्ण है कि यह ध्यान दिया जाए कि स्पष्ट विरोधी अभिनेताओं के अलावा, डेटा जहरीला डेटा जेनरेशन में गलतियों या प्रणालीगत मुद्दों के कारण हो सकता है। जैसे ही संगठन अधिक डेटा के लिए भूखे हो जाते हैं और अधिक स्थानों में उपयोग करने योग्य डेटा की तलाश करते हैं (उदाहरण के लिए, आउटसोर्स्ड मैनुअल एनोटेशन, खरीदे या उत्पन्न सिंथेटिक डेटा सेट, आदि), जहरीले प्रशिक्षण डेटा की संभावना बढ़ जाती है, और यह हमेशा आसानी से निदान नहीं किया जा सकता है।

प्रशिक्षण पाइपलाइनों को लक्षित करना विरोधियों द्वारा सूक्ष्म और स्पष्ट प्रभाव के लिए एक प्राथमिक हमला वेक्टर है। एआई मॉडलों के मैनिपुलेशन से झूठे सकारात्मक, झूठे नकारात्मक और अन्य अधिक सूक्ष्म गुप्त प्रभाव शामिल हो सकते हैं जो एआई भविष्यवाणियों को बदल सकते हैं।

रोकथाम रणनीतियों में तकनीकी, प्रक्रियात्मक और वास्तुकला समाधान शामिल हैं। प्रक्रियात्मक रणनीतियों में डेटा सत्यापन/सैनिटाइजेशन और विश्वास मूल्यांकन शामिल हैं; तकनीकी रणनीतियों में सुरक्षा उन्नति के साथ एआई तकनीकों का उपयोग करना शामिल है; वास्तुकला रणनीतियों में शून्य-विश्वास पाइपलाइनों को लागू करना और मजबूत निगरानी/अलर्टिंग शामिल है जो विचलन का पता लगाने में मदद कर सकती है। ये मॉडल अपने डेटा के रूप में अच्छे हैं, भले ही एक संगठन नवीनतम और सबसे बड़े उपकरणों का उपयोग कर रहा हो, इसलिए डेटा जहरीला उन लोगों के लिए एक एचिलीज़ हील हो सकता है जो तैयार नहीं हैं।

एआई मॉडलों को तैनाती के बाद दुर्भाग्यपूर्ण अभिनेता कैसे मैनिपुलेट कर सकते हैं, और उद्यमों को छेड़छाड़ का पता लगाने के लिए कैसे जल्दी से पता लगा सकते हैं?

एआई मॉडलों तक तैनाती के बाद पहुंच आमतौर पर एक एप्लिकेशन प्रोग्रामिंग इंटरफेस (एपीआई), एक एप्लिकेशन के माध्यम से एक एम्बेडेड सिस्टम, और/या एक पोर्ट-प्रोटोकॉल के माध्यम से एक एज डिवाइस तक पहुंच के माध्यम से प्राप्त की जाती है। जल्दी पता लगाने के लिए, सॉफ्टवेयर विकास जीवन चक्र (एसडीएलसी) में जल्दी काम करने की आवश्यकता है, प्रासंगिक मॉडल मैनिपुलेशन तकनीकों को समझने के साथ-साथ प्राथमिकता वाले खतरे वेक्टर को समझने के लिए पता लगाने और सुरक्षा के तरीकों को विकसित करने के लिए। कुछ मॉडल मैनिपुलेशन में एपीआई हाईजैकिंग, मेमोरी स्पेस (रनटाइम) का मैनिपुलेशन, और मॉडल ड्रिफ्ट के माध्यम से धीरे-धीरे जहरीला शामिल है। इन तरीकों के माध्यम से, कुछ जल्दी पता लगाने की रणनीतियों में एंडपॉइंट टेलीमेट्री/मॉनिटरिंग (एंडपॉइंट डिटेक्शन एंड रेस्पॉन्स और एक्सटेंडेड डिटेक्शन एंड रेस्पॉन्स के माध्यम से), सुरक्षित अनुमान पाइपलाइनों (उदाहरण के लिए, गोपनीय कंप्यूटिंग और शून्य-विश्वास सिद्धांतों) को लागू करना, और मॉडल वॉटरमार्किंग/मॉडल साइनिंग को सक्षम करना शामिल हो सकता है।

प्रॉम्प्ट इंजेक्शन एक मॉडल हमलों का परिवार है जो तैनाती के बाद होता है और विभिन्न उद्देश्यों के लिए उपयोग किया जा सकता है, जिसमें अनुचित तरीकों से डेटा निकालना, सामान्य उपयोगकर्ताओं के लिए नहीं बनाए गए सिस्टम प्रॉम्प्ट का खुलासा करना, और मॉडल प्रतिक्रियाओं को प्रेरित करना शामिल है जो एक संगठन को नकारात्मक रूप से चित्रित कर सकते हैं। बाजार में प्रॉम्प्ट इंजेक्शन के जोखिम को कम करने में मदद करने के लिए विभिन्न गार्डरेल टूल हैं, लेकिन साइबर के साथ, यह एक हथियारों की दौड़ है जहां हमले की तकनीकों और रक्षात्मक प्रति-उपायों को लगातार अपडेट किया जा रहा है।

पारंपरिक साइबर सुरक्षा ढांचे एआई प्रणालियों के विशिष्ट जोखिमों को संबोधित करने में कैसे कम पड़ जाते हैं?

हम आमतौर पर ‘साइबर सुरक्षा ढांचे’ को मार्गदर्शन और मानकों के साथ जोड़ते हैं – उदाहरण के लिए, एनआईएसटी, आईएसओ, एमआईटीआरई, आदि। इनमें से कुछ संगठनों ने एआई प्रणालियों की रक्षा के लिए अद्यतन मार्गदर्शन प्रकाशित किया है, जो बहुत मददगार हो सकता है।

एआई इन ढांचों को अप्रभावी नहीं बनाता है – आपको अभी भी साइबर सुरक्षा के सभी पारंपरिक डोमेन को संबोधित करने की आवश्यकता है – आप जो जरूरत हो सकती है वह आपकी प्रक्रियाओं और कार्यक्रमों (उदाहरण के लिए, आपके एसडीएलसी) को एआई के साथ जुड़े नुकसान को संबोधित करने के लिए अद्यतन करना है। एआई कार्यभार के खिलाफ नुकसान को रोकने के लिए नियंत्रणों को एम्बेड और स्वचालित करना (जहां संभव हो) आगे बढ़ने का सबसे कुशल और प्रभावी तरीका है।

एक रणनीतिक स्तर पर, यह उल्लेख करना उचित है कि संभावित इनपुट और आउटपुट की पूरी श्रृंखला अक्सर गैर-एआई अनुप्रयोगों की तुलना में बहुत बड़ी होती है, जो पारंपरिक प्रवेश परीक्षण और नियम-आधारित पता लगाने के लिए एक पैमाने की समस्या पैदा करती है, इसलिए स्वचालन पर ध्यान केंद्रित किया जाता है।

एआई के लिए विशेष रूप से डिज़ाइन की गई साइबर सुरक्षा रणनीति में कौन से प्रमुख तत्व शामिल होने चाहिए जो जेनरेटिव एआई या बड़े भाषा मॉडल को तैनात करते हैं?

जेनएआई या बड़े भाषा मॉडल (एलएलएम) को तैनात करने के लिए साइबर सुरक्षा रणनीति विकसित करते समय, एक-आकार-फिट-ऑल दृष्टिकोण नहीं है। बहुत कुछ संगठन के समग्र व्यावसायिक उद्देश्यों, आईटी रणनीति, उद्योग फोकस, नियामक फुटप्रिंट, जोखिम सहनशीलता, आदि पर निर्भर करता है, साथ ही साथ विचाराधीन विशिष्ट एआई उपयोग के मामलों पर भी। एक आंतरिक उपयोग केवल चैटबॉट एक एजेंट की तुलना में एक बहुत ही अलग जोखिम प्रोफ़ाइल ले जाता है जो रोगियों के लिए स्वास्थ्य परिणामों को प्रभावित कर सकता है, उदाहरण के लिए।