किरन नॉर्टन, डेलोइट के यूएस साइबर एआई और ऑटोमेशन लीडर - साक्षात्कार श्रृंखला

किरन नॉर्टन डेलोइट एंड टच एलएलपी में प्रिंसिपल (पार्टनर) डेलोइट के लिए यूएस साइबर एआई और ऑटोमेशन लीडर हैं। 25 से अधिक वर्षों के व्यापक अनुभव और एक ठोस प्रौद्योगिकी पृष्ठभूमि के साथ, किरन उभरते जोखिमों को संबोधित करने में उत्कृष्टता प्राप्त करते हैं, ग्राहकों को साइबर सुरक्षा और प्रौद्योगिकी जोखिम प्रबंधन में रणनीतिक और व्यावहारिक अंतर्दृष्टि प्रदान करते हैं।

अंदर डेलॉइटकिरन अमेरिकी साइबर प्रैक्टिस के लिए एआई परिवर्तन प्रयासों का नेतृत्व करते हैं। वे एआई और ऑटोमेशन समाधानों के डिजाइन, विकास और बाजार में तैनाती की देखरेख करते हैं, जिससे ग्राहकों को अपनी साइबर क्षमताओं को बढ़ाने और एआई/जनरल एआई तकनीकों को अपनाने में मदद मिलती है, जबकि वे संबंधित जोखिमों का प्रभावी ढंग से प्रबंधन करते हैं।

बाह्य रूप से, किरन ग्राहकों को डिजिटल परिवर्तन का समर्थन करने, आपूर्ति श्रृंखलाओं को आधुनिक बनाने, बाजार में समय को तेज करने, लागत कम करने और अन्य महत्वपूर्ण व्यावसायिक उद्देश्यों को प्राप्त करने के लिए अपनी पारंपरिक सुरक्षा रणनीतियों को विकसित करने में मदद करता है।

एआई एजेंटों के तेजी से स्वायत्त होते जाने के साथ, साइबर सुरक्षा खतरों की कौन सी नई श्रेणियां उभर रही हैं, जिन्हें व्यवसाय अभी तक पूरी तरह से समझ नहीं पाए हैं?

एजेंटों को डिजाइन करने, निर्माण करने, तैनात करने और प्रबंधित करने के लिए नई एआई संबंधित प्रौद्योगिकियों का उपयोग करने से जुड़े जोखिम को समझा जा सकता है - परिचालन एक अलग मामला है।

एआई एजेंट एजेंसी और स्वायत्तता - एजेंटों के लिए मनुष्यों से स्वतंत्र रूप से समझने, निर्णय लेने, कार्य करने और संचालन करने की क्षमता - मॉडल/एजेंटों के उपयोगकर्ताओं, डेटा और अन्य एजेंटों के साथ संबंधों और अंतःक्रियाओं पर दृश्यता और नियंत्रण बनाए रखने में चुनौतियाँ पैदा कर सकती है। जैसे-जैसे एजेंट उद्यम के भीतर बढ़ते जा रहे हैं, स्वायत्तता और निर्णय अधिकारों को बढ़ाने के साथ कई प्लेटफ़ॉर्म और सेवाओं को जोड़ रहे हैं, यह और भी मुश्किल होता जाएगा। खराब तरीके से संरक्षित, अत्यधिक या छाया एआई एजेंसी/स्वायत्तता से जुड़े खतरे कई हैं। इसमें डेटा लीक, एजेंट हेरफेर (प्रॉम्प्ट इंजेक्शन आदि के माध्यम से) और एजेंट-टू-एजेंट अटैक चेन शामिल हो सकते हैं। ये सभी खतरे अभी और यहीं नहीं हैं, लेकिन उद्यमों को इस बात पर विचार करना चाहिए कि वे इन खतरों का प्रबंधन कैसे करेंगे क्योंकि वे एआई संचालित क्षमताओं को अपनाते और परिपक्व करते हैं।

एआई पहचान प्रबंधन एक और जोखिम है जिस पर सोच-समझकर विचार किया जाना चाहिए। एआई एजेंटों की मशीन पहचान की पहचान करना, स्थापित करना और प्रबंधित करना अधिक जटिल हो जाएगा क्योंकि अधिक एजेंटों को उद्यमों में तैनात और उपयोग किया जाता है। एआई मॉडल / मॉडल घटकों की क्षणभंगुर प्रकृति जो अलग-अलग परिस्थितियों में बार-बार घूमती और टूटती रहती है, इन मॉडल आईडी को बनाए रखने में चुनौतियों का परिणाम देगी। सुरक्षा और विश्वास दोनों दृष्टिकोणों से एजेंटों की गतिविधि और व्यवहार की निगरानी के लिए मॉडल पहचान की आवश्यकता होती है। यदि इसे ठीक से लागू और मॉनिटर नहीं किया जाता है, तो संभावित मुद्दों (प्रदर्शन, सुरक्षा, आदि) का पता लगाना बहुत चुनौतीपूर्ण होगा।

एआई प्रशिक्षण पाइपलाइनों में डेटा विषाक्तता हमलों के बारे में हमें कितना चिंतित होना चाहिए, और सर्वोत्तम रोकथाम रणनीतियाँ क्या हैं?

डेटा पॉइज़निंग मॉडल विकास जीवनचक्र के भीतर AI मॉडल को प्रभावित / हेरफेर करने के कई तरीकों में से एक का प्रतिनिधित्व करता है। पॉइज़निंग आमतौर पर तब होती है जब कोई बुरा अभिनेता प्रशिक्षण सेट में हानिकारक डेटा इंजेक्ट करता है। हालाँकि, यह ध्यान रखना महत्वपूर्ण है कि स्पष्ट प्रतिकूल अभिनेताओं से परे, डेटा विषाक्तता डेटा निर्माण में गलतियों या प्रणालीगत मुद्दों के कारण हो सकती है। जैसे-जैसे संगठन अधिक डेटा भूखे होते जाते हैं और अधिक स्थानों पर उपयोग करने योग्य डेटा की तलाश करते हैं (जैसे, आउटसोर्स किए गए मैनुअल एनोटेशन, खरीदे गए या उत्पन्न सिंथेटिक डेटा सेट, आदि), अनजाने में प्रशिक्षण डेटा को पॉइज़निंग करने की संभावना बढ़ जाती है, और हमेशा आसानी से निदान नहीं किया जा सकता है।

प्रशिक्षण पाइपलाइनों को लक्षित करना एक प्राथमिक हमला वेक्टर है जिसका उपयोग विरोधियों द्वारा सूक्ष्म और प्रत्यक्ष दोनों तरह के प्रभाव के लिए किया जाता है। AI मॉडल में हेरफेर से ऐसे परिणाम सामने आ सकते हैं जिनमें गलत सकारात्मक, गलत नकारात्मक और अन्य अधिक सूक्ष्म गुप्त प्रभाव शामिल हैं जो AI भविष्यवाणियों को बदल सकते हैं।

रोकथाम की रणनीतियों में तकनीकी, प्रक्रियात्मक और वास्तुशिल्प समाधानों को लागू करना शामिल है। प्रक्रियात्मक रणनीतियों में डेटा सत्यापन / स्वच्छता और विश्वास आकलन शामिल हैं; तकनीकी रणनीतियों में फेडरेटेड लर्निंग जैसी एआई तकनीकों के साथ सुरक्षा संवर्द्धन का उपयोग करना शामिल है; वास्तुशिल्प रणनीतियों में शून्य-विश्वास पाइपलाइनों को लागू करना और मजबूत निगरानी / चेतावनी को लागू करना शामिल है जो विसंगति का पता लगाने में मदद कर सकता है। ये मॉडल केवल उनके डेटा के रूप में अच्छे हैं, भले ही कोई संगठन नवीनतम और बेहतरीन उपकरणों का उपयोग कर रहा हो, इसलिए डेटा विषाक्तता अप्रस्तुत लोगों के लिए एक कमजोरी बन सकती है।

दुर्भावनापूर्ण अभिनेता तैनाती के बाद एआई मॉडलों में किस प्रकार से हेरफेर कर सकते हैं, तथा उद्यम छेड़छाड़ का आरंभिक पता कैसे लगा सकते हैं?

तैनाती के बाद AI मॉडल तक पहुँच आम तौर पर एप्लीकेशन प्रोग्रामिंग इंटरफ़ेस (API), एम्बेडेड सिस्टम के माध्यम से एप्लीकेशन और/या एज डिवाइस के लिए पोर्ट-प्रोटोकॉल के माध्यम से प्राप्त की जाती है। प्रारंभिक पहचान के लिए सॉफ़्टवेयर डेवलपमेंट लाइफ़साइकिल (SDLC) में शुरुआती काम की आवश्यकता होती है, प्रासंगिक मॉडल हेरफेर तकनीकों को समझना और साथ ही पहचान और सुरक्षा के लिए तरीकों को विकसित करने के लिए प्राथमिकता वाले खतरे के वैक्टर को समझना। कुछ मॉडल हेरफेर में API अपहरण, मेमोरी स्पेस (रनटाइम) में हेरफेर और मॉडल बहाव के माध्यम से धीमी / क्रमिक विषाक्तता शामिल है। हेरफेर के इन तरीकों को देखते हुए, कुछ शुरुआती पहचान रणनीतियों में एंड पॉइंट टेलीमेट्री / मॉनिटरिंग (एंडपॉइंट डिटेक्शन और रिस्पॉन्स और एक्सटेंडेड डिटेक्शन और रिस्पॉन्स के माध्यम से) का उपयोग करना, सुरक्षित अनुमान पाइपलाइनों को लागू करना (जैसे, गोपनीय कंप्यूटिंग और जीरो ट्रस्ट सिद्धांत), और मॉडल वॉटरमार्किंग / मॉडल साइनिंग को सक्षम करना शामिल हो सकता है।

प्रॉम्प्ट इंजेक्शन मॉडल हमलों का एक परिवार है जो तैनाती के बाद होता है और इसका उपयोग विभिन्न उद्देश्यों के लिए किया जा सकता है, जिसमें अनपेक्षित तरीकों से डेटा निकालना, सामान्य उपयोगकर्ताओं के लिए नहीं बने सिस्टम प्रॉम्प्ट को प्रकट करना और मॉडल प्रतिक्रियाओं को प्रेरित करना शामिल है जो किसी संगठन को नकारात्मक प्रकाश में डाल सकते हैं। प्रॉम्प्ट इंजेक्शन के जोखिम को कम करने में मदद करने के लिए बाजार में कई तरह के गार्डरेल उपकरण हैं, लेकिन साइबर के बाकी हिस्सों की तरह, यह एक हथियार दौड़ है जहाँ हमले की तकनीक और रक्षात्मक जवाबी उपायों को लगातार अपडेट किया जा रहा है।

पारंपरिक साइबर सुरक्षा ढांचे एआई प्रणालियों के अद्वितीय जोखिमों को संबोधित करने में कैसे विफल हो जाते हैं?

हम आम तौर पर 'साइबर सुरक्षा ढांचे' को मार्गदर्शन और मानकों के साथ जोड़ते हैं - जैसे NIST, ISO, MITRE, आदि। इनके पीछे कुछ संगठनों ने AI प्रणालियों की सुरक्षा के लिए विशिष्ट अद्यतन मार्गदर्शन प्रकाशित किया है जो बहुत उपयोगी हो सकता है।

AI इन रूपरेखाओं को अप्रभावी नहीं बनाता है - आपको अभी भी साइबर सुरक्षा के सभी पारंपरिक डोमेन को संबोधित करने की आवश्यकता है - आपको अपनी प्रक्रियाओं और कार्यक्रमों (जैसे कि आपके SDLC) को AI कार्यभार से जुड़ी बारीकियों को संबोधित करने के लिए अपडेट करने की आवश्यकता हो सकती है। ऊपर वर्णित सूक्ष्म खतरों से बचाने के लिए नियंत्रणों को एम्बेड करना और स्वचालित करना (जहाँ संभव हो) सबसे कुशल और प्रभावी तरीका है।

सामरिक स्तर पर, यह उल्लेख करना उचित है कि संभावित इनपुट और आउटपुट की पूरी श्रृंखला अक्सर गैर-एआई अनुप्रयोगों की तुलना में बहुत बड़ी होती है, जो पारंपरिक प्रवेश परीक्षण और नियम-आधारित जांच के लिए पैमाने की समस्या पैदा करती है, इसलिए स्वचालन पर ध्यान केंद्रित किया जाता है।

जनरेटिव एआई या बड़े भाषा मॉडल को तैनात करने वाले संगठनों के लिए विशेष रूप से तैयार की गई साइबर सुरक्षा रणनीति में कौन से प्रमुख तत्व शामिल किए जाने चाहिए?

GenAI या बड़े भाषा मॉडल (LLM) को तैनात करने के लिए साइबर सुरक्षा रणनीति विकसित करते समय, कोई एक-आकार-फिट-सभी दृष्टिकोण नहीं होता है। बहुत कुछ संगठन के समग्र व्यावसायिक उद्देश्यों, आईटी रणनीति, उद्योग फोकस, नियामक पदचिह्न, जोखिम सहनशीलता आदि के साथ-साथ विचाराधीन विशिष्ट एआई उपयोग मामलों पर निर्भर करता है। केवल आंतरिक उपयोग वाला चैटबॉट एक एजेंट की तुलना में बहुत अलग जोखिम प्रोफ़ाइल रखता है जो उदाहरण के लिए रोगियों के स्वास्थ्य परिणामों को प्रभावित कर सकता है।

जैसा कि कहा गया है, कुछ बुनियादी बातें हैं जिन पर प्रत्येक संगठन को ध्यान देना चाहिए:

• तत्परता का आकलन करें—यह मौजूदा क्षमताओं की आधार रेखा स्थापित करता है और साथ ही प्राथमिकता वाले AI उपयोग मामलों पर विचार करते हुए संभावित अंतराल की पहचान करता है। संगठनों को यह पहचानना चाहिए कि ऐसे कौन से मौजूदा नियंत्रण हैं जिन्हें GenAI से जुड़े सूक्ष्म जोखिमों और नई तकनीकों को लागू करने या मौजूदा प्रक्रियाओं को बढ़ाने की आवश्यकता को संबोधित करने के लिए बढ़ाया जा सकता है।
• एआई गवर्नेंस प्रक्रिया स्थापित करें—यह किसी संगठन के भीतर नया हो सकता है या मौजूदा जोखिम प्रबंधन कार्यक्रमों में संशोधन हो सकता है। इसमें उद्यम-व्यापी एआई सक्षमता कार्यों को परिभाषित करना और शासन संरचना के हिस्से के रूप में व्यवसाय, आईटी, उत्पाद, जोखिम, साइबर सुरक्षा आदि से हितधारकों को शामिल करना शामिल होना चाहिए। इसके अतिरिक्त, प्रासंगिक नीतियों (स्वीकार्य उपयोग नीतियां, क्लाउड सुरक्षा नीतियां, तृतीय-पक्ष प्रौद्योगिकी जोखिम प्रबंधन, आदि) को परिभाषित/अद्यतन करना और साथ ही पूरे संगठन में एआई साक्षरता और एआई सुरक्षा/सुरक्षा का समर्थन करने के लिए एलएंडडी आवश्यकताओं को स्थापित करना शामिल होना चाहिए।
• एक विश्वसनीय AI आर्किटेक्चर स्थापित करें- एआई/जेनएआई प्लेटफॉर्म और प्रयोग सैंडबॉक्स के निर्माण के साथ, मौजूदा तकनीक के साथ-साथ नए समाधान (जैसे एआई फायरवॉल/रनटाइम सुरक्षा, गार्डरेल, मॉडल जीवनचक्र प्रबंधन, उन्नत आईएएम क्षमताएं, आदि) को विकास और परिनियोजन वातावरण में दोहराने योग्य, स्केलेबल तरीके से एकीकृत करने की आवश्यकता होगी।
• SDLC को बढ़ाएँ—संगठनों को एआई डेवलपर्स और जोखिम प्रबंधन टीमों के बीच घनिष्ठ एकीकरण का निर्माण करना चाहिए, जो एआई समाधानों की सुरक्षा, सुरक्षा और उनमें विश्वास का निर्माण करने के लिए काम कर रहे हैं। इसमें व्यापक एआई विकास और अपनाने वाली टीमों के साथ साझेदारी में सुरक्षित सॉफ्टवेयर विकास प्रथाओं और नियंत्रण आवश्यकताओं का एक समान/मानक सेट स्थापित करना शामिल है।

क्या आप सरल शब्दों में "AI फ़ायरवॉल" की अवधारणा को समझा सकते हैं? यह पारंपरिक नेटवर्क फ़ायरवॉल से किस तरह अलग है?

AI फ़ायरवॉल एक सुरक्षा परत है जिसे AI सिस्टम के इनपुट और आउटपुट की निगरानी और नियंत्रण के लिए डिज़ाइन किया गया है - विशेष रूप से बड़े भाषा मॉडल - दुरुपयोग को रोकने, संवेदनशील डेटा की सुरक्षा करने और जिम्मेदार AI व्यवहार सुनिश्चित करने के लिए। पारंपरिक फ़ायरवॉल के विपरीत जो IP पते, पोर्ट और ज्ञात खतरों के आधार पर ट्रैफ़िक को फ़िल्टर करके नेटवर्क की सुरक्षा करते हैं, AI फ़ायरवॉल प्राकृतिक भाषा इंटरैक्शन को समझने और प्रबंधित करने पर ध्यान केंद्रित करते हैं। वे नीतियों, संदर्भ-जागरूक फ़िल्टर और मॉडल-विशिष्ट गार्डरेल्स को लागू करके विषाक्त सामग्री, डेटा रिसाव, त्वरित इंजेक्शन और AI के अनैतिक उपयोग जैसी चीज़ों को रोकते हैं। संक्षेप में, जबकि एक पारंपरिक फ़ायरवॉल आपके नेटवर्क की सुरक्षा करता है, एक AI फ़ायरवॉल आपके AI मॉडल और उनके आउटपुट की सुरक्षा करता है।

क्या कोई मौजूदा उद्योग मानक या उभरते प्रोटोकॉल हैं जो AI-विशिष्ट फायरवॉल या गार्डरेल के उपयोग को नियंत्रित करते हैं?
मॉडल संचार प्रोटोकॉल (MCP) एक सार्वभौमिक मानक नहीं है, लेकिन यह उन उद्यमों पर बढ़ते कॉन्फ़िगरेशन बोझ को संबोधित करने में मदद करने के लिए पूरे उद्योग में गति प्राप्त कर रहा है, जिन्हें AI-GenAI समाधान विविधता को प्रबंधित करने की आवश्यकता है। MCP यह नियंत्रित करता है कि AI मॉडल किस तरह से सूचना (सीखने सहित) का आदान-प्रदान करते हैं, जिसमें अखंडता और सत्यापन शामिल है। हम MCP को AI मॉडल के लिए ट्रांसमिशन कंट्रोल प्रोटोकॉल (TCP)/इंटरनेट प्रोटोकॉल (IP) स्टैक के रूप में सोच सकते हैं जो विशेष रूप से केंद्रीकृत, फ़ेडरेटेड या वितरित उपयोग मामलों में उपयोगी है। MCP वर्तमान में एक वैचारिक ढांचा है जिसे विभिन्न उपकरणों, शोध और परियोजनाओं के माध्यम से साकार किया जाता है।

यह क्षेत्र तेजी से आगे बढ़ रहा है और हम उम्मीद कर सकते हैं कि अगले कुछ वर्षों में इसमें काफी बदलाव आएगा।

पांच वर्ष पहले की तुलना में आज एआई खतरे का पता लगाने और प्रतिक्रिया के क्षेत्र में किस प्रकार बदलाव ला रहा है?

हमने वाणिज्यिक सुरक्षा संचालन केंद्र (एसओसी) प्लेटफ़ॉर्म को अलग-अलग स्तरों पर आधुनिक होते देखा है, जिसमें खतरों का पता लगाने और वर्गीकरण में सुधार करने के लिए उन्नत एआई/एमएल मॉडल के साथ-साथ विशाल उच्च-गुणवत्ता वाले डेटा सेट का उपयोग किया गया है। इसके अतिरिक्त, वे पता लगाने से लेकर शमन तक के समय को कम करने के लिए स्वचालन, वर्कफ़्लो और ऑटो-रिमेडिएशन क्षमताओं का लाभ उठा रहे हैं। अंत में, कुछ ने ट्राइएज और प्रतिक्रिया का समर्थन करने के लिए कोपायलट क्षमताओं को पेश किया है।

इसके अतिरिक्त, एसओसी के भीतर चुनिंदा भूमिकाएं निभाने के लिए एजेंट विकसित किए जा रहे हैं। एक व्यावहारिक उदाहरण के रूप में, हमने एक बनाया है 'डिजिटल विश्लेषक' हमारी अपनी प्रबंधित सेवाओं की पेशकश में तैनाती के लिए एजेंट। एजेंट एक स्तर एक विश्लेषक के रूप में कार्य करता है, इनबाउंड अलर्ट को प्राथमिकता देता है, खतरे की खुफिया जानकारी और अन्य स्रोतों से संदर्भ जोड़ता है, और हमारे मानव विश्लेषकों के लिए प्रतिक्रिया चरणों (व्यापक केस इतिहास के आधार पर) की सिफारिश करता है जो फिर समीक्षा करते हैं, यदि आवश्यक हो तो संशोधित करते हैं और कार्रवाई करते हैं।

आप अगले 3-5 वर्षों में एआई और साइबर सुरक्षा के बीच संबंधों को किस प्रकार विकसित होते हुए देखते हैं - क्या एआई एक जोखिम होगा या समाधान?
अगले 3-5 वर्षों में AI के विकसित होने से साइबर सुरक्षा में मदद मिल सकती है, लेकिन साथ ही, यह जोखिम भी पैदा कर सकता है। AI हमले की सतह का विस्तार करेगा और रक्षात्मक दृष्टिकोण से नई चुनौतियाँ पैदा करेगा। इसके अतिरिक्त, प्रतिकूल AI हमलों की व्यवहार्यता, गति और पैमाने को बढ़ाने जा रहा है जो आगे और चुनौतियाँ पैदा करेगा। दूसरी ओर, साइबर सुरक्षा के व्यवसाय में AI का लाभ उठाने से अधिकांश डोमेन में साइबर संचालन की प्रभावशीलता, दक्षता, चपलता और गति में सुधार करने के महत्वपूर्ण अवसर मिलते हैं - अंततः 'आग से आग बुझाने' का परिदृश्य तैयार होता है।

बेहतरीन साक्षात्कार के लिए धन्यवाद, पाठक यह भी देखना चाहेंगे डेलॉइट.