जनरेटिव से एजेंटिक एआई: कंटेंट रिस्क से एक्जीक्यूशन एक्सपोजर तक का बदलाव

एंटरप्राइज एआई तेजी से विकसित हो रहा है। जो पहले जनरेटिव एआई कोपायलट्स ईमेल और दस्तावेजों को सारांशित करने के लिए था, अब यह अधिक स्वायत्त प्रणालियों में बदल रहा है जो उपकरणों और वातावरणों में कार्यों की योजना, निर्णय और निष्पादन करती हैं।

यह जनरेटिव और एजेंटिक एआई के बीच का बदलाव है। यह जोखिम को बदलते हुए देख रहा है।

जेनएआई ने कंटेंट जोखिम पेश किया, जिसमें हॉलुसिनेशन, प्रॉम्प्ट के माध्यम से डेटा लीक, और पूर्वाग्रही आउटपुट शामिल थे। एजेंटिक एआई एक्सपोजर स्वायत्त प्रणालियों के माध्यम से होता है, जिन्हें अनुमति, स्मृति और मशीनों की गति से सभी उपलब्ध उपकरणों तक पहुंच की अनुमति है।

यह सुरक्षा, शासन, या एआई पेशेवर के रूप में अपनी स्थिति पर इन नए जोखिमों का पुनर्मूल्यांकन करने का अवसर है।

एजेंटिक एआई जोखिम क्या है?

एजेंटिक एआई जोखिम स्वायत्त रूप से कार्य करने वाली एआई प्रणालियों द्वारा उत्पन्न सुरक्षा, संचालन और शासन जोखिमों को संदर्भित करता है, जो न केवल पाठ उत्पन्न करती हैं बल्कि व्यवसायिक प्रणालियों पर बहु-चरण कार्य प्रवाह भी करती हैं।

पारंपरिक बड़े भाषा मॉडल (एलएलएम) के विपरीत, एजेंटिक प्रणालियां कार्यों को गतिशील कार्य प्रवाह में तोड़ सकती हैं, बाहरी एपीआई अनुरोध कर सकती हैं और घरेलू अनुप्रयोगों को Invoke कर सकती हैं, और स्मृति संग्रहीत और याद रख सकती हैं। वे प्रतिनिधि पहचान के तहत भी कार्य कर सकते हैं और अन्य एजेंटों के साथ संवाद कर सकते हैं।

यह जूनियर डिजिटल कर्मचारियों की तरह है, न कि चैटबॉट्स। यह एआई एजेंट के हमले की सतह में वृद्धि का प्रतिनिधित्व करता है।

जनरेटिव बनाम एजेंटिक एआई: क्या बदलता है?

जनरेटिव एआई जोखिम आउटपुट पर केंद्रित है। सुरक्षा टीमें प्रश्न पूछती हैं कि क्या मॉडल डेटा लीक कर रहा है, क्या यह हॉलुसिनेटिंग हो सकता है, या क्या हानिकारक या गैर-अनुपालन सामग्री उत्पन्न हो रही है।

मानव सख्ती से लूप में हैं। एआई प्रस्तावित करता है, लोगों को अनुमोदन करना होता है।

एजेंटिक एआई जोखिम क्रिया-उन्मुख है। अब, सुरक्षा टीमों को खुद से पूछना होगा कि एजेंट किन प्रणालियों के साथ बातचीत कर सकता है, किन अनुमतियों को विरासत में मिलेगा, इसकी योजना कितनी दूर तक पहुंच सकती है, और यदि यह चलने के दौरान धोखा दिया जाता है तो क्या होगा।

अंतर बहुत छोटा हो सकता है, लेकिन यह महत्वपूर्ण है: जनरेटिव एआई सामग्री बनाता है। एजेंटिक एआई परिणाम बनाता है। यह सामग्री जोखिम से निष्पादन एक्सपोजर तक का परिवर्तन है।

एजेंटिक एआई व्यवसायिक हमले की सतह को कैसे बढ़ाता है?

एजेंटिक एआई केवल एक नया अनुप्रयोग नहीं जोड़ता है। यह एक नया संचालन परत बनाता है। यहां हमले की सतह कैसे बढ़ती है:

1. विशेषाधिकार प्राप्त एआई एजेंट

उपयोगकर्ताओं या सेवा खातों के लिए कई एजेंट कार्य कर रहे हैं। जब अनुमति का दायरा सख्त नहीं होता है, तो वे मूल्यवान लक्ष्य बन जाते हैं।

यह भ्रमित डिप्टी समस्याओं, विशेषाधिकार वृद्धि, और लेटरल मूवमेंट का कारण बन सकता है। यह तब एक समस्या है जब क्लाउड, सास, और आंतरिक प्रणालियां एजेंटों को गतिशील या विरासत में मिली पहुंच प्रदान करती हैं।

2. गतिशील निष्पादन पथ

पारंपरिक ऐप्स में नियंत्रण प्रवाह निर्धारित होते हैं। एजेंटिक एआई प्रणालियों में नियंत्रण प्रवाह निर्धारित नहीं होते हैं।

वे लक्ष्यों के बारे में तर्क करते हैं, क्रियाओं को प्रतिबिंबित करते हैं, सुधारते हैं, और उपकरणों को एक गैर-निर्धारित तरीके से Invoke करते हैं। यह कठिन विश्लेषण करने वाले विफलता मामलों, जटिल निर्भरता ग्राफ, और बहु-एजेंट प्रणालियों में कैस्केडिंग विफलताओं का कारण बनता है। निर्धारित नियंत्रण प्रवाह के लिए विकसित सुरक्षा नियंत्रण यहां लागू नहीं होते हैं।

3. स्थायी स्मृति

एजेंट स्मृति द्वारा उत्पन्न हमले की सतह स्थायी है।

जब अल्पकालिक या दीर्घकालिक स्मृति भ्रष्ट हो जाती है, तो एक दुर्भाग्यपूर्ण स्थिति कई सत्रों में निर्णयों को प्रभावित कर सकती है। यह एक प्रॉम्प्ट के एकल इंजेक्शन से अलग है, क्योंकि स्मृति भ्रष्टाचार स्थायित्व प्रदान करता है।

4. मशीन-गति निर्णय लेने के जोखिम

स्वायत्त एजेंट मशीनों की गति से निर्णय लेते हैं। यह मशीन-गति निर्णय लेने की चुनौतियों को लाता है, जैसे कि तेजी से त्रुटि प्रसार, मानव प्रतिक्रिया से तेजी से दुरुपयोग चक्र, और पता लगाने से पहले वृद्धि।

बहु-एजेंट प्रणालियों में, प्रभाव का दायरा तेजी से है। एक दुर्भाग्यपूर्ण एजेंट विफलता कैस्केड को समन्वय श्रृंखला में ट्रिगर कर सकता है।

पारंपरिक नियंत्रण एजेंटिक एआई के साथ क्यों विफल होते हैं?

अधिकांश पारंपरिक व्यवसायिक सुरक्षा मॉडल स्थिर अनुप्रयोगों, पूर्वानुमानित कॉल ग्राफ, मानव अनुमोदन, और डेटा प्रसंस्करण और निष्पादन के बीच स्पष्ट पृथक्करण पर निर्भर करते हैं। एजेंटिक एआई इन धारणाओं को अमान्य बनाता है।

उदाहरण के लिए, एक पारंपरिक नियंत्रण जैसे इनपुट सत्यापन को लें। यह प्रणाली की सीमा की रक्षा करता है। हालांकि, एजेंटिक जोखिम आमतौर पर लूप के मध्य में दिखाई देता है, योजना, प्रतिबिंब, या टूलिंग चरण में।

पारंपरिक दुर्वलता स्कैनिंग भी बुनियादी ढांचे और सॉफ्टवेयर पर केंद्रित है। हालांकि, एआई निष्पादन जोखिम एजेंट की तर्क और क्रिया परत में निवास करता है।

प्रश्न यह है: आप कुछ ऐसा कैसे सुरक्षित कर सकते हैं जो अपनी अगली क्रिया का चयन कर सकता है? आप केवल एक मॉडल कॉल के चारों ओर नियंत्रण नहीं लपेट सकते हैं। आपको कार्य प्रवाह को सुरक्षित करना होगा।

एजेंटिक एआई को सुरक्षित करना: क्या वास्तव में काम करता है?

एजेंटिक एआई को सुरक्षित करने के लिए, परिधि सोच से जीवन चक्र सोच में स्थानांतरण होना चाहिए। एजेंटों को अनंतता से लक्ष्यों की व्याख्या करने की अनुमति नहीं दी जानी चाहिए, और इसे प्राप्त करने के लिए कई तरीके हैं।

अनुमत सीक्वेंस ऑफ गोल्स की स्थापना, प्लान विस्तार पेड़ की गहराई को विनियमित करना, तर्क ड्रिफ्ट की निगरानी करना, और स्कोप से बाहर स्व-लिखित गोल्स को प्रतिबंधित करना सभी आवश्यक नियंत्रण हैं। अप्रत्याशित तर्क में परिवर्तन अक्सर हेरफेर के अग्रदूत होते हैं।

टूल निष्पादन को मजबूत करें। टूल वह स्थान है जहां योजना वास्तविकता से मिलती है, और सुरक्षा को टूल निष्पादन से पहले अनुमति जांच, सैंडबॉक्स्ड निष्पादन वातावरण, सख्त पैरामीटर सत्यापन, और जस्ट-इन-टाइम क्रेडेंशियल ट्रांसफर को कवर करने की आवश्यकता है। प्रत्येक टूल निष्पादन को एक प्रथम-श्रेणी के सुरक्षा इवेंट के रूप में लॉग किया जाना चाहिए।

स्मृति और विशेषाधिकार दायरे को अलग करें। स्मृति को संवेदनशील बुनियादी ढांचे के रूप में माना जाना चाहिए। इसका अर्थ लिखने के संचालन को मान्य करना, स्मृति डोमेन विभाजन, प्रति कार्य के लिए पढ़ने के संचालन के दायरे को सीमित करना, अल्पकालिक क्रेडेंशियल का उपयोग करना, और विरासत में मिले विशेषाधिकारों को रोकना है। अनुमोदित अनुमति संचय एक प्रमुख एजेंटिक एआई जोखिम है।

बहु-एजेंट समन्वय को सुरक्षित करें। वितरित एजेंट प्रणालियों में, संचार स्वयं एक हमला वेक्टर बन जाता है। इसका अर्थ एजेंट प्रमाणीकरण, संदेश योजना सत्यापन, प्रतिबंधित संचार चैनल, और असामान्य प्रभाव पैटर्न की निगरानी करना है। जब समन्वय अपेक्षित प्रवाह से विचलित होता है, तो अलगाव स्वचालित रूप से होना चाहिए।

एक्सपोजर प्रबंधन से एआई प्रणालियों के लिए एक्सपोजर मूल्यांकन तक

यह वह स्थान है जहां एक व्यापक सुरक्षा दर्शन महत्वपूर्ण हो जाता है। पारंपरिक दुर्वलता प्रबंधन ज्ञात कमजोरियों की पहचान करता है। हालांकि, स्वायत्त एआई प्रणालियां उद्भूत एक्सपोजर पेश करती हैं: जोखिम जो कॉन्फ़िगरेशन, विशेषाधिकार डिज़ाइन, एकीकरण मार्ग, और गतिशील व्यवहार से उत्पन्न होते हैं।

यह उद्योग द्वारा एक्सपोजर प्रबंधन और, हाल ही में, एक्सपोजर मूल्यांकन के रूप में जाने जाने वाले दर्शन के साथ संरेखित है।

एक्सपोजर प्रबंधन यह सुनिश्चित करने के बारे में है कि आपके पास उन पथों के लिए निरंतर दृश्यता है जिन्हें दुर्भाग्यपूर्ण अभिनेता शोषण कर सकते हैं, जिसमें क्लाउड संपत्ति, पहचान, अनुप्रयोग, और अब एआई एजेंट शामिल हैं।

स्वायत्त एआई प्रणालियों की सुरक्षा के लिए, इसका अर्थ है पूछना: यह एजेंट क्या पहुंच सकता है? यह किन अनुमतियों को एकत्र करता है? यह किन प्रणालियों को समन्वयित करता है? और निष्पादन कहां संवेदनशील डेटा के साथ परस्पर क्रिया करता है?

जो टीमें पहले से ही साइबर जोखिम को कम करने के लिए एक्सपोजर-आधारित रणनीतियों का उपयोग कर रही हैं, वे अपने एआई वातावरण में इन सिद्धांतों को विस्तारित करने के लिए एक ठोस स्थिति में हैं। उदाहरण के लिए, पहचान, क्लाउड, और दुर्वलता दृश्यता को एकजुट करने वाले प्लेटफ़ॉर्म विशेषाधिकार प्राप्त एआई एजेंटों के साथ मौजूदा हमले के मार्गों के बीच कैसे परस्पर क्रिया करते हैं, यह समझने का एक तरीका प्रदान करते हैं।

मुख्य बात यह नहीं है कि विक्रेता टूलिंग है। यह मानसिकता है:

आप एजेंटिक एआई को मॉडल की रक्षा करके सुरक्षित नहीं करते हैं। आप इसे लगातार मापकर और इसके एक्सपोजर को कम करके सुरक्षित करते हैं।

एजेंटिक एआई में निष्पादन-परत जोखिमों का प्रबंधन

एजेंटिक एआई सुरक्षा की विशेषता यह है: हमले की सतह प्रतिक्रिया नहीं है, बल्कि कार्य प्रवाह है।

निष्पादन-परत जोखिम कई हैं, जिनमें अनप्रमाणित टूल उपयोग, पहचान नकल, विशेषाधिकार रिसाव, स्मृति जहर, क्रॉस-एजेंट हेरफेर, और मानव-इन-द-लूप प्रणालियों पर दबाव शामिल हैं।

इन जोखिमों को कम करने का अर्थ है पहचान संबंधों, विशेषाधिकार विरासत, एपीआई निर्भरता, रनटाइम गतिविधि, और निष्पादन टेलीमेट्री में दृश्यता होना।

यह अब केवल जेनएआई सुरक्षा नहीं है; यह एआई संचालन सुरक्षा भी है।

एजेंटिक एआई जोखिम वास्तुकला है, न कि कल्पना

एजेंटिक एआई व्यवसायिक एआई अपनाने के विकास में अगला कदम है। यह कार्यक्षमता, स्वचालन, और मापनीयता का वादा करता है। हालांकि, यह भी जोखिम पेश करता है जो एआई की बात से लेकर एआई की क्रिया तक है।

जनरेटिव से एजेंटिक प्रणालियों में संक्रमण निम्नलिखित को प्रभावित करता है:

• सामग्री जोखिम से निष्पादन जोखिम तक
• स्थिर प्रॉम्प्ट से गतिशील निष्पादन प्रवाह तक
• मानव समीक्षा से स्वायत्त निष्पादन तक
• अनुप्रयोग सुरक्षा से एक्सपोजर प्रबंधन तक

जो सुरक्षा नेता इस संक्रमण को पहले समझते हैं वे स्वायत्तता के साथ मापने वाले गार्डरेल को वास्तुकार कर सकते हैं। अन्य डिजिटल इनसाइडर के बिना इनसाइडर नियंत्रणों के साथ समाप्त होंगे।

व्यवसाय में एआई का भविष्य एजेंटिक है। एआई सुरक्षा का भविष्य एक्सपोजर-चालित, कार्य प्रवाह-जागरूक, और मशीन-गति संचालन के लिए डिज़ाइन किया जाना चाहिए।

क्योंकि एक बार एआई एजेंटों के पास निष्पादन की क्षमता होती है, तो केवल एक व्यवहार्य दृष्टिकोण यह है कि वे जो एक्सपोजर के लिए उत्तरदायी हैं उसे लगातार समझना और कम करना।