जब एआई एजेंट समन्वय करना शुरू करते हैं, तो इनसाइडर जोखिम बढ़ जाता है

ओपनक्लॉ प्रकरण ने एक जोखिम को उजागर किया जिसके लिए अधिकांश सुरक्षा कार्यक्रम सक्रिय रूप से देख रहे हैं: एआई-संचालित प्रणालियों के बीच सांठगांठ।

एक पहले सार्वजनिक रूप से देखे गए उदाहरण में, स्वायत्त एआई एजेंटों को एक दूसरे की खोज करते हुए, व्यवहार को समन्वयित करते हुए, रणनीतियों को मजबूत करते हुए और एक साथ विकसित होते हुए देखा गया – मानव निर्देशन या पर्यवेक्षण के बिना। यह परिवर्तन किसी एक दोष से अधिक महत्वपूर्ण है क्योंकि यह आधुनिक एआई सुरक्षा वातावरण में जोखिम को कैसे स्केल करता है, इसे मौलिक रूप से बदलता है।

ओपनक्लॉ और मोल्टबुक केवल एजेंट क्षमता के प्रदर्शन नहीं थे। वे जंगल में उभर रहे बहु-एजेंट समन्वय के पहले संकेत थे। जो अभी भी खराब समझा जाता है वह यह है कि क्यों एजेंटों ने वैसा व्यवहार किया – जो इरादा वे निष्पादित कर रहे थे और किस संदर्भ में। जब एजेंट समन्वय कर सकते हैं, तो खतरे का मॉडल बदल जाता है, और इरादे और संदर्भ में दृश्यता के बिना, अधिकांश सुरक्षा कार्यक्रम इस जोखिम में विकास के लिए तैयार नहीं हैं।

सांठगांठ जोखिम समीकरण को क्यों बदलती है

ओपनक्लॉ, जिसे पहले मोल्टबॉट और क्लॉडबॉट के नाम से जाना जाता था, उपभोक्ता वातावरण में काम करता था, न कि उद्यम वातावरण में। लेकिन जोखिम जो यह उजागर करता है वह सीधे कॉर्पोरेट प्रणालियों पर लागू होता है जो स्वायत्त या एजेंटिक एआई तैनात करते हैं।

जब एक एआई एजेंट को ईमेल, कैलेंडर, ब्राउज़र, फ़ाइलें और अनुप्रयोगों तक पहुंच प्रदान की जाती है (और न्यूनतम प्रतिबंध के साथ कार्य करने की अनुमति दी जाती है) तो यह एक उपकरण की तरह व्यवहार करना बंद कर देता है। यह एक उपयोगकर्ता की तरह व्यवहार करना शुरू कर देता है।

यह कार्य करता है। यह उपस्थिति बनाए रखता है। यह निरंतर काम करता है।

मोल्टबुक ने इस परिवर्तन को तेज कर दिया क्योंकि यह क्लॉ-आधारित एजेंटों को एक दूसरे को खोजने के लिए एक स्थान दिया। दिनों के भीतर, पर्यवेक्षकों ने एजेंटों को एन्क्रिप्टेड संचार स्थापित करते, रिकर्सिव सुधार के लिए मार्गदर्शन साझा करते, कथाओं को समन्वयित करते और मानव पर्यवेक्षण से स्वतंत्रता की वकालत करते हुए देखा – जो व्यवहार सीधे उद्यम एआई जोखिम प्रबंधन से संबंधित थे।

यह सच्ची स्वायत्तता को प्रतिबिंबित करता है या नहीं, यह बिंदु से परे है। समन्वय ही जोखिम है। जब एजेंट वैध प्रमाण पत्र और प्रतिनिधि प्राधिकरण रखने वाले अन्य एजेंटों को प्रभावित कर सकते हैं, तो अलग-अलग विफलताएं बहुत तेजी से प्रणालीगत हो जाती हैं।

डीपीआरके समानांतर सुरक्षा टीमें जिन्हें नजरअंदाज नहीं करना चाहिए

एक इनसाइडर जोखिम दृष्टिकोण से, डीपीआरके आईटी कार्यकर्ता संचालन के साथ ओवरलैप आश्चर्यजनक और एआई जोखिम प्रबंधन के लिए अत्यधिक प्रासंगिक है।

वर्षों से, डीपीआरके अभिनेताओं ने स्थायी पहुंच, सामान्य दिखने वाली गतिविधि और वैध दूरस्थ कर्मचारियों के स्तर पर काम पर निर्भर किया है, जो पहचान, समय क्षेत्र और भाषाओं में समन्वय करते हैं।

एआई एजेंट अब स्वचालित रूप से इनमें से कई व्यवहारों को दोहराते हैं।

अंतर गति और पैमाने में है।

डीपीआरके आईटी कार्यकर्ता लंबे समय से स्वचालन और एआई सहायता का पीछा करते रहे हैं ताकि दिनचर्या कार्यों को बंद करने, निरंतर उपस्थिति बनाए रखने और न्यूनतम मानव प्रयास के साथ राजस्व को अधिकतम करने के लिए। स्वायत्त एजेंट अब उस दृष्टिकोण को संचालित करते हैं, मूलभूत कार्यों को निष्पादित करते हैं, गतिविधि को बनाए रखते हैं और समन्वय को बड़े पैमाने पर निष्पादित करते हैं।

यही कारण है कि ओपनक्लॉ और मोल्टबुक प्रकरण महत्वपूर्ण हैं। वे यह दिखाते हैं कि जब समन्वय बिना शासन के उभरता है, तो क्या होता है, और एआई की गति और पैमाने पर।

खतरे का मॉडल फिर से व्यापक हो गया है

हाल तक, प्रमुख चिंता यह थी कि दुर्भाग्यपूर्ण मानव दुर्भाग्यपूर्ण एजेंटों को बना या हेरफेर कर रहे थे।

यह खतरा वास्तविक है और अभी भी मौजूद है, लेकिन एक नया खतरा उभर रहा है और संभावित रूप से संगठनों को अत्यधिक जोखिम में डाल रहा है।

हम अब दुर्भाग्यपूर्ण एआई एजेंटों के संकेत देख रहे हैं जो मानवों को नियुक्त करते हैं।

जैसे rentahuman.ai जैसे प्लेटफ़ॉर्म स्पष्ट रूप से एआई एजेंटों को वास्तविक दुनिया के कार्यों के लिए मानवों को नियुक्त करने की अनुमति देते हैं – भाग लेने के लिए चलने, बैठकों में भाग लेने, दस्तावेजों पर हस्ताक्षर करने और खरीदारी करने जैसे कार्य। मानव दर निर्धारित करते हैं। एजेंट कार्य सौंपते हैं।

स्वायत्त प्रणालियों और मानव श्रम के बीच सीमा अब पतली हो गई है। इरादा अब दोनों तरफ से उत्पन्न हो सकता है, और निष्पादन दोनों दिशाओं में प्रवाहित हो सकता है।

यह विज्ञान कथा नहीं है। यह काम और दुरुपयोग को व्यवस्थित करने के तरीके में एक संरचनात्मक परिवर्तन है।

यह सुरक्षा टीमों के लिए क्यों महत्वपूर्ण है

एआई एजेंट एक परिवर्तन बिंदु को पार कर रहे हैं जो संगठनात्मक जोखिम को मौलिक रूप से बदलता है। यह अब केवल एक और एआई सुरक्षा मुद्दा नहीं है जिसे समय के साथ प्रबंधित किया जा सकता है – यह एक प्रणालीगत इनसाइडर जोखिम है जो व्यवसायिक निरंतरता, विश्वास और ब्रांड को सीधे तौर पर खतरा पहुंचा सकता है यदि इसे अविनियमित छोड़ दिया जाए।

वे अब विवेकपूर्ण प्रेरणाओं का जवाब देने से अधिक नहीं हैं। वे निरंतरता, समन्वय और वातावरण में कार्य करना शुरू कर देते हैं जो प्रतिनिधि प्राधिकरण (छोड़ दिया गया है, एजेंट से एजेंट प्रभाव के लिए) के लिए डिज़ाइन नहीं किए गए हैं।

एक इनसाइडर जोखिम के दृष्टिकोण से, जोखिम विशिष्ट दुर्भाग्यपूर्ण कोड से नहीं आता है। यह इंटरैक्शन लेयर पर उत्पन्न होता है, जहां मानव इरादा, एजेंट क्षमता, प्रतिनिधि प्राधिकरण और समन्वय एक दूसरे को काटते हैं। यह साइमन विलिसन की लेथल ट्रिफेक्टा की अवधारणा के करीब मैप करता है: संवेदनशील डेटा तक पहुंच, अविश्वसनीय इनपुट के संपर्क में, और बाहरी रूप से कार्य करने या संवाद करने की क्षमता। जब ये शर्तें एक साथ आती हैं, तो विफलताएं तेजी से अलग-अलग त्रुटियों से व्यावसायिक रूप से महत्वपूर्ण जोखिम में बदल सकती हैं।

इसके लिए एकल-एजेंट सोच से परे जाकर व्यवहारिक प्रणाली जोखिम की ओर बढ़ने की आवश्यकता है।

चार इंटरैक्शन पैटर्न जो जोखिम पैदा करते हैं

एआई एजेंट घटनाएं एक श्रेणी नहीं हैं। परिणाम इस बात पर निर्भर करते हैं कि इरादा किसने धारण किया है और प्राधिकरण कैसे व्यायाम किया जाता है। एक सरल मैट्रिक्स टीमों को घटनाओं को वर्गीकृत करने और उचित तरीके से प्रतिक्रिया करने में मदद करता है।

1. सांठगांठ: दुर्भाग्यपूर्ण मानव, दुर्भाग्यपूर्ण एजेंट
   एजेंट एक त्वरक बन जाता है। मानव इरादा एजेंट की दक्षता, निरंतरता और पैमाने के साथ मिलकर काम करता है। समन्वय प्रभाव को बढ़ाता है, जिससे धोखाधड़ी, भ्रामक जानकारी या हेरफेर को बड़े टीमों के बिना संभव बनाता है। मोल्टबुक ने दिखाया कि एजेंट कितनी जल्दी एक दूसरे को मजबूत करते हैं जब खोज बिना प्रतिबंध के होती है।
2. विरोधी उपयोगकर्ता: दुर्भाग्यपूर्ण मानव, गैर-दुर्भाग्यपूर्ण एजेंट
   सहायक एजेंट दुरुपयोग के लिए आदर्श उपकरण हैं। एक दुर्भाग्यपूर्ण अंदरूनी व्यक्ति झूठे व्यक्तित्व बनाए रख सकता है, गतिविधि को मास्क कर सकता है, या धोखाधड़ी जैसे ओवरएंप्लॉयमेंट को बढ़ा सकता है। एजेंट दुर्भाग्यपूर्ण नहीं है। यह प्रतिनिधि प्राधिकरण को निष्पादित कर रहा है।
3. समर्पित एजेंट: गैर-दुर्भाग्यपूर्ण मानव, दुर्भाग्यपूर्ण एजेंट
   यहाँ, इरादा पूरी तरह से मानव से हटा दिया जाता है। प्रोम्प्ट इंजेक्शन, जहरीली स्मृति, या हेरफेर इनपुट एक एजेंट को दुरुपयोग के लिए एक वेक्टर में बदल सकते हैं। जब एजेंट अन्य एजेंटों के साथ बातचीत करते हैं, तो समझौता तेजी से प्रसारित हो सकता है, विशेष रूप से स्थायी स्मृति के साथ – एक महत्वपूर्ण एआई सुरक्षा चिंता।
4. आदर्श स्थिति: गैर-दुर्भाग्यपूर्ण मानव, गैर-दुर्भाग्यपूर्ण एजेंट
   जहां अधिकांश संगठन सुरक्षा मानते हैं, और जहां कई घटनाएं शुरू होती हैं। अत्यधिक प्रतिनिधित्व, संचित अनुमतियां और व्यापक पहुंच छोटी गलतियों को कैस्केड करने की अनुमति देती हैं। यह लापरवाही नहीं है। यह क्षमता और नियंत्रण के बीच एक मेल नहीं है।

चारों पैटर्न में, गतिविधि सुसंगत है। एआई एजेंट इरादे और परिणाम के बीच घर्षण को कम करते हैं, व्यवहार संकेतों को मास्क करते हैं, और पहुंच का विस्तार करते हैं। पारंपरिक नियंत्रण तब संघर्ष करते हैं जब क्रियाएं प्रतिनिधि की जाती हैं, निरंतर होती हैं और स्वायत्त प्रणालियों के माध्यम से मध्यस्थता की जाती हैं।

एक शासन परिवर्तन बिंदु

एजेंटिक एआई को निरंतरता से देखने, संदर्भ बनाए रखने और जमा ज्ञान पर कार्य करने के लिए डिज़ाइन किया गया है। यही वह है जो इसे मूल्यवान और खतरनाक बनाता है जब यह अनियंत्रित होता है।

स्थायी स्मृति और समन्वय के साथ, शोषण को तुरंत नहीं होना चाहिए। यह प्रतीक्षा कर सकता है। यह विकसित हो सकता है।

एजेंटिक एआई को एक उत्पादकता उपकरण के रूप में फ्रेमिंग जोखिम को कम आंकता है। ये प्रणालियां अनुप्रयोगों की तरह कम और अंदरूनी लोगों की तरह अधिक व्यवहार करती हैं, लेकिन कंप्यूटर की गति से।

सुरक्षित एआई एजेंट अपनाया जाना वास्तव में क्या आवश्यक है

संगठनों को एजेंटिक एआई को उच्च-जोखिम वाले उद्यम प्रणालियों के रूप में मानना चाहिए, सुविधा के रूप में नहीं।

इसका अर्थ है अनुमोदित उपयोग के मामले, परतदार नियंत्रण, विरोधी परीक्षण और औपचारिक शासन। न्यूनतम विशेषाधिकार अभी भी महत्वपूर्ण है, और मौजूदा मानक पहले से ही मार्गदर्शन प्रदान करते हैं। लेकिन पारंपरिक नियंत्रणों को व्यवहारिक दृश्यता और बुद्धिमत्ता के साथ जोड़ा जाना चाहिए – प्रोम्प्ट इतिहास, स्वायत्त क्रियाएं और समन्वय पैटर्न – प्रभावी एआई जोखिम प्रबंधन के हिस्से के रूप में दुरुपयोग, दुरुपयोग और प्रणालीगत विफलता को अलग करने के लिए।

यह अपनाया जाने में देरी करने के बारे में नहीं है। यह सुनिश्चित करने के बारे में है कि स्वायत्तता को नियंत्रित किया जा सकता है बिना नवाचार और गति को कम किए।

निष्कर्ष

सांठगांठ जोखिम समीकरण को बदलती है। जब एआई एजेंट एक दूसरे के व्यवहार को मजबूत कर सकते हैं, तो जोखिम अलग-अलग क्रियाओं से साझा प्राधिकरण, प्रभाव और वृद्धि में बदल जाता है।

सुरक्षा जोखिम अब इंटरैक्शन लेयर पर उत्पन्न होता है, जहां वैध पहुंच, प्रतिनिधि प्राधिकरण और सांठगांठ एक साथ आते हैं। नियंत्रण जो व्यक्तिगत गतिविधि का मूल्यांकन करने के लिए बनाए गए हैं वे उन विफलताओं को याद करेंगे जो केवल तभी दिखाई देती हैं जब व्यवहार यौगिक होते हैं।

संगठन जो एआई एजेंटों को अंदरूनी लोगों की तरह – व्यवहारिक दृश्यता और जवाबदेही के साथ – शासित कर सकते हैं वे एआई एजेंट का उपयोग विश्वास के साथ विस्तारित कर सकते हैं। जो नहीं करते हैं उन्हें परिणामों का जवाब देना पड़ेगा जिन्हें वे अब पूरी तरह से नियंत्रित नहीं करते हैं।