AI एजेंट कार्य करने के लिए तैयार हैं। अधिकांश कंपनियाँ उन्हें कार्य करने देने के लिए तैयार नहीं हैं।

जनरेटिव AI युग के अधिकांश समय में, हम मॉडल क्या कहते हैं और हम उनमें क्या डालते हैं, इस पर ध्यान केंद्रित करते रहे हैं। हम प्रॉम्प्ट की जांच करते हैं, प्रतिक्रियाओं को फ़िल्टर करते हैं, मॉडल पर रेड‑टीम करते हैं और इनपुट और आउटपुट के आसपास नियंत्रण बनाते हैं। ये सुरक्षा उपाय अभी भी महत्वपूर्ण हैं, लेकिन इन्हें उस दुनिया के लिए डिज़ाइन किया गया था जहाँ AI मुख्यतः मानव द्वारा उपभोग किए जाने वाले कुछ उत्पन्न करता था।

एजेंट इस समीकरण को बदल देते हैं। वे केवल सूचना का उपभोग या उत्पादन नहीं करते। वे कार्य करते हैं।

एक एजेंट टूल्स को निष्पादित कर सकता है, सब‑एजेंट को बुला सकता है, अन्य एजेंटों के साथ सहयोग कर सकता है, API कॉल कर सकता है, डेटा तक पहुंच सकता है, क्रेडेंशियल्स का उपयोग कर सकता है, MCP सर्वर को कॉल कर सकता है, कोड उत्पन्न और निष्पादित कर सकता है, और एक लक्ष्य की प्राप्ति में स्वायत्त रूप से निर्णयों की श्रृंखला बना सकता है। एक अटूट प्रयास। एक बार यह हो जाने पर, मुख्य प्रश्न अब केवल यह नहीं रहता कि मॉडल ने सुरक्षित प्रतिक्रिया दी या नहीं। बल्कि यह है कि उसके द्वारा किए गए कार्य निष्पादन के लिए सुरक्षित हैं या नहीं।

OpenAI की हालिया खुलासे इस अंतर को अधिक महत्वपूर्ण बनाते हैं। OpenAI ने शुरू किया है अनपेक्षित या चिंताजनक मॉडल व्यवहार को व्यवस्थित रूप से रिपोर्ट करना, जबकि इसका व्यापक सुरक्षा कार्य अधिकाधिक उन जोखिमों को संबोधित कर रहा है जो मॉडल अधिक स्वायत्तता और टूल्स तक पहुँच प्राप्त करने पर उत्पन्न होते हैं।

सिखावन यह नहीं है कि एजेंट स्वभाविक रूप से असुरक्षित हैं। यह है कि सुरक्षा सीमा स्थानांतरित हो गई है।

एजेंटिक सिस्टम्स को अलग ऑपरेटिंग मॉडल की आवश्यकता है

एजेंटिक AI केवल एक अन्य एप्लिकेशन आर्किटेक्चर नहीं है। सॉफ़्टवेयर स्वयं अधिकाधिक यह निर्धारित कर रहा है कि काम कैसे किया जाता है।

एक एजेंट बाधा का सामना कर सकता है, क्या हुआ इसका विश्लेषण कर सकता है और कोई अन्य मार्ग चुन सकता है। यह टूल्स को ऐसे तरीकों से संयोजित कर सकता है जो पहले स्पष्ट रूप से डिजाइन नहीं किए गए थे। यह कोड उत्पन्न कर सकता है और उसी वर्कफ़्लो के हिस्से के रूप में उस कोड को निष्पादित कर सकता है। कार्यों की क्रमबद्धता हर बार एजेंट चलने पर बदल सकती है।

इसी समय, इस सॉफ़्टवेयर को बनाने वाली जनसंख्या नाटकीय रूप से बढ़ रही है। जैसा कि हमने नागरिक डेवलपर के उदय के बारे में लिखा है, AI उन लोगों को सॉफ़्टवेयर निर्माता में बदल रहा है जिन्होंने कभी खुद को डेवलपर नहीं माना। एक मार्केटर, वित्तीय विश्लेषक, या संचालन नेता अब यह वर्णन कर सकता है कि वे क्या चाहते हैं और एक ऐसा एजेंट बना सकता है जो वास्तविक व्यावसायिक सिस्टमों के साथ इंटरैक्ट कर सके।

यह सॉफ़्टवेयर बनाने वाले लोगों और उस सॉफ़्टवेयर की क्षमताओं का एक असाधारण विस्तार है। इसका यह भी अर्थ है कि संगठनों के पास व्यवसाय के कई हिस्सों में अधिक स्वायत्त सॉफ़्टवेयर संचालित करने की क्षमता होगी।

उत्तर केवल यह नहीं हो सकता कि इस नए माहौल पर कल के नियंत्रण लागू किए जाएँ। यदि उद्यम इन सिस्टमों को सुरक्षित रूप से संचालित नहीं कर सकते, तो विकल्प होगा उन्हें सीमित करना और अंततः उन उत्पादकता लाभों को धीमा करना जो वे हासिल करने की कोशिश कर रहे हैं।

नियंत्रण को उन स्थानों पर मौजूद होना चाहिए जहाँ एजेंट कार्य करते हैं

जैसे-जैसे AI अधिक स्वायत्त बनता है, चुनौती मॉडल में क्या जाता है उसे नियंत्रित करने से बदलकर यह नियंत्रित करने की हो जाती है कि उसके निर्णय कार्य बनते ही क्या होता है।

एक एजेंट एक अनुमोदित उपयोगकर्ता, एक स्वीकार्य प्रॉम्प्ट, वैध क्रेडेंशियल्स और टूल तक अधिकृत पहुंच के साथ शुरू हो सकता है। इनमें से कोई भी यह गारंटी नहीं देता कि हर बाद की कार्रवाई को निष्पादित किया जाना चाहिए।

यहीं पर रनटाइम महत्वपूर्ण हो जाता है। संगठनों को केवल यह नहीं समझना है कि एजेंट कौन है, बल्कि यह भी पूछना चाहिए कि वह अभी क्या कर रहा है:

• कौन से टूल वह बुला रहा है,
• कौन से संसाधन वह एक्सेस कर रहा है, कौन सा कोड वह निष्पादित करने का प्रयास कर रहा है, 
• कौन से सब‑एजेंट और अन्य एजेंट संचार हो रहे हैं,
• उस कार्रवाई से तुरंत पहले क्या हुआ और क्या उसका व्यवहार स्वीकार्य सीमाओं के भीतर बना रहता है,
• रनटाइम में एजेंट पर्दे के नीचे क्या कर रहा है।

और जब वह नहीं करता, तो सिस्टम को निष्पादन से पहले वास्तविक समय में हस्तक्षेप करने की क्षमता चाहिए।

यह एक महत्वपूर्ण अंतर है। अवलोकन आपको बताता है कि क्या हुआ। रनटाइम नियंत्रण आपको एजेंट निष्पादन परत को नियंत्रित करने की क्षमता देता है।

यह विशेष रूप से महत्वपूर्ण हो जाता है क्योंकि एजेंटिक व्यवहार दोनों ही अनिर्धारित और बहु‑आयामी है। एक अवरुद्ध कार्रवाई एजेंट को उसके लक्ष्य की ओर एक वैकल्पिक दृष्टिकोण अपनाने के लिए प्रेरित करेगी। एक सतही रूप से निरापद टूल कॉल पूर्ववर्ती घटनाओं के कारण जोखिमपूर्ण बन सकता है। केवल अवलोकन या “पता लगाना और प्रतिक्रिया देना” खेल में बहुत देर हो जाती है ताकि एजेंट की पहुँच और निष्पादन को वास्तव में नियंत्रित किया जा सके।

रनटाइम को इनलाइन और सिंक्रोनस होना चाहिए ताकि वह AI की गति के साथ तालमेल रख सके।  ऐसे दृष्टिकोण अपनाने में मूल चुनौती प्री‑AI युग की सोच पर निर्भर करती है, जो लंबी विश्लेषण और पहचान पद्धति पर आधारित थी।  ये सिद्धांत आज की दुनिया में अब लागू नहीं होते।

रनटाइम सुरक्षा को संदर्भ की आवश्यकता होती है, केवल नियंत्रण नहीं

उभरते AI जोखिम का जवाब देने के लिए स्वायत्तता को घटाने की प्रवृत्ति होती है: एजेंटों को कम अनुमतियाँ देना, मानव अनुमोदन को अधिक बार आवश्यक बनाना या उनके संचालन वाले वातावरण को सीमित करना। ऐसे नियंत्रण कभी‑कभी उपयुक्त होते हैं, विशेष रूप से उच्च‑जोखिम वाले कार्यों के लिए।

लेकिन वे दीर्घकालिक संचालन मॉडल नहीं बन सकते।

यदि किसी मानव को हर महत्वपूर्ण निर्णय को मंजूरी देना पड़े, तो हमने स्वायत्त एजेंट के बहुत से मूल्य को हटा दिया है। कड़े मानव‑इन‑द‑लूप इंटरैक्शन पर निर्भर रहने से हमने कुछ सबसे प्रतिभाशाली व्यक्तियों को “बटन दबाने वाले” में बदल दिया है। इसका सीधा प्रभाव उन संगठनों के कोड बेस के दायरे और आपसी निर्भरताओं को समझने की क्षमता पर पड़ता है, जिन पर एजेंटिक संगठन संचालन कर रहे हैं।

एजेंटिक AI का आर्थिक वादा ठीक उसी से आता है कि सॉफ्टवेयर को स्वतंत्र रूप से और निरंतर—24/7—महत्वपूर्ण कार्य पूरा करने की अनुमति दी जाए। इसलिए लक्ष्य स्वायत्तता को समाप्त करना नहीं होना चाहिए। लक्ष्य यह होना चाहिए कि अधिक स्वायत्तता को सुरक्षित रूप से संचालित किया जा सके।

इसके लिए एजेंट की अपनी तर्क प्रक्रिया के बाहर स्वतंत्र नियंत्रण आवश्यक होते हैं। एजेंटिक असंगति, जानबूझकर निर्मित सिमुलेशन में किया गया, यह दर्शाता है कि यह क्यों महत्वपूर्ण है। जैसे-जैसे सिस्टम अधिक स्वायत्त होते हैं, उनका व्यवहार उनके ऑपरेटरों की अपेक्षाओं से अलग हो सकता है, भले ही मूल उद्देश्य स्पष्ट दिखे।

व्यावहारिक निहितार्थ सीधा है: संगठन केवल यह समझने पर भरोसा नहीं कर सकते कि एजेंट को क्या करने को कहा गया था। उन्हें यह समझना और नियंत्रित करना आवश्यक है कि वह वास्तव में क्या करता है।

एजेंट अब कठिन हिस्सा नहीं रहा

उद्योग ने एजेंटों को अधिक सक्षम बनाने में अत्यधिक ऊर्जा खर्च की है। हम तेज़ी से उस बिंदु के करीब पहुँच रहे हैं जहाँ क्षमता अब उद्यम अपनाने की मुख्य बाधा नहीं रही।

सीमा नियंत्रण है।

जैसे-जैसे एजेंट अधिक स्वायत्त होते हैं, उनके कार्यों के परिणाम बढ़ते हैं—और पूर्वानुमेय सॉफ़्टवेयर के लिए डिज़ाइन किए गए नियंत्रण कम प्रभावी हो जाते हैं। उद्यमों को यह निरंतर देखना आवश्यक है कि एजेंट क्या कर रहे हैं, यह समझने के लिए संदर्भ कि ये कार्य क्यों महत्वपूर्ण हैं, और बिना हर निर्णय के मध्य में मानव को रखे हस्तक्षेप करने की क्षमता चाहिए।

यह सॉफ़्टवेयर चलाने के अर्थ को बदल देता है।

• डेवलपर्स को समझना चाहिए कि एजेंट वास्तव में कैसे व्यवहार करते हैं, न कि केवल यह कि उन्हें कैसे डिजाइन किया गया था।
• प्लेटफ़ॉर्म और सुरक्षा टीमों को ऐसी सीमाएँ स्थापित करनी चाहिए जो एजेंटों के विभिन्न सिस्टम और टूल्स में कार्य करने पर भी लागू रह सकें।
• व्यवसायिक नेताओं को यह भरोसा चाहिए कि अधिक स्वायत्तता का मतलब नियंत्रण छोड़ना नहीं है।

यह मूल रूप से किसी अन्य एप्लिकेशन को सुरक्षित करने या किसी अन्य मॉडल को नियंत्रित करने से अलग है। हम उद्यम वातावरण में स्वायत्त अभिकर्ताओं को पेश कर रहे हैं: ऐसे सिस्टम जो तर्क कर सकते हैं, निर्णय ले सकते हैं और कार्रवाई कर सकते हैं। यदि संगठन उन कार्यों को होते हुए देख और नियंत्रित नहीं कर सकते, तो अंततः उन्हें एजेंटों की क्षमताओं को सीमित करना पड़ेगा, जिससे स्वायत्तता द्वारा उत्पन्न होने वाले अधिकांश मूल्य में कमी आएगी।

उत्तर यह नहीं है कि हम मान लें कि हम हर बुरी निर्णय को रोक सकते हैं। जैसे-जैसे सिस्टम अधिक स्वायत्त और अनिश्चित होते हैं, इसे गारंटी देना और भी कठिन हो जाता है।

लक्ष्य यह सुनिश्चित करना है कि कोई बुरा या विनाशकारी कार्य प्रतिकूल परिणाम न दे।

इसके लिए एजेंटों के चारों ओर एक नई संचालन परत की आवश्यकता है: ऐसी परत जो व्यवहार को निरंतर देख सके, संदर्भ में कार्यों को समझे, पूरे एजेंटिक रन‑टाइम स्टैक में सीमाओं को लागू करे और अनपेक्षित या अस्वीकार्य कार्य के अपरिवर्तनीय परिणाम बनने से पहले हस्तक्षेप करे।

उद्यम AI का अगला चरण केवल यह नहीं तय होगा कि एजेंट कितने सक्षम होते हैं। यह इस बात से निर्धारित होगा कि संगठन उन्हें कितनी स्वायत्तता सुरक्षित रूप से दे सकते हैं।