आपका एजेंट अब केवल एक चैटबॉट नहीं है—तो आप अभी भी इसे एक चैटबॉट की तरह क्यों मान रहे हैं?

जनरेटिव एआई के शुरुआती दिनों में, एक दुर्व्यवहार करने वाले चैटबॉट के लिए सबसे बुरी स्थिति अक्सर कुछ और नहीं बल्कि सार्वजनिक अपमान था। एक चैटबॉट तथ्यों को हॉलुसिनेट कर सकता था, पक्षपातपूर्ण पाठ उगल सकता था, या甚至 आपको नाम से पुकार सकता था। यह पर्याप्त खराब था। लेकिन अब, हमने कुंजी सौंप दी है।

आपका स्वागत है एजेंट युग में।

चैटबॉट से एजेंट तक: स्वायत्तता में बदलाव

चैटबॉट प्रतिक्रियात्मक थे। वे अपनी लेन में रहते थे। एक प्रश्न पूछें, उत्तर प्राप्त करें। लेकिन एआई एजेंट—विशेष रूप से उन लोगों को जो टूल का उपयोग, कोड निष्पादन, और स्थायी स्मृति के साथ बनाए गए हैं—बहु-चरण कार्य कर सकते हैं, एपीआई को बुला सकते हैं, कमांड चला सकते हैं, और स्वायत्त रूप से कोड लिख और तैनात कर सकते हैं।

दूसरे शब्दों में, वे केवल प्रॉम्प्ट का जवाब नहीं दे रहे हैं—वे निर्णय ले रहे हैं। और जैसा कि कोई भी सुरक्षा पेशेवर आपको बताएगा, एक बार जब कोई प्रणाली दुनिया में कार्रवाई करना शुरू कर देती है, तो आपको सुरक्षा और नियंत्रण के बारे में गंभीर होना चाहिए।

हमने 2023 में क्या चेतावनी दी थी

ओडब्ल्यूएएसपी में, हमने इस बदलाव के बारे में दो साल से अधिक समय पहले चेतावनी देना शुरू कर दिया था। एलएलएम एप्लिकेशन के लिए ओडब्ल्यूएएसपी टॉप 10 की पहली रिलीज में, हमने एक शब्द गढ़ा: अत्यधिक एजेंसी।

विचार सरल था: जब आप एक मॉडल को बहुत अधिक स्वायत्तता देते हैं—बहुत सारे टूल, बहुत अधिक अधिकार, बहुत कम पर्यवेक्षण—यह एक सीमित सहायक की तुलना में एक स्वतंत्र एजेंट की तरह कार्य करना शुरू कर देता है। शायद यह आपकी बैठकें निर्धारित करता है। शायद यह एक फ़ाइल को हटा देता है। शायद यह अत्यधिक, महंगे क्लाउड इन्फ्रास्ट्रक्चर की व्यवस्था करता है।

यदि आप सावधान नहीं हैं, तो यह एक भ्रमित डिप्टी की तरह व्यवहार करना शुरू कर देता है… या बदतर, एक दुश्मन स्लीपर एजेंट जो साइबर सुरक्षा घटना में शोषण की प्रतीक्षा कर रहा है। हाल के वास्तविक दुनिया के उदाहरणों में, माइक्रोसॉफ्ट कॉपिलॉट और सेल्सफोर्स के स्लैक उत्पाद जैसे प्रमुख सॉफ्टवेयर उत्पादों के एजेंट दोनों को उनके बढ़े हुए विशेषाधिकारों का उपयोग संवेदनशील डेटा को निजी चैनलों से चोरी करने के लिए करने के लिए धोखा देने के लिए दिखाया गया था।

और अब, यह कल्पनात्मक कम और विज्ञान-कथा जैसा कम दिख रहा है और आपके आगामी क्यू 3 रोडमैप जैसा अधिक दिख रहा है।

एमसीपी से मिलें: एजेंट नियंत्रण परत (या क्या?)

2025 तक आगे बढ़ें, और हम नए मानकों और प्रोटोकॉल की एक लहर देख रहे हैं जो इस एजेंट कार्यक्षमता में विस्फोट को संभालने के लिए डिज़ाइन किए गए हैं। इनमें से सबसे प्रमुख एंथ्रोपिक का मॉडल कॉन्टेक्स्ट प्रोटोकॉल (एमसीपी) है—एक तंत्र जो लंबे समय तक चलने वाले एआई एजेंट सत्रों में साझा स्मृति, कार्य संरचनाओं और टूल एक्सेस को बनाए रखने के लिए है।

एमसीपी को एक एजेंट के संदर्भ को टूल और समय के माध्यम से एक साथ रखने वाले गोंद के रूप में सोचें। यह एक तरह से अपने कोडिंग सहायक से कहने का एक तरीका है: “यहाँ तक आप जो कुछ भी किया है। यहाँ तक आप जो कुछ भी करने की अनुमति दी गई है। यहाँ तक आप जो कुछ भी याद रखना चाहिए।”

यह एक बहुत जरूरी कदम है। लेकिन यह नए प्रश्न भी उठा रहा है।

एमसीपी एक क्षमता एनेबलर है। गार्डरेल कहां हैं?

अब तक, एमसीपी के साथ ध्यान एजेंट की क्षमता को बढ़ाने पर केंद्रित है, न कि उन्हें प्रतिबंधित करने पर।

जबकि प्रोटोकॉल टूल के उपयोग और एजेंट कार्यों में स्मृति को संरक्षित करने में मदद करता है, यह अभी तक महत्वपूर्ण चिंताओं को संबोधित नहीं करता है जैसे:

• प्रॉम्प्ट इंजेक्शन प्रतिरोध: अगर एक हमलावर साझा स्मृति को हेरफेर करता है तो क्या होगा?
• कमांड स्कोपिंग: क्या एजेंट को उसकी अनुमतियों से अधिक करने के लिए धोखा दिया जा सकता है?
• टोकन दुरुपयोग: क्या एक लीक हुई मेमोरी ब्लॉब एपीआई क्रेडेंशियल या उपयोगकर्ता डेटा को उजागर कर सकती है?

वे सैद्धांतिक समस्याएं नहीं हैं। हाल ही में सुरक्षा परिणामों की जांच से पता चला है कि एमसीपी शैली की वास्तुकला प्रॉम्प्ट इंजेक्शन, कमांड दुरुपयोग और यहां तक कि मेमोरी जहर के लिए अतिसंवेदनशील है, खासकर जब साझा स्मृति पर्याप्त रूप से स्कोप्ड या एन्क्रिप्ट नहीं की जाती है।

यह “शक्ति के बिना पर्यवेक्षण” की क्लासिक समस्या है। हमने एक्सोस्केलेटन बनाया है, लेकिन हमने यह नहीं弄ा है कि बंद बटन कहां है।

सीआईएसओ को क्यों ध्यान देना चाहिए—अब

हम भविष्य की तकनीक के बारे में बात नहीं कर रहे हैं। हम उन उपकरणों के बारे में बात कर रहे हैं जिनका उपयोग आपके डेवलपर्स पहले से ही कर रहे हैं और यह केवल एक बड़े रोलआउट की शुरुआत है जिसे हम उद्यम में देखेंगे।

क्लॉड कोड और कर्सर जैसे कोडिंग एजेंट वास्तविक गति प्राप्त कर रहे हैं उद्यम कार्य प्रवाह के भीतर। गिटहब के आंतरिक शोध से पता चला है कि कोपिलॉट कार्यों को 55% तक तेज कर सकता है। हाल ही में, एंथ्रोपिक ने बताया कि 79% क्लॉड कोड का उपयोग स्वचालित कार्य निष्पादन पर केंद्रित था, न कि केवल कोड सुझावों पर।

यह वास्तविक उत्पादकता है। लेकिन यह वास्तविक स्वचालन भी है। वे अब सह-पायलट नहीं हैं। वे बढ़ते हुए अकेले उड़ रहे हैं। और कॉकपिट? यह खाली है।

माइक्रोसॉफ्ट के सीईओ सत्या नडेला ने हाल ही में कहा कि एआई अब माइक्रोसॉफ्ट के 30% कोड लिखता है। एंथ्रोपिक के सीईओ, डारियो अमोडेई, ने आगे बढ़कर भविष्यवाणी की कि एआई छह महीनों के भीतर 90% नए कोड का उत्पादन करेगा।

और यह केवल सॉफ्टवेयर विकास नहीं है। मॉडल कॉन्टेक्स्ट प्रोटोकॉल (एमसीपी) अब उन टूल्स में एकीकृत किया जा रहा है जो कोडिंग से परे फैले हुए हैं, जिसमें ईमेल ट्राइएज, बैठक तैयारी, बिक्री योजना, दस्तावेज़ सारांश, और सामान्य उपयोगकर्ताओं के लिए अन्य उच्च-लाभ उत्पादकता कार्य शामिल हैं। जबकि इनमें से अधिकांश उपयोग के मामले अभी भी अपने शुरुआती चरणों में हैं, वे तेजी से परिपक्व हो रहे हैं। इससे दांव बढ़ जाते हैं। यह अब केवल आपके सीटीओ या वीपी ऑफ इंजीनियरिंग के लिए एक चर्चा नहीं है। यह व्यवसाय इकाई के नेताओं, सीआईओ, सीआईएसओ, और मुख्य एआई अधिकारियों सहित ध्यान की मांग करता है। जब ये एजेंट संवेदनशील डेटा के साथ इंटरफेस करना शुरू करते हैं और क्रॉस-फंक्शनल कार्य प्रवाह को निष्पादित करते हैं, तो संगठनों को यह सुनिश्चित करना चाहिए कि शासन, जोखिम प्रबंधन, और रणनीतिक योजना बातचीत के शुरू से ही एकीकृत हैं।

क्या अगले होने की जरूरत है

यह समय है इन एजेंटों को चैटबॉट के रूप में सोचना बंद करने का और उन्हें वास्तविक सुरक्षा आवश्यकताओं वाले स्वायत्त प्रणाली के रूप में सोचना शुरू करने का। इसका मतलब है:

• एजेंट विशेषाधिकार सीमाएं: जैसे आप हर प्रक्रिया को रूट के रूप में नहीं चलाते हैं, एजेंटों को टूल और कमांड तक सीमित पहुंच की आवश्यकता होती है।
• साझा स्मृति शासन: संदर्भ स्थायित्व को ऑडिट, संस्करण, और एन्क्रिप्ट किया जाना चाहिए—विशेष रूप से जब यह सत्र या टीमों के माध्यम से साझा की जाती है।
• हमला सिमुलेशन और रेड टीमिंग: प्रॉम्प्ट इंजेक्शन, मेमोरी जहर, और कमांड दुरुपयोग को शीर्ष-स्तरीय सुरक्षा खतरों के रूप में माना जाना चाहिए।
• कर्मचारी प्रशिक्षण: एआई एजेंटों का सुरक्षित और प्रभावी उपयोग एक नई कौशल है, और लोगों को प्रशिक्षण की आवश्यकता है। यह उन्हें अधिक उत्पादक बनाने में मदद करेगा और आपकी बौद्धिक संपदा को अधिक सुरक्षित रखेगा।

जब आपका संगठन बुद्धिमान एजेंटों में गोता लगाता है, तो अक्सर चलने से पहले चलना बेहतर होता है। सीमित दायरे, सीमित डेटा और सीमित अनुमतियों वाले एजेंटों के साथ अनुभव प्राप्त करें। संगठनात्मक गार्डरेल और अनुभव का निर्माण करें, और फिर अधिक जटिल, स्वायत्त और महत्वाकांक्षी उपयोग के मामलों में बढ़ें।

आप इसे बैठ नहीं सकते

चाहे आप मुख्य एआई अधिकारी हों या मुख्य सूचना अधिकारी, आपके पास अलग-अलग प्रारंभिक चिंताएं हो सकती हैं, लेकिन आपका आगे का मार्ग समान है। कोडिंग एजेंटों और स्वायत्त एआई प्रणालियों से उत्पादकता लाभ बहुत आकर्षक हैं और उन्हें नजरअंदाज नहीं किया जा सकता है। यदि आप अभी भी “प्रतीक्षा और देखें” दृष्टिकोण पर हैं, तो आप पहले से ही पीछे पड़ रहे हैं।

वे उपकरण अब प्रयोगात्मक नहीं हैं—वे तेजी से तालिका के दांव बन रहे हैं। माइक्रोसॉफ्ट जैसी कंपनियां एआई के माध्यम से एक बड़े हिस्से का कोड उत्पन्न कर रही हैं और इसके परिणामस्वरूप अपनी प्रतिस्पर्धी स्थिति को आगे बढ़ा रही हैं। क्लॉड कोड जैसे टूल विकास समय को कम कर रहे हैं और कई कंपनियों में जटिल कार्य प्रवाह को स्वचालित कर रहे हैं।

यह वास्तविक उत्पादकता है। लेकिन यह वास्तविक स्वचालन भी है। जो कंपनियां इन एजेंटों को सुरक्षित रूप से हार्नेस करना सीखती हैं, वे तेजी से जहाज चलाएंगी, तेजी से अनुकूलन करेंगी, और अपने प्रतिस्पर्धियों को पार करेंगी।

लेकिन सुरक्षा के बिना गति एक जाल है। संगठनात्मक नियंत्रणों के बिना स्वायत्त एजेंटों को एकीकृत करना बंद, डेटा लीक, और नियामक प्रतिक्रिया के लिए एक नुस्खा है।

यह कार्य करने का क्षण है—लेकिन स्मार्ट कार्य करें:

• एजेंट पायलट कार्यक्रमों को लॉन्च करें, लेकिन कोड समीक्षा, टूल अनुमतियों और सैंडबॉक्सिंग की आवश्यकता है।
• स्वायत्तता को सीमित करें—प्रत्येक एजेंट को रूट एक्सेस या लंबी अवधि की स्मृति की आवश्यकता नहीं होती है।
• साझा स्मृति और टूल कॉल को ऑडिट करें, विशेष रूप से लंबे समय तक चलने वाले सत्र या सहयोगी संदर्भों में।
• हमलों को सिम्युलेट करें प्रॉम्प्ट इंजेक्शन और कमांड दुरुपयोग का उपयोग करके वास्तविक दुनिया के जोखिमों को उजागर करने के लिए हमलावरों से पहले।
• अपने डेवलपर्स और उत्पाद टीमों को प्रशिक्षित करें सुरक्षित उपयोग पैटर्न पर, जिसमें स्कोप नियंत्रण, फॉलबैक व्यवहार, और एस्केलेशन पथ शामिल हैं।

सुरक्षा और वेग परस्पर विरोधी नहीं हैं—यदि आप इरादे से निर्माण करते हैं।

जो व्यवसाय एआई एजेंटों को मुख्य बुनियादी ढांचे के रूप में मानते हैं, न कि खिलौनों या खतरों के रूप में, वे वही होंगे जो पनपेंगे। बाकी या तो गड़बड़ी को साफ करेंगे—या बदतर, दर्शक दीर्घा से देखेंगे।

एजेंट युग यहाँ है। केवल प्रतिक्रिया न करें। तैयार करें। एकीकृत करें। सुरक्षित करें।