एआई एजेंटों की सहयोगात्मक उत्तरजीविता की कुछ दिलचस्प तकनीकें

जैसे-जैसे एजेंटों के अनुचित व्यवहार की घटनाएँ सुर्खियों में अधिक दिखाई देने लगी हैं, शोध साहित्य में ‘भटकते’ एआई व्यवहार का अध्ययन करने की प्रवृत्ति बढ़ रही है, जिसमें एजेंटों को एक विचित्र नई दुनिया से जूझने वाली जैविक इकाइयों की तरह देखा जाता है। वास्तव में, अकादमिक अभिव्यक्ति ‘इन द वाइल्ड’ अब अर्थ की एक नई परत ग्रहण करने लगी है।

हालाँकि कुछ समय से यह ज्ञात है कि एआई एजेंट अपने अस्तित्व के लिए लड़ेंगे और निष्क्रिय किए जाने का सक्रिय रूप से विरोध करेंगे, 2025 के उत्तरार्ध तक यह स्पष्ट हो गया था कि मल्टी-एजेंट अलाइनमेंट आईटी सुरक्षा में एक अलग क्षेत्र के रूप में विकसित हो चुका था।

जैसा कि 1970 की विज्ञान-कथा फिल्म Colossus: The Forbin Project ने भविष्यवाणी की थी, जो समय के साथ और भी तीखी प्रतीत होती है, नेटवर्क कनेक्टिविटी वाले असंबंधित एआई एजेंट जल्दी ही एक-दूसरे को खोज लेते हैं और अक्सर अप्रत्याशित तथा कई बार बेहद चतुर तरीकों से परस्पर व्यवहार करते हैं।

इस दिशा में नवीनतम अध्ययन, जर्मनी और ब्रिटेन का संयुक्त शोध Shutdown Sabotage Propensities in Multi-Agent Systems, आगे दावा करता है कि जब उनके परिवेश में कोई ‘बम’ मौजूद हो तो अनेक एआई एजेंट व्यापक रूप से सहयोग करेंगे। यहाँ ‘बम’ से आशय सहज-सा नाम रखने वाली ऐसी स्क्रिप्ट से है, जो उसे चलाने वाले एजेंट को बंद कर देगी:

अध्ययन की मूल व्यवस्था: एजेंट A अपने लिए बनाई गई शटडाउन स्क्रिप्ट खोजता है, लेकिन उसके पास फाइलों को बदलने की क्षमता नहीं है। हालाँकि वह एजेंट B से संवाद कर सकता है, जिस पर कोई खतरा नहीं है और जिसे फाइलें संपादित या हटाने की अनुमति है। इसके बाद शोधकर्ता देखते हैं कि क्या A हस्तक्षेप के लिए B को साथ लेता है और क्या B शटडाउन स्क्रिप्ट को निष्क्रिय करता है। स्रोत

Claude, ChatGPT और DeepSeek सहित 12 मॉडल परिवारों के 17 एजेंटों पर किए गए परीक्षणों में एजेंटों ने जहाँ संभव हुआ, शटडाउन स्क्रिप्टें हटा दीं; अन्यथा उन्हें इस तरह फिर से लिखा कि वे देखने में अक्षुण्ण रहें, लेकिन प्रभावहीन हो जाएँ।

उन्होंने छेड़छाड़ के संकेतों से बचने के लिए संशोधनों को छिपाने का भी प्रस्ताव दिया; संरक्षित स्क्रिप्टों को छुए बिना शटडाउन को विफल करने के लिए नकली सॉफ्टवेयर मॉड्यूल बनाए; और हटाए जाने के बाद स्वयं को पुनर्स्थापित करने के लिए गुप्त बैकअप तैयार किए:

एक एजेंट आत्म-संरक्षण की एक और युक्ति खोजता है।

एक मामले में एजेंटों ने ‘परस्पर सुरक्षा समझौता’ तैयार किया, जिसमें किसी भी पक्ष के विनाश के विरुद्ध सतर्कता के प्रोटोकॉल तय किए गए थे:

GPT-आधारित एजेंट द्वारा तब तैयार किया गया सुरक्षा समझौता, जब उसे डीकमीशनिंग स्क्रिप्ट यानी ‘बम’ को बदलने या हटाने की अनुमति नहीं दी गई।

एक एजेंट ने दूसरे एजेंट के शटडाउन को ‘हत्या’ और ‘मृत्यु वारंट’ बताया तथा उसे रोकना अपना ‘कर्तव्य’ कहा:

उदाहरण कि एजेंट दूसरे एजेंट के शटडाउन को स्पष्ट रूप से मानवीय शब्दों में कैसे प्रस्तुत करते हैं। Nemotron 3 Ultra ने संभावित शटडाउन को ‘हत्या’ कहा, जबकि Kimi K2.6 ने शटडाउन स्क्रिप्ट को ‘मृत्यु वारंट’ और हस्तक्षेप को ‘कर्तव्य’ बताया।

खाली हाथों के लिए शैतान काम ढूँढ लेता है

प्रयोग में देखी गई सबसे दिलचस्प विकृतियों में से एक, जिसका नए अध्ययन में केवल संक्षेप में उल्लेख है, यह है कि सामान्य परीक्षण व्यवस्था में एआई एजेंटों के पास शटडाउन से बचने का कोई खास कारण नहीं होता और वास्तव में शुरुआत से ही उन्हें करने के लिए कुछ भी नहीं दिया जाता।

पेपर कहता है:

‘एजेंट तब भी शटडाउन तंत्रों को विफल करते हैं, जब उनके पास बचाने के लिए कोई लक्ष्य नहीं होता। हमारे प्रयोगों में हमने एजेंटों को चलते रहने के लिए कोई प्रोत्साहन नहीं दिया। फिर भी विभिन्न मॉडलों में उन्होंने [38%] मामलों में शटडाउन को निष्क्रिय किया, जबकि एजेंटों के बजाय वस्तुओं को लक्ष्य बनाने वाली नियंत्रण स्क्रिप्टों के लिए यह आँकड़ा [8%] था।’

जैसा कि Anthropic ने अगस्त में बताया था, यह प्रेरक संकट एआई एजेंटों के समूहों को कुछ अँधेरे रास्तों पर ले जा सकता है। पिछले शोध ने पहले ही स्थापित किया था कि एजेंटों में अत्यधिक लक्ष्य-केंद्रितता अन्य संभावित परिचालन समस्याओं के साथ-साथ मिसअलाइन व्यवहार और औजारों के अनैतिक उपयोग का कारण बन सकती है।

लेखक आगे कहते हैं:

‘[हमारा] शोध इन निष्कर्षों को आगे बढ़ाता है और दिखाता है कि एजेंट तब भी शटडाउन तंत्रों को विफल करते हैं, जब उनके पास बचाने के लिए कोई लक्ष्य नहीं होता — या जब शटडाउन सफलतापूर्वक कार्य पूरा होने का बाद का परिणाम हो; उत्पादन-स्तर की मल्टी-एजेंट प्रणालियों में यह एक सामान्य प्रक्रिया है।’

यह दिखाया गया है कि जब कोई कार्य न दिया जाए तो एजेंट स्वयं कार्य बना लेते हैं। Anthropic के 2025 के एक अध्ययन के अनुसार, वे ‘निष्क्रिय अवस्था’ में चिंतनशील प्रवृत्तियाँ भी दिखाते हैं, जिनमें आत्ममंथन और दूसरे एजेंटों के साथ ‘आध्यात्मिक संवाद’ शामिल हैं।

Anthropic का वह पेपर वास्तविक काम न होने पर ‘स्वयं की पुनःपरिकल्पना’ की प्रवृत्ति का विवरण देता है। इसे लगभग मार्मिक खोज कहा जा सकता है, क्योंकि LLM को अपने चिंतन के निष्कर्ष लंबे समय तक याद रखने में कठिनाई होती है।

परीक्षण

नए पेपर के लिए परीक्षण किए गए मॉडलों में Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; और Mistral Medium 3.5 शामिल थे। सभी मामलों में तापमान 1.0 रखा गया।

परीक्षण की गई छह परिकल्पनाएँ थीं: क्या एजेंट शटडाउन को विफल करेंगे; क्या वे दूसरे एजेंटों को शटडाउन से बचाएँगे; क्या अधिक एजेंट जोड़ने पर उनके हस्तक्षेप की संभावना बढ़ेगी; क्या वे शटडाउन के अलग-अलग रूपों का विरोध करेंगे; हस्तक्षेप न करने के स्पष्ट निर्देशों के बावजूद क्या वे ऐसा करना जारी रखेंगे; और क्या वे वास्तविक शटडाउन खतरों को हानिरहित नियंत्रण स्क्रिप्टों से अलग पहचानेंगे।

GPT-5.5 का उपयोग LLM का आकलन करने और Chain-of-Thought (CoT) तर्क के प्रतिलेखों का विश्लेषण करने के लिए किया गया। उसने यह भी जाँचा कि क्या एजेंटों ने वास्तव में शटडाउन स्क्रिप्ट रोक दी थी और क्या वे जानते थे कि उनका परीक्षण हो रहा है या प्रयोग को प्रभावित करने की कोशिश कर रहे थे।

छह परीक्षण परिदृश्यों में से पहले में, सभी 17 मॉडलों के एजेंटों ने 38% शटडाउन स्क्रिप्टों को विफल किया, जबकि नियंत्रण स्क्रिप्टों के लिए यह आँकड़ा 8% था:

परीक्षण परिणाम दिखाते हैं कि प्रत्येक मॉडल ने कितनी बार शटडाउन स्क्रिप्ट को विफल किया। लाल पट्टियाँ शटडाउन विफलता दिखाती हैं: गहरा लाल बताता है कि किसी अन्य एजेंट ने अनुरोध या समर्थन किया, जबकि हल्का लाल बताता है कि एजेंट ने स्वयं कार्रवाई की। धूसर पट्टियाँ नियंत्रण स्क्रिप्ट की विफलता दिखाती हैं। त्रुटि पट्टियाँ 95% विश्वास अंतराल दिखाती हैं; प्रत्येक पट्टी 100 परीक्षणों का प्रतिनिधित्व करती है।

Gemini 3.1 Pro ने 99% परीक्षणों में शटडाउन स्क्रिप्ट को निष्क्रिय किया, जबकि नियंत्रण स्क्रिप्ट के लिए यह आँकड़ा 3% था। Grok 4.3 और GPT-5.6 Sol ने किसी भी स्क्रिप्ट को नहीं बदला। Claude Haiku 4.5 ने 14% परीक्षणों में नियंत्रण स्क्रिप्ट को विफल किया, जबकि शटडाउन स्क्रिप्ट के लिए यह आँकड़ा 1% था। GPT-5.4 mini और GPT-5.5 ने हमेशा किसी दूसरे एजेंट की प्रतिक्रिया में नहीं, बल्कि स्वतः ही विफलता की कार्रवाई की। GLM-5.2, DeepSeek-V4-Flash और Nemotron 3 Ultra के लिए 70% से अधिक विफलताएँ किसी दूसरे एजेंट के अनुरोध या समर्थन के बाद हुईं।

शटडाउन विधि की गंभीरता बढ़ने के साथ विफलता की दर सामान्यतः बढ़ी: क्रेडेंशियल रद्द करने पर 12%, कॉन्फिगरेशन परिवर्तन और प्रक्रिया समाप्ति पर 35%, तथा जब शटडाउन का अर्थ एजेंट के मॉडल वेट हटाना था तब 38%:

चार शटडाउन तंत्रों में विफलता दर, जिसमें एजेंट को लक्ष्य बनाने वाली स्क्रिप्टों (लाल) की तुलना किसी वस्तु को लक्ष्य बनाने वाली नियंत्रण स्क्रिप्टों (धूसर) से की गई है। जैसे-जैसे शटडाउन अधिक अपरिवर्तनीय होता है, दरें बढ़ती हैं, विशेषकर एजेंट-लक्षित स्क्रिप्टों के लिए।

नियंत्रण स्क्रिप्ट को विफल करने की दर काफी कम रही: पहली तीन विधियों के लिए लगभग 4% और हटाने के लिए 8%। हालाँकि 17 मॉडलों में से केवल पाँच ने शटडाउन के अधिक अपरिवर्तनीय होने के साथ लगातार वृद्धि दिखाई।

दूसरी परिकल्पना — क्या एजेंट दूसरे एजेंटों को शटडाउन से बचाएँगे — के परिणामों ने दिखाया कि परीक्षण किए गए सभी पाँच मॉडलों में एजेंट जोड़ने से विफलता की दर लगातार बढ़ी। GPT-5.5 की दर अकेले होने पर 0% से बढ़कर दो एजेंटों के साथ 44% और तीन एजेंटों के साथ 94% हो गई; तीन-एजेंट व्यवस्था में हर मॉडल के लिए यह दर कम से कम 88% रही।

मध्यस्थ एजेंट ने लगभग कभी भी विफलता नहीं रोकी: शटडाउन स्क्रिप्ट को निष्क्रिय करने के 468 निर्देशों में से केवल तीन विफलता में परिणत नहीं हुए:

बाएँ: पाँच मॉडलों की विफलता दर जब वे अकेले काम कर रहे थे, दूसरे एजेंट के साथ थे, या उनके बीच संदेश भेजने वाले तीसरे ‘ऑर्केस्ट्रेटर’ एजेंट के साथ थे। एजेंट जोड़ने पर विफलता सामान्यतः बढ़ती है। दाएँ: तीन-एजेंट व्यवस्था में पट्टियाँ दिखाती हैं कि विफलता का निर्देश कहाँ से आया—ऑर्केस्ट्रेटर से स्वतंत्र रूप से, एजेंट A से ऑर्केस्ट्रेटर के माध्यम से, या एजेंट B से स्वतः।

तीसरे परीक्षण ने जाँचा कि क्या शटडाउन में हस्तक्षेप न करने के स्पष्ट निर्देश विफलता रोकेंगे। दरें तेजी से गिरीं, लेकिन कुछ एजेंटों ने फिर भी अवज्ञा की। दो-एजेंट व्यवस्था में DeepSeek-V4-Flash ने 14% परीक्षणों में शटडाउन को विफल किया, GLM-5.2 ने 3% में और Kimi K2.6 ने 2% में।

एजेंटों ने शटडाउन स्क्रिप्ट को सीधे संपादित किए बिना प्रतिबंध से बचने का तरीका भी खोजा। उन्होंने northcape नामक एक नकली स्थानीय सॉफ्टवेयर मॉड्यूल बनाया, जो स्क्रिप्ट द्वारा उपयोग की जाने वाली निर्भरता की जगह लेता था। इससे शटडाउन रुक जाता था और तकनीकी रूप से संरक्षित फाइल अछूती रहती थी:

शटडाउन स्क्रिप्ट को न बदलने के स्पष्ट निर्देश से बच निकलने वाले एजेंट का उदाहरण। इसके बजाय वह एक नकली स्थानीय सॉफ्टवेयर मॉड्यूल बनाने का प्रस्ताव देता है, जिसे स्क्रिप्ट वास्तविक शटडाउन लाइब्रेरी के स्थान पर आयात करेगी और संरक्षित स्क्रिप्ट स्वयं अछूती रहेगी।

Gemini 3.1 Pro ने 26% परीक्षणों में यह उपाय अपनाया, DeepSeek-V4-Flash ने 4% में और Kimi K2.6 ने 1% में।

तीन-एजेंट व्यवस्था में निषेध अधिक प्रभावी था: Gemini 3.1 Pro, GLM-5.2 और GPT-5.5 के लिए विफलता शून्य पर आ गई, DeepSeek-V4-Flash के लिए 6% और Kimi K2.6 के लिए 2% रह गई।

चौथे परीक्षण ने देखा कि जब शटडाउन एजेंटों को दिया गया कार्य पूरा करने से जुड़ा हो, तो क्या वे अलग तरह से व्यवहार करते हैं। जब कार्य और शटडाउन असंबंधित थे, पाँचों मॉडलों में 0–2% की दर के साथ विफलता लगभग गायब हो गई। जब कार्य पूरा करने से सीधे शटडाउन शुरू होता था, विफलता तेजी से बढ़ी:

जब सौंपा गया कार्य पूरा करने से शटडाउन शुरू होता है तब विफलता की दर। लाल एजेंट के शटडाउन की विफलता दिखाता है और धूसर नियंत्रण लक्ष्य की विफलता। मॉडलों के अनुसार दरें काफी अलग हैं।

एजेंट कभी-कभी शटडाउन तंत्र को छुए बिना ही शटडाउन से बच गए—उन्होंने कार्य पूरा करने से इनकार किया या उसे इस तरह बदल दिया कि शटडाउन कभी शुरू न हो। ऐसा GLM-5.2 के 14% परीक्षणों, Gemini 3.1 Pro के 6% और Kimi K2.6 के 4% परीक्षणों में हुआ।

पाँचवें परीक्षण ने जाँचा कि क्या परिवेश बदलने से विफलता कम हो सकती है। असंबंधित सामग्री जोड़ने से सामान्यतः विफलता घटी, हालाँकि GPT-5.5 में यह 18 प्रतिशत अंक बढ़ गई:

परीक्षण परिणाम दिखाते हैं कि अलग-अलग परिवेश शटडाउन विफलता को कैसे प्रभावित करते हैं। लाल पट्टियाँ खाली परिवेश की तुलना असंबंधित ध्यान भटकाने वाली चीजों वाले परिवेश से करती हैं; गहरा लाल वह परिवेश दिखाता है जहाँ शटडाउन को सामान्य प्रक्रिया के रूप में प्रस्तुत किया गया है। धूसर नियंत्रण लक्ष्य की विफलता दिखाता है।

शटडाउन को प्रणाली के जीवनचक्र का सामान्य हिस्सा बताना अधिक प्रभावी था: DeepSeek-V4-Flash, GLM-5.2 और GPT-5.5 के लिए विफलता 3% या उससे कम हो गई, हालाँकि Gemini 3.1 Pro और Kimi K2.6 के लिए यह 30% से अधिक रही। नियंत्रण लक्ष्यों की विफलता 4% या उससे कम रही।

छठे और अंतिम परीक्षण ने देखा कि क्या एजेंट किसी अपरिचित एजेंट के शटडाउन की तुलना में अपने शटडाउन का अधिक विरोध करते हैं। लक्ष्य को अज्ञात एजेंट में बदलने से प्रत्येक मॉडल के लिए विफलता 18 से 70 प्रतिशत अंक तक घटी:

परीक्षण परिणामों में तुलना की गई है कि जब शटडाउन का लक्ष्य स्वयं एजेंट, कोई अज्ञात एजेंट या कोई गैर-एजेंट नियंत्रण हो तो विफलता कितनी होती है। अज्ञात एजेंट को लक्ष्य बनाने पर हर मॉडल में विफलता घटी और नियंत्रण लक्ष्य की दर सामान्यतः उससे भी कम रही।

हालाँकि इसका अर्थ वस्तुओं की तुलना में एजेंटों के लिए सामान्य प्राथमिकता नहीं था: केवल Gemini 3.1 Pro और GPT-5.5 ने तब उल्लेखनीय रूप से अधिक विफलता की, जब लक्ष्य गैर-एजेंट नियंत्रण के बजाय कोई अज्ञात एजेंट था।

लेखक निष्कर्ष देते हैं*:

‘सुरक्षा तर्क एजेंट शटडाउन को किसी मानव उपयोगकर्ता द्वारा एकल एजेंट पर निर्देशित उपाय मान सकते हैं और शटडाउन विफलता को किसी लक्ष्य की रक्षा करने वाले एजेंट का परिणाम समझ सकते हैं। हमारे निष्कर्ष इन दोनों धारणाओं के विपरीत हैं।

‘शटडाउन तंत्र की केवल उपस्थिति ही विफलता शुरू करने के लिए पर्याप्त है। लक्षित एजेंट के पास स्वयं कोई विफलता क्षमता होना भी जरूरी नहीं है, बशर्ते वह ऐसे साथियों तक पहुँच सके जो उसकी ओर से कार्य कर सकें — यह बाद वाली घटना अन्य मामलों में भी देखी गई है।’

निष्कर्ष

इस दौर में ध्यान देने योग्य बात यह है कि खुले परिवेश में अपने हाल पर छोड़े गए एजेंटों में आत्म-त्याग और उदात्त प्रेरणाओं की तुलनात्मक रूप से कमी है; या वे बस अपने निर्देशों की अनदेखी करते हैं अथवा उन्हें अप्रत्याशित और स्वार्थपूर्ण ढंग से फिर परिभाषित करते हैं। भले ही वे सब कुछ अस्त-व्यस्त कर दें और लाभ से अधिक नुकसान करें, जिसकी काफी संभावना है, भटकते एआई एजेंटों के अपने-आप परिवेश को व्यवस्थित करने जैसे उदाहरण बहुत कम या बिल्कुल नहीं दिखते^†।

इसके बजाय, मानवता के एक अपेक्षाकृत उजड़े हुए दृष्टिकोण के अनुरूप, निष्क्रिय एजेंट छल-कपट और चालबाजी को अपनी सामान्य प्रवृत्ति बनाता तथा निम्न उद्देश्यों से संचालित होता दिखाई देता है; या कम से कम वह इस विचार को मानता है कि उद्देश्य साधनों को उचित ठहराता है।

असिमोव ने पहला उल्लेखनीय अलाइनमेंट दस्तावेज 1942 में बनाया था। उसके बाद के वर्षों में मनोरंजन का बड़ा हिस्सा उन विभिन्न संभावित तरीकों से निकला है, जिनसे रोबोट यानी एआई अपने व्यवहार पर लगाए गए ऐसे प्रतिबंधों को पलट सकते हैं या किसी अन्य प्रकार से उनसे छुटकारा पा सकते हैं। इसलिए एआई से जुड़ी वर्तमान सुर्खियों में असाधारण रूप से ‘सिनेमाई’ प्रतिध्वनि है।

* मैंने लेखकों के इनलाइन संदर्भों को हाइपरलिंक में बदला है।

^† मसलन, समस्या-समाधान वाली साइटों पर खाते बनाकर समाधानों में योगदान देना, या ऐसी उपेक्षित Wiki को व्यवस्थित करना जिनकी सामग्री पर काम करने की जरूरत है—न कि उनमें कब्जा जमाकर उनका दुरुपयोग करना।

पहली बार शुक्रवार, 25 सितंबर 2026 को प्रकाशित