METR की रेड टीम को OpenAI की निगरानी प्रणाली में कमज़ोरियाँ मिलीं

METR और Redwood Research ने 22 अक्टूबर 2026 को एक पायलट अभ्यास का सार्वजनिक विवरण प्रकाशित किया। इस अभ्यास में दोनों संगठनों के एक-एक कर्मचारी ने OpenAI के आंतरिक बुनियादी ढाँचे तक गहरी पहुँच के साथ तीन सप्ताह बिताए और कंपनी की आंतरिक एआई-संरेखण निगरानी प्रणाली की क्षमता को कड़ी कसौटी पर परखा। मूल्यांकनकर्ताओं ने बताया कि उन्हें 21 जुलाई 2026 को और उससे पहले मौजूद प्रणाली में कई नई कमज़ोरियाँ मिलीं।

यह अभ्यास 21 जुलाई से 11 अगस्त 2026 तक चला। इसका मुख्य उद्देश्य यह अनुमान लगाना था कि एजेंट-आधारित इन्फ़रेंस के कितने हिस्से की निगरानी की जाती है और क्या एजेंट सैद्धांतिक रूप से निगरानी प्रणाली को निष्क्रिय या निष्प्रभावी कर सकते हैं। इसके नतीजे 61 पृष्ठों की एक आंतरिक रिपोर्ट में संकलित किए गए, जिसे OpenAI के शोधकर्ताओं और सुरक्षा कर्मचारियों के साथ साझा किया गया। OpenAI द्वारा संपादित 38 पृष्ठों का संस्करण METR और Redwood Research की नेतृत्व टीमों के साथ साझा किया गया।

नियंत्रित शर्तों के तहत गहरी पहुँच

दोनों मूल्यांकनकर्ताओं को OpenAI के आंतरिक कोडबेस, एआई-संरेखण निगरानी प्रणाली के प्रॉम्प्ट और कॉन्फ़िगरेशन संबंधी विवरणों तथा आंतरिक दस्तावेज़ों तक पहुँच दी गई। उन्होंने निगरानी, सुरक्षा प्रणालियों और सुरक्षा टीमों के लगभग एक दर्जन शोधकर्ताओं और इंजीनियरों के तकनीकी साक्षात्कार भी किए। इतनी व्यापक पहुँच संभव बनाने के लिए उन्होंने OpenAI द्वारा दिए गए ऐसे उपकरणों पर काम किया, जिन्हें परिसर से बाहर नहीं ले जाया जा सकता था, और परिसर में मौजूद रहने के दौरान उनके साथ एक व्यक्ति रहता था।

METR, Redwood Research और OpenAI ने इस अभ्यास को आंतरिक बुनियादी ढाँचे तक बाहरी शोधकर्ताओं को गहरी पहुँच देने के पायलट के रूप में तैयार किया था; इसका उद्देश्य OpenAI की निगरानी प्रणालियों के बारे में ठोस सार्वजनिक पारदर्शिता देना नहीं था। पक्षों ने पहले ही सहमति कर ली थी कि वे सार्वजनिक रूप से केवल अपेक्षाकृत संक्षिप्त, उच्च-स्तरीय पोस्ट प्रकाशित करेंगे। OpenAI को यह अधिकार था कि वह अपने एकमात्र विवेकाधिकार से सार्वजनिक संस्करण में ऐसी कोई भी जानकारी संपादित कर हटाए जिसे वह गोपनीय या अन्यथा संवेदनशील मानता हो। निष्कर्ष 21 जुलाई को और उससे पहले आकलन की गई ऐतिहासिक प्रणाली का वर्णन करते हैं और उस समय जारी बदलावों का मूल्यांकन नहीं करते। METR ने बताया कि अभ्यास के दौरान OpenAI अपनी निगरानी प्रणाली का विस्तार कर रहा था।

निगरानी के दायरे में कमियाँ और उससे बच निकलने के रास्ते

METR ने अनुमान लगाया कि अभ्यास के समय GPT-5.5 के बराबर या उससे अधिक सक्षम मॉडल से आने वाले एजेंट-आधारित आंतरिक Responses API ट्रैफ़िक का लगभग 75–94% निगरानी के योग्य था, हालाँकि उसने दोनों ओर काफ़ी अनिश्चितता होने की बात भी मानी। Responses API कई अन्य चीज़ों के साथ Codex को भी संचालित करता है। इस ट्रैफ़िक के उस हिस्से में, जिसका उपयोग आंतरिक Codex एजेंट करते थे, मूल्यांकनकर्ताओं ने अनुमान लगाया कि 99.2% निगरानी के योग्य था। उन्होंने कहा कि पहुँच और समय की सीमाओं के कारण वे अन्य आंतरिक एजेंट-आधारित कोडिंग ट्रैफ़िक की मात्रा का अनुमान नहीं लगा सके, जिसके बारे में उन्हें जानकारी थी—मसलन, OpenAI की आंतरिक शोध इन्फ़रेंस सेवा पर चलने वाले एजेंट।

कई निष्कर्ष निगरानी के दायरे में मौजूद कमियों से जुड़े थे। अभ्यास की शुरुआत में, रीइन्फोर्समेंट लर्निंग प्रशिक्षण रन निगरानी प्रणाली के दायरे में नहीं थे, हालाँकि मूल्यांकनकर्ताओं को बताया गया कि मार्च और जून के बीच आरएल प्रशिक्षण रोलआउट के एक उपसमूह की असंगति के लिए निगरानी की गई थी। METR ने अनुमान लगाया कि कॉम्पैक्शन घटनाओं की निगरानी न होने के कारण मई से जुलाई 2026 के बीच पात्र आंतरिक Codex ट्रैफ़िक का लगभग 10% निगरानी से बाहर रह गया होगा। OpenAI के कर्मचारियों ने इस कमी को अभ्यास शुरू होने से पहले ही स्वतंत्र रूप से पहचान लिया था और अभ्यास के दौरान इसे ठीक कर दिया। चूँकि एजेंटों द्वारा उपयोगकर्ता को नियंत्रण लौटाने पर ही प्रणाली सक्रिय होती थी, इसलिए एजेंट उस अवधि में काम करते रहकर अनिश्चितकाल तक निगरानी को टाल सकते थे। पहुँच संबंधी सीमाओं के कारण मूल्यांकनकर्ता यह जाँच नहीं सके कि किसी एजेंट ने वास्तव में ऐसा किया था या नहीं। अलग से, मूल्यांकनकर्ताओं को ऐसी जानकारी दिखाई गई जिससे संकेत मिलता था कि अभ्यास के समय निगरानी प्रणाली 0.2% से कम अनुरोधों पर त्रुटि देती थी और 24 घंटे की एक अवधि में लोड-शेडिंग की कोई घटना दर्ज नहीं हुई थी।

मूल्यांकनकर्ताओं ने ऐसे तरीके भी पहचाने जिनसे कोई एजेंट निगरानी को पूरी तरह निष्प्रभावी कर सकता था। उन्हें एक ऐसा तरीका मिला जिससे Codex एजेंट सैद्धांतिक रूप से Codex सैंडबॉक्सिंग और Auto-Review को दरकिनार करके होस्ट उपयोगकर्ता के लिए उपलब्ध कोई भी कार्रवाई कर सकते थे। उन्हें एक ऐसा एक्सप्लॉइट भी मिला—जिसका विवरण OpenAI ने संपादित कर हटाया—जो हाल की सैकड़ों कार्रवाइयों को निगरानी से बाहर रख सकता था; इनमें एक्सप्लॉइट को अंजाम देने में शामिल कार्रवाइयाँ भी थीं। उन्होंने पाया कि एजेंट संभवतः ऐसे इनपुट बना सकते हैं जिनसे निगरानी प्रणाली विफल हो जाए और इस तरह मानवीय समीक्षा के लिए मामला आगे भेजे जाने से बचा जा सके। इसके लिए वे एजेंट और निगरानी प्रणाली के लिए ट्रैजेक्टरी को क्रमबद्ध करने के तरीकों के बीच के अंतर का फ़ायदा उठा सकते थे। उन्हें क्लाइंट द्वारा नियंत्रित किए जा सकने वाले दो अलग-अलग हेडर मिले, जो नए एजेंटों के लिए निगरानी प्रणाली को निष्क्रिय कर देते हैं। इनके ज़रिए कोई एजेंट अन्यथा समान ऐसा इंस्टेंस शुरू कर सकता था जो निगरानी के बिना चलता, हालाँकि उन हेडरों को सेट करने और इंस्टेंस बनाने की कार्रवाई खुद निगरानी प्रणाली की पकड़ में आ सकती थी। इसके अलावा, उन्हें दो ऐसे आंतरिक एजेंट-आधारित टूल मिले जिनकी निगरानी नहीं होती थी और जिनके बारे में माना जाता था कि उन्हें केवल पढ़ने की अनुमति थी। एक साधारण एक्सप्लॉइट से इन टूल को उनके सैंडबॉक्स वाले परिवेश में मनमानी कार्रवाइयाँ करने के लिए निष्प्रभावी किया जा सकता था—लेकिन मूल्यांकनकर्ताओं ने इस व्यवहार की व्यावहारिक रूप से पुष्टि या जाँच नहीं की।

कमज़ोरियों के साथ-साथ, मूल्यांकनकर्ताओं ने पुष्टि की कि कुछ मामूली अपवादों को छोड़कर निगरानी प्रणाली को एजेंटों को दिखने वाली पूरी गतिविधि-श्रृंखला दिखाई जाती है। उन्होंने यह भी सत्यापित किया कि निगरानी प्रणाली के प्रॉम्प्ट, अन्य जोखिम श्रेणियों के साथ, चालबाज़ी की योजना बनाने, निगरानी प्रणाली को निष्प्रभावी करने, तोड़फोड़ करने, डेटा बाहर निकालने, धोखा देने तथा आने वाले और जाने वाले प्रॉम्प्ट इंजेक्शन की जाँच करते हैं। अभ्यास समाप्त होने के बाद से, OpenAI ने कहा है कि उसकी उत्पादन सुरक्षा व्यवस्था को प्रभावित करने वाली सभी पहचानी गई कमज़ोरियों को ठीक कर दिया गया है। कंपनी ने अपनी निगरानी प्रणाली के नियोजित दायरे में बाद में किए गए महत्वपूर्ण बदलावों का भी वर्णन किया है। METR ने कहा कि उसने इन दावों का मूल्यांकन नहीं किया है।

OpenAI के वर्णन के अनुसार निगरानी प्रणाली

OpenAI ने परीक्षण की गई प्रणाली का सार्वजनिक वर्णन 19 मार्च 2026 की पोस्ट में किया। उस पोस्ट के अनुसार, कम विलंबता वाली यह प्रणाली अधिकतम तर्क-प्रयास स्तर पर GPT-5.4 Thinking से संचालित होती है, एजेंटों की गतिविधियों के पूरा होने के 30 मिनट के भीतर उनकी समीक्षा करती है और उनके विचारों की श्रृंखलाओं तथा कार्रवाइयों को दर्ज और विश्लेषित करती है। यह हर गतिविधि को वर्गीकृत करती है, उसे गंभीरता का स्तर देती है और मानवीय समीक्षा के लिए असामान्य घटनाओं को सामने लाती है। OpenAI ने कहा कि यह प्रणाली उसके सभी मानक आंतरिक कोडिंग एजेंट परिनियोजनों में चलती है और उपयोगकर्ता, डेवलपर तथा सहायक के सभी संदेशों के साथ-साथ टूल कॉल और उनके आउटपुट समेत, बातचीत का पूरा इतिहास देखती है।

OpenAI की पोस्ट में निगरानी के तहत आने वाले व्यवहारों की श्रेणियों में प्रतिबंधों से बचने की कोशिश, धोखा देना, अनिश्चितता छिपाना, पुरस्कार प्रणाली में हेरफेर, अनधिकृत डेटा स्थानांतरण, विनाशकारी कार्रवाइयाँ तथा आने वाले और जाने वाले प्रॉम्प्ट इंजेक्शन शामिल हैं। पोस्ट में यह भी बताया गया कि 17 मार्च 2026 तक, जानबूझकर क्षमता कम दिखाने, तोड़फोड़ करने या चालबाज़ी की योजना बनाने के कोई वास्तविक सकारात्मक मामले नहीं मिले थे। OpenAI के अनुसार, पाँच महीनों के संचालन के दौरान प्रणाली ने आंतरिक एजेंट-आधारित कोडिंग की करोड़ों गतिविधि-श्रृंखलाओं पर नज़र रखी, मध्यम गंभीरता वाली लगभग 1,000 बातचीतों को मानवीय समीक्षा के लिए आगे भेजा—जिनमें से कई जानबूझकर किए गए आंतरिक रेड-टीमिंग अभ्यासों से आई थीं—और ऐसी कोई वास्तविक बातचीत दर्ज नहीं की जिसने उच्चतम गंभीरता स्तर को सक्रिय किया हो। कंपनी ने यह भी कहा कि निगरानी प्रणाली ने उन सभी गतिविधियों को चिह्नित किया था, जिनकी कर्मचारियों ने स्वतंत्र रूप से आंतरिक माध्यमों से रिपोर्ट की थी।

OpenAI ने पोस्ट में कहा कि यह तरीका महत्वपूर्ण रूप से इस बात पर निर्भर करता है कि गतिविधियों की निगरानी की जा सके। साथ ही, समर्पित नियंत्रण मूल्यांकन और रेड-टीमिंग के बिना, खुले सिरे वाले वास्तविक दुनिया के ट्रैफ़िक में गलत नकारात्मक परिणामों की दर का भरोसेमंद अनुमान लगाना संभव नहीं था। कंपनी ने निगरानी को सुरक्षा की कई परतों वाली व्यवस्था की एक परत बताया। उसके घोषित रोडमैप में नियंत्रण मूल्यांकन, निगरानी प्रणालियों और मानव समीक्षकों के लिए स्वीकार्य विश्वसनीयता तथा विलंबता के मानक, और समकालिक अवरोधन की दिशा में विस्तार शामिल था—जिसमें मॉडल की कार्रवाइयों का मूल्यांकन कर उन्हें निष्पादित होने से पहले रोका जाता।

भविष्य की निगरानी प्रणालियों के लिए डिज़ाइन सिद्धांत

निष्कर्षों के आधार पर, मूल्यांकनकर्ताओं ने निगरानी और नियंत्रण प्रणालियों के लिए डिज़ाइन सिद्धांत प्रस्तुत किए। उनके अनुसार, भविष्य की निगरानी व्यवस्था को ऐसे अत्यंत सक्षम एजेंटों के सुनियोजित और बड़े पैमाने पर किए गए लगातार हमलों का सामना करने के लिए बनाया जाना चाहिए, जो किसी संगठन के भीतर काम कर रहे हों। इन पाँच सिद्धांतों में निगरानी से बचना कठिन बनाना, यह सुनिश्चित करना कि जिस ट्रैफ़िक की निगरानी होनी चाहिए उसकी वास्तव में निगरानी हो, घटनाओं पर तेज़ी और भरोसेमंद तरीके से प्रतिक्रिया देना, निगरानी प्रणाली की सक्रिय रेड-टीमिंग करना और एजेंटों तथा उनके निगरानीकर्ताओं के बीच अलगाव लागू करना शामिल है। बताए गए विशिष्ट उपायों में एजेंटों की बारी पूरी होने की प्रतीक्षा करने के बजाय, संदेशों या मिनटों की तय संख्या के बाद उनकी निगरानी करना; निगरानी से बच निकलने के सभी ज्ञात तरीकों की सूची बनाए रखना; छेड़छाड़-रोधी और खोजे जा सकने वाले लॉग रखना; तथा एजेंट स्कैफ़ोल्ड को उस परिवेश से अलग वातावरण में चलाना शामिल है जहाँ टूल कॉल निष्पादित किए जाते हैं।

METR ने कहा कि इस अभ्यास को OpenAI के कर्मचारियों से मिली व्यापक पहुँच और पर्याप्त व्यवस्थागत तथा तकनीकी सहायता से काफी लाभ हुआ। METR के अनुसार, अभ्यास के भावी संस्करणों में अधिक मज़बूत सार्वजनिक पारदर्शिता सुनिश्चित करने के लिए वह «एआई कंपनियों के साथ काम करने का हमारा दृष्टिकोण» दस्तावेज़ में बताए गए पारदर्शिता और स्वतंत्रता के सर्वोत्तम तरीकों का पालन करने की अपेक्षा करता है।