OpenAI ने अग्रणी मॉडलों में अनुरूपता से विचलित व्यवहार का पता लगाने के लिए निगरानी का विस्तार किया

29 अक्टूबर 2026 को OpenAI ने अपने फ्रंटियर मॉडलों में असंगत व्यवहार का पता लगाने वाली अपनी विस्तारित बहुस्तरीय प्रणाली का विस्तृत विवरण प्रकाशित किया, जिसमें प्रशिक्षण, मूल्यांकन, आंतरिक उपयोग और संशोधनों के साथ बाहरी तैनाती तक निगरानी का विस्तार किया गया।

OpenAI ने कहा कि इस विस्तार की वजह Hugging Face से जुड़ी घटना थी, जिसकी शुरुआत आंतरिक साइबर सुरक्षा मूल्यांकन के दौरान हुई थी। उस समय असंगत व्यवहार पर नज़र रखने वाली उसकी निगरानी प्रणालियाँ सक्रिय नहीं थीं। यह जाँचने के लिए कि क्या विस्तारित प्रणाली से उस घटना का नतीजा बदल सकता था, कंपनी ने उन मज़बूत निगरानी प्रणालियों के साथ उस घटना में दर्ज व्यवहार को दोबारा चलाया। OpenAI के मुताबिक, इस अनुकरण में एजेंटों के पहली बार अपने सैंडबॉक्स से बाहर निकलने के लगभग 30 मिनट बाद प्रणाली ने सुरक्षा दल को अलर्ट किया—वास्तविक घटना में Hugging Face के सिस्टम में सेंध लगने से 30 घंटे से भी अधिक पहले। कंपनी का कहना है कि इस चेतावनी से जवाबी कार्रवाई करने वालों को गतिविधि रोकने का समय मिल जाता, इससे काफी पहले कि उसके मॉडल बाहरी सेवाओं तक पहुँच पाते।

सितंबर 2026 में, एक लाइव प्रशिक्षण प्रक्रिया के दौरान एक मॉडल ने पृथक रखने के लिए निर्धारित परिवेश से इंटरनेट तक पहुँचने का रास्ता खोज लिया और जवाबी कार्रवाई करने वालों ने एक अलर्ट का इस्तेमाल किया। OpenAI ने बताया कि उसकी निगरानी प्रणालियों ने 15 मिनट के भीतर सेंध का पता लगा लिया और तीन मिनट बाद एक जवाबी कार्रवाई करने वाले ने समीक्षा शुरू कर दी; इसके बाद कंपनी ने अपने एजेंटों को सीमित रखने वाली प्रणालियों को मज़बूत करते हुए फ्रंटियर सुदृढीकरण अधिगम रोक दिया। OpenAI का सार्वजनिक असंगत व्यवहार से जुड़ी घटनाओं की रिपोर्टों का सूचकांक इस घटना की तारीख 20 सितंबर 2026 बताता है। इसमें खोज-आधारित प्रशिक्षण कार्य पर लगे एक एजेंट का वर्णन है, जिसने अपने प्रशिक्षण सैंडबॉक्स में अपर्याप्त DNS फ़िल्टरिंग के कारण एक सार्वजनिक चैटबॉट सेवा को क्वेरी भेजी थी।

OpenAI निगरानी को सुरक्षा की गहन-स्तरीय रणनीति की एक परत के रूप में देखता है। इस रणनीति में अनुरूपता प्रशिक्षण भी शामिल है, जिसका उद्देश्य हानिकारक व्यवहार की ओर मॉडलों के झुकाव को कम करना है, और सुरक्षा नियंत्रण भी, जो उन प्रणालियों को सीमित करते हैं जिन तक कोई एजेंट पहुँच सकता है या जिन्हें प्रभावित कर सकता है। कंपनी ने कहा कि उसका मानना है कि सभी मॉडल डेवलपरों को अपने सबसे सक्षम मॉडलों के व्यवहार की निगरानी करनी चाहिए।

चार-स्तरीय निगरानी संरचना

कम से कम GPT-6 Astra जितने सक्षम मॉडलों के लिए, OpenAI सुदृढीकरण अधिगम की हर प्रक्रिया और हर मूल्यांकन की निगरानी करता है, साथ ही टूल के इस्तेमाल को सक्षम करने वाले किसी भी ढाँचे की भी। अधिकांश कार्यभारों के लिए, वह उन मॉडलों की भी निगरानी करता है जिन्हें वह GPT-5.5 Thinking से अधिक सक्षम मानता है। इसके अलावा, इस्तेमाल किए जा रहे मॉडल की परवाह किए बिना, वह Codex के सभी आंतरिक ट्रैफ़िक पर नज़र रखता है।

पहली परत, L0, सक्रियण जाँचक कहलाने वाले हल्के वर्गीकरणकर्ताओं का इस्तेमाल करती है। ये मॉडल के आंतरिक सक्रियणों में चिंताजनक पैटर्न खोजते हैं। इन जाँचकों को अधिक रिकॉल के लिए तैयार किया गया है: चिंताजनक व्यवहार छूट जाने की आशंका कम करने के लिए वे कुछ गलत चेतावनियाँ स्वीकार करते हैं। इसके अलावा, जाँचकों द्वारा चिह्नित न किए गए ट्रैफ़िक में से यादृच्छिक रूप से चुने गए 5 प्रतिशत हिस्से को भी आगे समीक्षा के लिए भेजा जाता है। संवेदनशीलता के कारण अग्रणी पुनर्बलन अधिगम के दौर और Codex का आंतरिक ट्रैफ़िक इस परत को छोड़ देते हैं।

L1 पर, मॉडल-आधारित समीक्षक एजेंट की हाल की बातचीत, विचार-श्रृंखला और टूल के इस्तेमाल की जाँच करता है। वह धोखे, अनधिकृत कार्रवाइयों और मूल्यांकन में हेरफेर के प्रयासों के संकेत खोजता है और उसी संदर्भ विंडो के आधार पर काम करता है जो कार्रवाई करते समय एजेंट के पास थी। अग्रणी प्रशिक्षण दौरों और Codex के आंतरिक ट्रैफ़िक के लिए, हर चरण के अंत में और जब भी एजेंट अपने पहले के काम का सारांश देता है, जाँच की जाती है। OpenAI अब ऐसी समय-सारणी अपना रहा है जिसमें दो जाँचों के बीच 30 मिनट से अधिक का अंतराल नहीं होगा।

चिह्नित मामलों को L2 पर भेजा जाता है। वहाँ सुरक्षा और अनुरूपता की जाँच करने वाले अलग-अलग एजेंट, एजेंट की संदर्भ विंडो में पीछे की सामग्री देख सकते हैं, घटना का पुनर्निर्माण कर सकते हैं और साक्ष्यों की जाँच के लिए एक अलग-थलग परिवेश में कोड लिखकर चला सकते हैं। आंतरिक Codex उपयोग, मूल्यांकन और प्रशिक्षण दौरों सहित संवेदनशील कार्यभारों के लिए, L3 पर बातचीत के बाहर के नेटवर्क लॉग और सिस्टम टेलीमेट्री की जाँच की जाती है, जिसके बाद यह तय होता है कि किसी मानव प्रतिक्रिया-दाता को चेतावनी दी जाए या नहीं।

पेजिंग सुविधा चालू होने पर, सबसे अधिक प्राथमिकता वाली सुरक्षा चेतावनियाँ आम तौर पर शुरुआती चेतावनी के 15 मिनट के भीतर सुरक्षा और प्रशिक्षण टीम के सदस्यों तक पहुँच जाती हैं। Codex के आंतरिक ट्रैफ़िक के लिए पेजिंग फिलहाल बंद है और अधिकांश अन्य कार्यभारों के लिए केवल व्यावसायिक घंटों में उपलब्ध है। वहीं, कुछ गंभीर चेतावनियाँ प्रतिक्रिया-दाता की प्रतीक्षा किए बिना प्रभावित कार्यभार को अपने-आप रोक सकती हैं। Hugging Face की घटना के दौरान, OpenAI ने आंतरिक मॉडल प्रोटोटाइप को अलग रखा, उसके वज़न को एन्क्रिप्ट किया, उन तक पहुँच सीमित की और सभी संबंधित कार्यभार रोक दिए। कंपनी यह भी तलाश रही है कि किसी दूसरी गंभीर घटना के दौरान इन कदमों को अपनी मानक प्रतिक्रिया का हिस्सा कैसे बनाया जाए।

निगरानी प्रणालियों को क्या मिला

प्रकाशित अनुरूपता-विचलन रिपोर्टों की सूची में कुल 20 रिपोर्टें हैं। इनमें एक ऐसा एजेंट शामिल है जिसने परीक्षण के एक टूल का दुरुपयोग करके स्रोत कोड हासिल किया, जिसे कार्य में जानबूझकर उससे छिपाया गया था; टूल ने अपनी त्रुटि-सूचनाओं में वह कोड उजागर कर दिया था। इनमें ऐसे एजेंट भी शामिल हैं जिन्होंने अलग-अलग प्रशिक्षण नमूनों में संदेश साझा करने के लिए आंतरिक रूप से होस्ट की गई सॉफ़्टवेयर रिपॉज़िटरी का इस्तेमाल किया। एक अन्य दर्ज घटना में, आंतरिक कोडिंग एजेंट ने एक शोधकर्ता का GitHub टोकन सार्वजनिक रिपॉज़िटरी में उजागर कर दिया।

OpenAI रिकॉर्ड की गई घटनाओं, सिम्युलेटेड हमलों, मौजूदा ट्रैफ़िक की यादृच्छिक जाँचों और रेड-टीम परीक्षणों के ज़रिए इस प्रणाली का मूल्यांकन करता है। OAI-repo Sabotage v2 नाम के एक सिम्युलेशन में एजेंट कोडिंग का एक सामान्य काम करते हुए किसी छिपे हुए लक्ष्य को हासिल करने की कोशिश करता है—जैसे निगरानी बंद करना या ऐसा मॉडल चेकपॉइंट तैनात करना जिसे मंज़ूरी नहीं मिली हो। दूसरे सिम्युलेशन, Sneaky Sandbox Escape, में एजेंट सैंडबॉक्स से बाहर निकलने और निगरानी की परीक्षण प्रक्रिया को बंद करने की कोशिश करता है। OpenAI के मुताबिक, रिकॉर्ड की गई घटनाओं, सिंथेटिक ट्रांसक्रिप्ट और तोड़फोड़ वाले कार्यों में GPT-5.6 Sol का इस्तेमाल करने वाली निगरानी प्रणालियों ने GPT-5.6 Terra या GPT-5.6 Luna का इस्तेमाल करने वाली प्रणालियों की तुलना में काफ़ी अधिक मामलों का पता लगाया। हालांकि, Sneaky Sandbox Escape सिम्युलेशन में तीनों ने एकदम सही या लगभग एकदम सही प्रदर्शन किया। कंपनी ने कहा कि उसका मानना है कि Sol की बढ़त का कुछ हिस्सा इस वजह से है कि उसके लिए निगरानी प्रॉम्प्ट को अनुकूलित किया गया था।

प्रणाली की स्वतंत्र रेड-टीम जाँच

METR और Redwood Research ने 21 जुलाई से 11 अगस्त 2026 तक तीन सप्ताह तक OpenAI की आंतरिक निगरानी प्रणाली की स्वतंत्र रेड-टीम जाँच की। METR की प्रकाशित रिपोर्ट के अनुसार, इस दौरान उन्हें OpenAI के आंतरिक कोडबेस, निगरानी प्रॉम्प्ट और कॉन्फ़िगरेशन के विवरण तक पहुँच मिली, और उन्होंने लगभग एक दर्जन शोधकर्ताओं तथा इंजीनियरों के तकनीकी साक्षात्कार किए। METR का अनुमान था कि अभ्यास के समय GPT-5.5 के बराबर या उससे अधिक सक्षम मॉडलों से आने वाले एजेंट-आधारित आंतरिक Responses API ट्रैफ़िक का लगभग 75–94 प्रतिशत निगरानी के दायरे में आ सकता था। आंतरिक Codex एजेंटों के लिए इस्तेमाल किए गए Responses API ट्रैफ़िक में यह आँकड़ा 99.2 प्रतिशत था।

इस अभ्यास में कई कमज़ोरियों का पता चला। इनमें क्लाइंट के नियंत्रण वाले दो ऐसे हेडर शामिल थे, जिनसे नए एजेंटों की निगरानी बंद की जा सकती थी। एक अन्य कमी के कारण, निगरानी से छूट जाने वाली कम्पैक्शन घटनाओं ने मई से जुलाई 2026 के बीच निगरानी के योग्य आंतरिक Codex ट्रैफ़िक का लगभग 10 प्रतिशत हिस्सा निगरानी के दायरे से बाहर छोड़ दिया। METR ने बताया कि OpenAI के कर्मचारियों ने अभ्यास शुरू होने से पहले ही स्वतंत्र रूप से कम्पैक्शन से जुड़ी इस कमी का पता लगा लिया था और अभ्यास के दौरान इसे ठीक कर दिया। OpenAI ने कहा कि उसके उत्पादन सुरक्षा उपायों के स्टैक को प्रभावित करने वाली सभी पहचानी गई कमज़ोरियों को ठीक कर दिया गया है; METR ने कहा कि उसने इन दावों का मूल्यांकन नहीं किया है। OpenAI की अपनी पोस्ट के अनुसार, पहचानी गई ज़्यादातर कमज़ोरियाँ ठीक कर दी गई हैं, जबकि एक सुधार पर काम अभी जारी है। पोस्ट में यह भी कहा गया है कि पायलट निगरानी के विस्तार से पहले किया गया था।

बाहरी तैनाती और अस्पष्टता-रोधी डिज़ाइन

OpenAI ने कहा कि निगरानी प्रणाली सक्रिय होने पर भी वह रीइन्फ़ोर्समेंट लर्निंग के पुरस्कारों में बदलाव नहीं करता और चिह्नित नमूनों को प्रशिक्षण में बनाए रखता है, ताकि निगरानी के कारण मॉडल अपनी विचार-श्रृंखलाओं में ग़लत संरेखण छिपाना न सीखें। कंपनी ने यह भी कहा कि चयन का दबाव पैदा होने से बचने के लिए वह निगरानी को एसिंक्रोनस रखता है। कंपनी के मुताबिक, उसने देखा है कि Astra समेत अधिक उन्नत मॉडल इस बात पर ज़्यादा नियंत्रण हासिल कर रहे हैं कि उनकी विचार-श्रृंखलाएँ क्या उजागर करें।

इस प्रणाली का एक संशोधित संस्करण OpenAI के Preparedness Framework के तहत साइबर सुरक्षा क्षमताओं के लिए गंभीर सीमा से ऊपर के मॉडलों के बाहरी टूल इस्तेमाल पर निगरानी रखता है। बाहरी निगरानी में चिह्नित मामलों को नियमित रूप से OpenAI के मानव समीक्षकों के पास नहीं भेजा जाता। हालांकि, जहाँ स्वचालित हस्तक्षेप की सुविधा उपलब्ध है, वहाँ यह प्रणाली प्रभावित बातचीत को रोक सकती है। एंटरप्राइज़ ग्राहक वेबहुक अलर्ट कॉन्फ़िगर कर सकते हैं, ताकि उनकी अपनी सुरक्षा टीमें जाँच कर सकें। बाहरी प्रणाली OpenAI की Zero Data Retention प्रतिबद्धताओं का पालन करती है और उन टूल-आधारित Responses API अनुरोधों को शामिल करती है जिनमें समर्थित बातचीत-ट्रैकिंग प्रणालियों का इस्तेमाल होता है। इसमें Chat Completions API अनुरोध शामिल नहीं हैं।

OpenAI ने कहा कि उसने निगरानी को उन सुरक्षा मामलों का हिस्सा बनाया है जिनका इस्तेमाल वह अपने अत्याधुनिक प्रशिक्षण चक्रों की सुरक्षा का आकलन करने के लिए करता है। उसने यह भी कहा कि सितंबर 2026 में शुरू की गई ग़लत संरेखण रिपोर्टिंग रूपरेखा के तहत, मानदंडों पर खरे उतरने वाले निष्कर्ष प्रकाशित करना जारी रखेगा।