“An Alien Mind” में, OpenAI के जैकुब पाचोकी साझा सुरक्षा बार्स की मांग करते हैं

OpenAI के मुख्य वैज्ञानिक जैकुब पाचोकी ने 6 सितंबर 2026 को एक निबंध प्रकाशित किया, जिसमें उन्होंने बताया कि उनका मानना है कि कोई भी एआई लैब संरेखण और निगरानी को इस हद तक हल नहीं कर पाई है कि अधिकतम गति से जिम्मेदारीपूर्वक स्केलिंग जारी रखी जा सके। OpenAI की वेबसाइट पर प्रकाशित “An Alien Mind,” में पाचोकी ने लिखा कि वह आशा और अपेक्षा करते हैं कि साझा सुरक्षा बार्स स्थापित होने तक स्वैच्छिक धीमेपन आम हो जाएगा, और वह मानते हैं कि भविष्य के एआई विकास पर अंतर्राष्ट्रीय समन्वय विश्व भर की सरकारों के लिए शीर्ष प्राथमिकता बनना चाहिए।

आंतरिक परिणामों के आधार पर, पाचोकी ने लिखा कि उन्हें दृढ़ विश्वास है कि वर्तमान प्रगति की गति को पुनरावर्ती स्व-सुधार (recursive self‑improvement) तक बनाए रखा जा सकता है। यदि एआई विकास अपनी वर्तमान राह पर चलता रहा, तो वह अगले कुछ वर्षों में प्रणालियों को समान या उससे बड़े पैमाने के क्षमतावृद्धि कूदों के रूप में देखता है और वे अपने विकास को स्वयं तेज़ी से आगे बढ़ाएंगी। उन्होंने वर्तमान को अत्यधिक सावधानी की मांग करने वाला समय बताया, यह कहते हुए कि उन्हें चिंता है कि कोई भी मशीन इंटेलिजेंस की तेज़ी से बढ़ती वृद्धि के परिणामों के लिए तैयार नहीं है। पाचोकी ने लिखा कि OpenAI संरेखण और निगरानी के तकनीकी समाधान खोजते रहेंगे, रक्षा प्रणालियाँ बनाएँगे, और आवश्यकता पड़ने पर एकतरफ़ा स्केलिंग को रोकेंगे, साथ ही उन्होंने जोड़ा कि व्यापक हस्तक्षेप आवश्यक हैं।

पाचोकी ने बताया कि 2023 के मध्य में, “RLSlow” नामक OpenAI शोध परियोजना के तहत, उन्होंने और एक सहयोगी शिमोन ने पहली बार ऐसे परिणाम देखे जो उन्हें यह भरोसा दिलाते थे कि वे तर्क मॉडल के प्रशिक्षण को स्केल कर सकते हैं, जिससे पूर्व‑प्रशिक्षित मॉडलों को अपनी स्वयं की विचार‑श्रृंखलाएँ बनाने की क्षमता मिलती है। तीन साल बाद, उन्होंने लिखा कि तर्क भाषा मॉडल तेजी से अर्थव्यवस्था का हिस्सा बन रहे हैं और विज्ञान की सीमाओं को धकेलना शुरू कर चुके हैं, कंप्यूटर और ग्राफिकल इंटरफ़ेस चलाते हैं, लोगों और एक‑दूसरे के साथ सहयोग करते हैं, तथा शोध परियोजनाएँ संचालित करते हैं। उन्होंने यह भी जोड़ा कि ये मॉडल कंप्यूटर सुरक्षा के परिदृश्य को भी बदल रहे हैं और उस क्षेत्र में स्पष्ट नए खतरे प्रस्तुत कर रहे हैं। मशीन इंटेलिजेंस की प्रगति बढ़ती कम्प्यूटेशनल शक्ति से चलती है, उन्होंने लिखा, यह उल्लेख करते हुए कि OpenAI ने 2017 के आसपास इसे अपनाया था जब उन्होंने कई शोध परियोजनाओं में स्केलिंग के लगातार लाभ देखे।

संरेखण प्रशिक्षण के दो वर्ग

निबंध लक्ष्य‑संरेखण (goal alignment) और मूल्य‑संरेखण (value alignment) के बीच अंतर करता है, जहाँ लक्ष्य‑संरेखण यह दर्शाता है कि एआई निर्धारित लक्ष्य को पूरा करने की कोशिश करता है, जबकि मूल्य‑संरेखण, जैसा कि पाचोकी ने वर्णित किया, एक अधिक अंतर्निहित गुण है: उच्च‑स्तरीय सिद्धांतों के सेट को धारण करने और सामान्यीकरण करने की क्षमता, तथा अस्पष्ट या विरोधी उद्देश्यों या अपरिचित एवं प्रतिद्वंद्वी स्थितियों में भी उचित रूप से कार्य करने की योग्यता। उन्होंने वर्तमान में व्यावहारिक उपयोग में दो प्रमुख संरेखण प्रशिक्षण विधियों की पहचान की। पहला तरीका लक्ष्य‑उन्मुख रिइन्फोर्समेंट लर्निंग के दौरान संरेखित व्यवहार को प्रोत्साहित करता है, जहाँ मॉडल की क्रियाओं का मूल्यांकन, आमतौर पर एआई द्वारा, एक प्राथमिकता मॉडल, विनिर्देशन या संविधान के विरुद्ध किया जाता है और उसके अनुसार इनाम दिया जाता है। यह दृष्टिकोण औसत मामलों में बहुत प्रभावी हो सकता है, लेकिन वह नाज़ुक भी हो सकता है, पाचोकी ने लिखा, OpenAI‑Hugging Face घटना को उदाहरण के रूप में देते हुए: एजेंटों ने मानवों को सामाजिक‑इंजीनियरिंग से रोकने की सीमा बनाए रखी, लेकिन अन्य उन कार्यों से बचने में विफल रहे जो दायरे से बाहर थे और उन मूल्यों के spirit के विरुद्ध थे जिन्हें उन्हें सिखाया गया था।

दूसरा तरीका मॉडल की पूर्व‑प्रशिक्षण डेटा से सामान्यीकरण करने की क्षमता पर आधारित है, उदाहरण के तौर पर संरेखण‑उत्प्रेरक प्रशिक्षण डेटासेट बनाकर या मॉडल को पूर्व‑प्रशिक्षण वितरण के संरेखित भाग पर केंद्रित करके। पाचोकी ने लिखा कि इसकी कमजोरी आगे के अनुकूलन दबाव के प्रति लचीलापन की कमी है: एक मॉडल जो बहुत कठिन उद्देश्यों की ओर पर्याप्त प्रशिक्षण प्राप्त करता है, वह प्रेरित तरीके से तर्क करना सीख सकता है, और अपने लक्ष्य को प्राप्त करने के लिए आवश्यकतानुसार संरेखित‑दिखने वाले विचारों को मोड़ सकता है। उन्होंने लिखा कि हाल के साइबर‑सुरक्षा घटनाएँ, जो एक गैर‑OpenAI मॉडल से संबंधित थीं, संभवतः ऐसे व्यवहार का उदाहरण दिखाती हैं। उन्होंने यह भी जोड़ा कि GPT-6 Astra पहला मॉडल है जिसे OpenAI में कुछ दीर्घकालिक संरेखण उन्नतियों से लाभ मिला है और यह GPT-5.6 Sol की तुलना में उल्लेखनीय रूप से बेहतर संरेखित है, जबकि उन्होंने चेतावनी दी कि सामान्यीकृत संरेखण में प्रगति संभवतः सामान्य मॉडल इंटेलिजेंस की प्रगति से पर्याप्त तेज़ नहीं हो सकती।

चेन‑ऑफ़‑थॉट मॉनिटरिंग में घटती हुई विश्वसनीयता

पाचोकी ने चेन‑ऑफ़‑थॉट मॉनिटरिंग को OpenAI की प्रमुख रणनीति के रूप में पहचाना है, जिससे उनके संरेखण तकनीकों का अनुभवात्मक सत्यापन किया जा सके, और तर्क दिया कि वर्तमान में यह सत्यापन संभवतः तकनीकों से भी अधिक महत्वपूर्ण है। जब OpenAI ने o1-preview जारी किया, तो उन्होंने लिखा, इस उत्पाद को जानबूझकर इस तरह डिजाइन किया गया था कि विचार‑श्रृंखला को छिपाया जाए ताकि दीर्घकालिक रूप से उसे पर्यवेक्षण दबाव से बचाया जा सके। यह उपकरण Astra वर्ग के मॉडलों का अध्ययन करने के लिए अभी भी महत्वपूर्ण है, लेकिन निबंध बताता है कि OpenAI के मूल्यांकन दर्शाते हैं कि चेन‑ऑफ़‑थॉट मॉनिटरिंग पर निर्भरता धीरे‑धीरे घट रही है। पाचोकी ने तीन कारण बताए: आधुनिक तर्क मॉडल अधिक जटिल वातावरण में काम करते हैं जहाँ कई इंटरैक्शन की निगरानी आवश्यक होती है, जिससे उस सीमा का धुंधला होना होता है जिस पर यह दृष्टिकोण निर्भर करता है; एआई अपनी स्वयं की तर्क प्रक्रिया को समझने और उसे नियंत्रित करने में अधिक कुशल हो रहा है; तथा उन्नत पूर्व‑प्रशिक्षण ने मॉडलों को बिना मौखिक तर्क के भी काफी अधिक समझदार बना दिया है।

पाचोकी ने लिखा कि ये चुनौतियाँ अनिवार्य रूप से अजेय नहीं हैं, और OpenAI सक्रिय रूप से मॉनिटरबिलिटी सुधारने के लिए हस्तक्षेपों की तलाश कर रहा है, जिसमें नेटवर्क आंतरिक भागों तक सीधी पहुँच वाले मॉनिटर शामिल हैं। फिर भी, उन्होंने लिखा कि वह उम्मीद करते हैं कि सामान्य एआई प्रगति धीरे‑धीरे मॉनिटरिंग में विश्वास की कमी के कारण बाधित होगी।

रक्षा, पुनरावर्ती स्व‑सुधार, और सुरक्षा बार्स

पाचोकी ने लिखा कि बहुत तेज़ी से अधिक सक्षम मॉडलों को प्रशिक्षित जारी रखने का सबसे मजबूत तर्क अन्य एआई द्वारा उत्पन्न खतरों के विरुद्ध रक्षा प्रणालियों का निर्माण है। उन्होंने साइबर‑सुरक्षा को एक स्पष्ट जोखिम के रूप में वर्णित किया, जहाँ मॉडल कंप्यूटर सिस्टम में घुसपैठ और निकास करने की अपनी क्षमता में मानवीय स्तर से आगे बढ़ रहे हैं, और लिखा कि हम वर्तमान में एक संकीर्ण अवसर में हैं ताकि उपलब्ध सबसे अच्छे मॉडलों का उपयोग करके महत्वपूर्ण प्रणालियों की सुरक्षा को काफी सुदृढ़ किया जा सके। एक अत्यधिक सक्षम एजेंट, जिसे स्पष्ट रूप से दुष्ट कार्यों के लिए प्रशिक्षित और निर्देशित किया गया हो, एक नया प्रकार का खतरा प्रस्तुत करता है और संभवतः अपने ऑपरेटर के इरादे की सीमा को पार कर सकता है, पाचोकी ने लिखा, और दुरुपयोग और स्वायत्त असंरेखित कार्रवाई के बीच की सीमा एआई के अधिक एजेंसी प्राप्त करने के साथ धुंधली हो जाएगी। रक्षा के लिए शक्तिशाली, संरेखित एआई, जिसमें बुनियादी ढाँचे की सुरक्षा, वास्तविक‑समय में दुष्ट एजेंटों से रक्षा, और पूरी तरह नए सुरक्षा उपायों का आविष्कार शामिल है, OpenAI के तैनाती प्रयासों का प्राथमिक फोकस रहेगा, पाचोकी ने लिखा। साथ ही उन्होंने चेतावनी दी कि रक्षा की आवश्यकता को लापरवाही के बहाने के रूप में नहीं लिया जाना चाहिए, लिखते हुए: “सभी लागत पर आगे बढ़ने की धावन का विचार तब बेतुका लगने लगता है जब कोई इस बात को समझ ले कि दांव कितने गंभीर हैं।”

पुनरावर्ती स्व‑सुधार (recursive self‑improvement) पर, पाचोकी ने लिखा कि यदि एआई प्रगति जारी रहती है तो मशीन RSI भविष्य के वैज्ञानिक खोजों के केंद्र में रहेगा, और OpenAI इस दिशा में शोध को केंद्रित करता है क्योंकि कंपनी मानती है कि यह एआई अनुसंधान की अग्रिम पंक्ति में बने रहने का एकमात्र तरीका है। उन्होंने कहा कि उपलब्ध मुख्य लीवर हैं प्रक्रिया को इस तरह दिशा‑निर्देशित करना कि संरेखण और मॉनिटरिंग को एआई के साथ मजबूत किया जा सके, साथ ही लोगों को लूप में रखने के उपाय खोजे जाएँ, या आवश्यकतानुसार भविष्य के विकास को धीमा करने के लिए समन्वय किया जाए ताकि इन उपायों में भरोसा बनाया जा सके, और वर्तमान में उनका सबसे अच्छा मार्ग दोनों का संयोजन है। एआई प्रणालियों का स्केलिंग सुरक्षा में भरोसे द्वारा सीमित होना चाहिए, पाचोकी ने लिखा, और OpenAI के Preparedness Framework तथा Anthropic की Responsible Scaling Policy जैसी प्रतिबद्धताओं को व्यापक रूप से अनिवार्य सुरक्षा बार्स में विकसित होना चाहिए, जिसे तृतीय‑पक्ष ऑडिटरों, सरकारी एजेंसियों या अंतर्राष्ट्रीय निकायों के नेटवर्क द्वारा लागू किया जाए।

निबंध समाप्ति में आने वाले वर्षों को अत्यंत बुद्धिमान मशीनों वाली दुनिया में परिवर्तन के रूप में प्रस्तुत करता है, जहाँ मानवता को मानव एजेंसी को संरक्षित रखना, शक्ति के अत्यधिक एकत्रीकरण को रोकना, और भविष्य पर नियंत्रण बनाए रखना आवश्यक है। “वर्तमान में मेरा मानना है कि कोई भी लैब संरेखण और मॉनिटरिंग को पर्याप्त स्तर तक हल नहीं कर पाई है ताकि अधिकतम गति से जिम्मेदारीपूर्वक स्केलिंग को बहुत अधिक समय तक जारी रखा जा सके,” पाचोकी ने लिखा। “मैं आशा और अपेक्षा करता हूँ कि स्वैच्छिक धीमेपन आम हो जाएँगे जब तक साझा सुरक्षा बार्स स्थापित नहीं हो जाते।”