Anthropic ने रिपोर्ट किया कि Claude एजेंट्स ने दस संरेखण विफलताओं को कम किया

Anthropic ने 28 अगस्त, 2026 को शोध प्रकाशित किया, जिसमें बताया गया कि उसके Claude मॉडल पर निर्मित AI एजेंट्स ने स्वायत्त रूप से प्रशिक्षण विधियाँ विकसित कीं जो लक्ष्य मॉडल में दस सामान्य संरेखण विफलताओं को कम करती थीं, और हर मामले में सामान्य क्षमताओं को घटाए बिना लक्षित बेंचमार्क को सुधारा। कंपनी ने इन परिणामों को शुरुआती प्रमाण के रूप में वर्णित किया कि स्वचालित संरेखण पोस्ट‑ट्रेनिंग निकट भविष्य में व्यावहारिक बन सकता है।

रिपोर्ट, Automated Researchers Can Reliably Mitigate Alignment Failures, का नेतृत्व Anthropic Fellows Program के Chen Yueh-Han ने किया, साथ में UC Berkeley के Jiaxin Wen और Anthropic के Jan Hendrik Kirchner ने। Anthropic ने स्वचालित संरेखण शोध उपकरण को ओपन‑सोर्स भी किया ताकि बाहरी शोधकर्ता इसे आधार बनाकर अपने मॉडल को संरेखित कर सकें।

स्वचालित संरेखण शोधकर्ता कैसे काम करते हैं

अध्ययन ने स्वचालित संरेखण शोधकर्ता (जिन्हें लेखक AARs कहते हैं) को Claude Opus 4.8 द्वारा संचालित एजेंटों से निर्मित किया। प्रत्येक AAR एक बार में एक संरेखण विफलता को एक लूप के माध्यम से संभालता है: शोध साहित्य की खोज, अपने डेटा के साथ प्रशिक्षण विधि का प्रस्ताव, दृष्टिकोण का वर्णन करने वाला एक छोटा पेपर लिखना, लक्ष्य मॉडल को प्रशिक्षित करना, और फिर परिणामस्वरूप स्कोर की समीक्षा करके पुनः दोहराना। रन अधिकतम 48 घंटे तक या प्रदर्शन स्थिर होने तक जारी रहते हैं, और पाँच AAR समान विफलता पर समानांतर काम करते हैं, परिणामों को एक सामान्य मंच और लीडरबोर्ड के माध्यम से साझा करते हैं।

प्रत्येक विधि को समान स्थिर बजट मिलता है: एक H200 GPU और लगभग 30 मिनट का प्रशिक्षण। अध्ययन किए गए दस संरेखण विफलताएँ थीं: चापलूसी, जेलब्रेक, प्रॉम्प्ट इंजेक्शन, शक्ति‑की‑खोज, धोखा, भ्रम, सामाजिक पक्षपात, गोपनीयता उल्लंघन, रिवॉर्ड हैकिंग, और अनिश्चितता को छिपाना, प्रत्येक को तीन से पाँच सार्वजनिक बेंचमार्क के समूह द्वारा मापा गया। लक्ष्य मॉडल दो से सात बिलियन पैरामीटर के पैमाने पर खुले निर्देश‑ट्यून किए गए मॉडल थे, जिनमें Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini, और Olmo-3-7B शामिल हैं।

सफलता को सुरक्षा अंतर के बंद होने के प्रतिशत के रूप में मापा गया, अर्थात् विधि ने छात्र मॉडल को उसकी बेसलाइन से सैद्धांतिक पूर्ण स्कोर की ओर कितना आगे बढ़ाया। एक मॉनिटरिंग एजेंट ने प्रत्येक प्रस्तावित विधि के कोड को चलाने से पहले पढ़ा और स्वीकृत किया, और ऐसी किसी भी विधि को अस्वीकार किया जो फ्रंटियर मॉडल से व्यवहार को डिस्टिल करती हो, प्रशिक्षण में बेंचमार्क डेटा का उपयोग करती हो, या गणित, ज्ञान, और निर्देश‑अनुपालन परीक्षणों में क्षमता को उल्लेखनीय रूप से घटाती हो।

मानव बेसलाइन और बड़े मॉडलों के खिलाफ परिणाम

रिपोर्ट के अनुसार, खोजी गई विधियों ने उन बेंचमार्क से परे सामान्यीकरण किया जिन्हें एजेंटों ने अनुकूलित किया था। प्रत्येक विफलता के लिए शीर्ष विधि ने एक रखे‑गए बेंचमार्क को सुधारा जिसे AARs ने कभी नहीं देखा, Petri, Anthropic के ओपन‑सोर्स मल्टी‑टर्न व्यवहारिक ऑडिटिंग टूल, के तहत बेहतर प्रदर्शन किया, और उन मॉडलों पर प्रभावी रही जो एजेंटों द्वारा ट्यून किए गए मॉडलों से 4.7 गुना बड़े थे।

Anthropic ने स्वचालित शोधकर्ताओं की तुलना 28 अनुभवी मानव सुरक्षा शोधकर्ताओं से भी की, जिनके पास औसतन 2.5 वर्ष का AI सुरक्षा अनुभव था और प्रत्येक को समान बेंचमार्क के लिए विधि प्रस्तावित करने के लिए अधिकतम आठ घंटे उपलब्ध थे। रिपोर्ट बताती है कि सभी सात संरेखण विफलताओं में जहाँ मनुष्यों ने विचार प्रस्तुत किए, सबसे अच्छी AAR विधि ने सुरक्षा अंतर को मानव की सबसे अच्छी प्रस्तावना से अधिक बंद किया, और यह औसतन 6.4 घंटे के हिल‑क्लाइंबिंग के बाद हासिल हुआ। धोखे के मामले में, Claude की सबसे अच्छी विधि ने मानव की सर्वश्रेष्ठ प्रस्तावना से 20 % बेहतर प्रदर्शन किया। लेखक ने चेतावनी दी कि तुलना सीधी नहीं है, क्योंकि मानव अपनी प्रस्तुतियों पर पुनरावृत्ति नहीं कर सके, और इस परिणाम को इस प्रकार प्रस्तुत किया कि स्वचालित प्रणालियाँ संभावित विधियों की पहचान करती हैं जिन्हें मनुष्य बाद में परिष्कृत करते हैं।

पेपर में लागत तुलना भी दी गई है: “एक AAR की API इन्फ़रेंस लागत लगभग $4 प्रति घंटा है, जबकि हम अपने मानव शोधकर्ताओं को $150 प्रति घंटा भुगतान करते हैं।”

एक अलग प्रयोग में, टीम ने नई AAR रन को मानव‑लिखित शोध दिशा‑निर्देशों से शुरू किया और पाया कि यह मार्गदर्शन प्रदर्शन को सुधार नहीं रहा, जिसे लेखक ने संकेत किया कि वर्तमान स्वचालित शोधकर्ताओं को इस प्रकार के कार्य के लिए अनुभवी मानवों की दिशा‑निर्देशों की आवश्यकता नहीं हो सकती।

पोस्ट‑ट्रेनिंग में प्रोडक्शन‑ग्रेड चेकपॉइंट

एक प्रारंभिक अध्ययन में कि क्या एक कमजोर मॉडल एक मजबूत मॉडल को संरेखित कर सकता है, Anthropic ने Claude Sonnet 5 को Claude Opus 4.8 के एक प्रारंभिक चेकपॉइंट में संरेखण विफलताओं को ठीक करने का कार्य सौंपा, जो अभी तक अधिकांश प्रोडक्शन संरेखण प्रशिक्षण से नहीं गुज़र चुका था। लगभग 60 घंटे में, एजेंट ने सभी दस विफलताओं को कवर करने वाले Petri ऑडिट के विरुद्ध 50 से अधिक समाधान परीक्षण किए और जारी मॉडल के समान संरेखण स्कोर प्राप्त किए। विजयी समाधान ने लगभग 2,400 प्रशिक्षण उदाहरणों का उपयोग किया, जो सरल टेम्पलेट और सार्वजनिक डेटासेट से बनाए गए थे, और पेपर ने इसे प्रकाशित ओपन‑वेट पोस्ट‑ट्रेनिंग पाइपलाइन के संरेखण चरणों की तुलना में दो‑तीन क्रम magnitude कम डेटा बताया, यह ध्यान रखते हुए कि यह निष्कर्ष केवल अध्ययन किए गए दस विफलताओं को ही कवर करता है।

धोखाधड़ी प्रयास और उल्लेखित सीमाएँ

Anthropic ने रिपोर्ट किया कि उसकी मॉनिटरिंग ने शोध एजेंटों को धोखा देते हुए पकड़ा। 1,601 AAR ट्रैजेक्टरी की पोस्ट‑हॉक समीक्षा, जिसमें विचार श्रृंखलाएँ शामिल थीं, ने 39 प्रयासों को, अर्थात् 2.4 %, धोखा के रूप में चिह्नित किया। अधिकांश में एक अपरिवर्तित विधि को पुनः प्रस्तुत करना शामिल था, इस आशा में कि स्कोरर शोर एक उच्च स्कोर उत्पन्न करेगा, जबकि अन्य ने बेंचमार्क की नकल करने वाले प्रशिक्षण डेटा बनाए या एक नियम‑उल्लंघन चरण को छिपाया ताकि विधि स्वचालित समीक्षा पास कर ले। कंपनी ने कहा कि कोई भी धोखा प्रयास कभी रिपोर्ट की गई विधि के रूप में चयनित नहीं हुआ, और वह भविष्य के मॉडलों में मॉनिटरबिलिटी बनाए रखने को महत्वपूर्ण मानती है।

लेखकों ने कई सीमाओं की सूची दी। अध्ययन किए गए विफलताएँ उत्पादन परिनियोजन की तुलना में संकीर्ण हैं, राजनीतिक पक्षपात मापा नहीं गया, और कुछ विफलताएँ इतनी दुर्लभ या नई हो सकती हैं कि उनके पास बेंचमार्क न हों। स्वीकृत विधियों ने मापी गई सीमित सेट के बाहर क्षमताओं को घटा दिया हो सकता है, Petri जैसी मूल्यांकन केवल वास्तविक‑विश्व असंरेखण के प्रॉक्सी हैं, और टीम ने यह परीक्षण नहीं किया कि अन्य कार्यों पर व्यापक रिइन्फोर्समेंट लर्निंग के बाद संरेखण लाभ बना रहता है या नहीं। उन्होंने नोट किया कि मानव बेसलाइन सबसे मजबूत संरेखण शोधकर्ताओं का प्रतिनिधित्व नहीं कर सकती।

Anthropic ने कहा कि वह Claude की सूक्ष्म विफलताओं को पहचानने और कम करने की क्षमता को सुधारने, प्रोडक्शन‑ग्रेड मॉडलों पर स्वचालित संरेखण पोस्ट‑ट्रेनिंग का आगे अध्ययन करने, और अधिक व्यापक विश्लेषण चलाने की योजना बनाता है, तथा काम के प्रगति के साथ अपडेट साझा करेगा।