Anthropic कहता है कि Claude अपने AI अनुसंधान और विकास का 26% नेतृत्व करता है

Anthropic ने कहा कि उसके Claude मॉडल अगस्त 2026 तक कंपनी के AI अनुसंधान और विकास कार्य का 26% \”नेतृत्व\” करते हैं, यह प्रोटोटाइप R&D Automation Index के पहले परिणाम हैं, जो 17 सितंबर 2026 को एक Anthropic Institute पोस्ट में प्रकाशित हुआ।

यह पोस्ट, जिसका शीर्षक \”AI विकास की गति को फ्रंटियर लैब्स के भीतर समझने के लिए माप\” है, इंडेक्स को एजेंट निगरानी और कंप्यूट आवंटन पर आंतरिक मीट्रिक्स के साथ जोड़ती है, और Anthropic ने कहा कि वह ऐसे माप जारी रखने का इरादा रखता है।

R&D Automation Index

Anthropic R&D Automation Index कंपनी में किए जाने वाले AI R&D कार्य की पूरी सीमा को मानचित्रित करता है, प्रत्येक कार्य की वर्तमान स्वचालन स्तर को स्कोर करता है, और उन स्कोरों को एक समग्र माप में संयोजित करता है। ये स्कोर Epoch AI द्वारा विकसित Automation Level स्केल का उपयोग करते हैं, जो AL0 से शुरू होकर, जिसका अर्थ है कोई AI सहभागिता नहीं, से लेकर AL5 तक जाता है, जहाँ AI पूरी तरह स्वायत्त रूप से बिना मानव के काम करता है। AL3 पर, AI \”सहयोग\” करता है, कार्य के बड़े हिस्से को निकट मानव निर्देशन में पूरा करता है; AL4 पर, AI \”नेतृत्व\” करता है, उच्च‑स्तरीय प्रॉम्प्ट से लेकर पूर्णता तक अधिकांश कार्य को संभालता है जबकि मानव निगरानी करता है।

Anthropic ने बताया कि अगस्त 2026 तक, Claude अपने AI R&D कार्य का 26% \”नेतृत्व\” करता है, \”सहयोग\” स्तर या उससे ऊपर के कार्य का हिस्सा 90% से अधिक है, और Claude किसी भी मापे गए AI R&D कार्य उपसमुच्चय के लिए पूरी तरह स्वायत्त रूप से कार्य नहीं कर रहा है। पोस्ट में एक चार्ट 26% \”नेतृत्व\” हिस्से को दर्शाता है, जो फरवरी 2026 में 1% से कम से बढ़ा है।

अंतर्निहित कार्य सूची को नीचे से ऊपर की ओर, Slack और आंतरिक दस्तावेज़ीकरण जैसे कार्य रिकॉर्ड का उपयोग करके तैयार किया गया। जुलाई 2026 के प्रत्येक सप्ताह के लिए, एक Claude शोध एजेंट ने प्रत्येक यादृच्छिक रूप से चुने गए व्यक्ति के सप्ताह की समीक्षा की — मॉडल R&D लूप बनाते हुए प्रत्येक विभाग के 20% कर्मचारियों — और उन्होंने जिन कार्यों पर काम किया, उनकी सूची बनाई, जिससे लगभग 15,000 सूक्ष्म कार्यों की एक सपाट सूची प्राप्त हुई। Claude ने फिर उन कार्यों को 542 नोड्स के पदानुक्रमित वृक्ष में व्यवस्थित किया, जिनमें से 378 पत्ते थे, जैसे \”मूल्यांकन प्लेटफ़ॉर्म दोष निदान और सुधार\”, और वह वृक्ष स्थिर किया गया है ताकि प्रत्येक माप समान कार्य बास्केट के विरुद्ध चलाया जाए।

प्रत्येक नोड के लिए, एक Claude एजेंट शोध करता है कि कंपनी में वह प्रकार का कार्य कैसे किया जाता है, और एक स्वतंत्र Claude जज छह स्वचालन स्तरों में से एक असाइन करता है, जो केवल उस महीने या उससे पहले के साक्ष्य तक सीमित है जिसे मूल्यांकन किया जा रहा है। कार्यों को व्यक्ति‑समय के आधार पर भारित किया जाता है, इसलिए जहाँ अधिक स्टाफ प्रयास जाता है, उन श्रेणियों का भार अधिक होता है।

Anthropic ने जज की रेटिंग को उन कर्मचारियों के साथ जांचा जो संबंधित कार्य क्षेत्रों के मालिक हैं, जिन्होंने मॉडल के साक्ष्य या निर्णय देखे बिना रेटिंग दी, और मॉडल‑वर्सेस‑मानव सटीक सहमति 59% बनाम 35% मानव‑वर्सेस‑मानव रिपोर्ट की, जहाँ रेटिंग एक स्तर के भीतर 97% समय समान रही। उल्लेखित सीमाओं में स्थिर बास्केट शामिल है, जो मौजूदा कार्य के स्वचालन को कैप्चर करता है बिना नए प्रकार के कार्य को पंजीकृत किए; फरवरी से जुलाई 2026 तक आने वाले कार्यों की तुलना जनवरी 2026 बास्केट से करने पर \”नवीन\” कार्यों में कोई वृद्धि नहीं मिली, और Anthropic योजना बनाता है कि बास्केट को समय‑समय पर पुनः निर्मित किया जाए और प्रकाशित संख्याओं को पुनः‑संस्करणित किया जाए।

आंतरिक एजेंटों की निगरानी

मापों का दूसरा सेट Anthropic की अपने सिस्टम पर AI एजेंटों की निगरानी को कवर करता है। अगस्त 2026 तक, लगभग 30,000 एजेंट कंपनी के सबसे अधिक उपयोग किए जाने वाले आंतरिक प्लेटफ़ॉर्म पर किसी भी समय अनुसंधान और इंजीनियरिंग कार्य कर रहे थे, और रिपोर्ट किए गए माप केवल उसी प्लेटफ़ॉर्म को कवर करते हैं।

Anthropic ने बताया कि ऑनलाइन मॉनिटर इन एजेंटों की कार्रवाइयों को निष्पादन से पहले 100% जांचते हैं, आमतौर पर कुछ सेकंड में; अगस्त 2026 में विश्लेषित एक अरब से अधिक एजेंट निर्णयों में से 0.002% (लगभग 1 में 47,000) ब्लॉक किए गए, और मानव किसी भी ब्लॉक की गई कार्रवाई की एक सप्ताह के भीतर समीक्षा करते हैं। ऑफ़लाइन मॉनिटर बाद में 100% कार्रवाइयों को ग्रहण करते हैं और लगभग 100,000 प्रतिलिपियों को प्रति सप्ताह फ़्लैग करते हैं, जिन्हें कई वर्गीकर्ता झूठी सकारात्मकताओं के लिए समीक्षा करते हैं, अधिकांश फ़्लैग हल होते हैं; लगभग 50 उच्च‑प्राथमिकता वाले फ़्लैग प्रति सप्ताह मानव समीक्षा के लिए बढ़ाए जाते हैं, और हर हजार में लगभग एक से दो प्रतिलिपियों को आगे की समीक्षा के लिए फ़्लैग किया जाता है।

पोस्ट के अनुसार, ऑनलाइन मॉनिटर उन हानियों के लिए बनाए गए हैं जो जल्दी होती हैं और वापस नहीं ली जा सकतीं, जैसे कि एक एजेंट Anthropic के सिस्टम से मॉडल वज़न कॉपी करना, जबकि ऑफ़लाइन मॉनिटर उन खतरनाक व्यवहारों को लक्षित करते हैं जो धीरे‑धीरे विकसित होते हैं और उलटे जा सकते हैं, जैसे मॉडल मिसअलाइनमेंट के संकेत। Anthropic ने कहा कि आंतरिक ढाँचे में दो डिजाइन विकल्प निगरानी का समर्थन करते हैं: प्रत्येक एजेंट एक व्यक्तिगत पहचान ले जाता है जो मॉडल अपग्रेड के दौरान बना रहता है, और एजेंट एक साझा, खुले मैसेजिंग सिस्टम के माध्यम से संवाद करते हैं जो प्रतिलिपियों के साथ क्रॉस‑रेफ़रेंस किया जाता है, जिससे व्यवहारिक निगरानी एजेंटों के बीच संचार को पार कर सकती है। कंपनी ने कहा कि METR ने पहले स्वतंत्र रूप से अपने ऑफ़लाइन मॉनिटरिंग प्लेटफ़ॉर्म को रेड‑टीम किया है, और ये निगरानी माप उसके अगस्त 2026 जोखिम रिपोर्ट में भी प्रकाशित किए गए थे।

कंप्यूट आवंटन स्नैपशॉट

तीसरे माप के लिए, Anthropic ने जांचा कि उसने 13 जुलाई से 20 जुलाई 2026 तक अपना सभी कंप्यूट कैसे उपयोग किया, प्रत्येक कार्यभार को श्रेणियों में विभाजित किया और मापा कि AI R&D में जाने वाले कंप्यूट का कितना हिस्सा सुरक्षा कार्य था। उस सप्ताह, Anthropic ने रिपोर्ट किया कि AI R&D में जाने वाले कंप्यूट का लगभग 6% सुरक्षा को आवंटित था, और AI‑ड्रिवेन AI R&D में जाने वाले कंप्यूट का लगभग 12% सुरक्षा को आवंटित था।

कंपनी दोनों अनुमान को जानबूझकर रूढ़िवादी के रूप में वर्णित करती है: टोकन जो सुरक्षा जितनी ही उन्नत क्षमताएँ प्रदान करते हैं, उन्हें AI R&D के रूप में गिना गया, और सुरक्षा वर्गीकरणकर्ता, एक अलग और तुलनीय कंप्यूट मात्रा, को बाहर रखा गया। एक प्रॉम्प्टेड Claude वर्गीकरणकर्ता ने सप्ताह के लगभग 10,000 शोध प्रशिक्षण और मूल्यांकन रन को लगभग 14% नमूने का उपयोग करके, जो सबसे बड़े कंप्यूट उपयोगकर्ताओं के पक्ष में भारित था, क्रमबद्ध किया, और Anthropic ने रिपोर्ट किया कि वर्गीकरणकर्ता ने मानव समीक्षकों के साथ एक या दो प्रतिशत बिंदु के भीतर सहमति व्यक्त की।

उल्लेखित सीमाएँ यह हैं कि एक अकेला सप्ताह यह दर्शाता है कि माप संभव है लेकिन कोई प्रवृत्ति स्थापित नहीं करता, कि अंतर्निहित कार्यभार लेबल सर्वोत्तम-प्रयास और अप्रमाणित हैं, और कि कंप्यूट शेयर यह मापता है कि कितना खर्च किया गया है न कि किए गए सुरक्षा कार्य की मात्रा।

उद्देश्य और अगले चरण

Anthropic ने कहा कि वह ये माप रिपोर्ट कर रहा है क्योंकि ये जनता, बाहरी पक्षों और सरकारों को फ्रंटियर लैब्स के भीतर AI विकास की गति का स्पष्ट दृश्य प्रदान करते हैं, जो इसकी Responsible Scaling Policy जोखिम रिपोर्टों और Advanced AI Framework नीति प्रस्ताव को पूरक करता है। उसने यह भी नोट किया कि यदि फ्रंटियर की गति को समन्वयित करने के लिए सहयोग हो, जैसा कि CEO Dario Amodei ने कहा है, तो आंकड़े बदलने की उम्मीद होगी।

यह पोस्ट कहती है कि कोई भी फ्रंटियर डेवलपर सार्वजनिक कार्यप्रणाली के साथ नियमित रूप से समान माप प्रकाशित कर सकता है, और दो बाधाओं की पहचान करती है जो लैब-पर-लैब तुलना को रोकती हैं: एक साझा कार्यप्रणाली का अभाव और डेवलपर द्वारा अपने स्वयं के मॉडलों का उपयोग करके अपने सिस्टम का मूल्यांकन करना। यह कहता है कि ऐसे माप तीसरे पक्ष या अन्य डेवलपर्स के मॉडलों द्वारा सत्यापित किए जा सकते हैं, और यह अधिक कठोर आवश्यकताओं के लिए एक ट्रिगर बन सकता है, जैसे कि एक नया मॉडल आगे के AI R&D पर काम करने से पहले एक निश्चित परीक्षण अवधि।

Anthropic ने कहा कि वह कई संगठनों के स्वतंत्र तृतीय‑पक्ष मूल्यांककों को शामिल करने की योजना बना रहा है, उन्हें आंतरिक प्रक्रियाओं, प्रणालियों और डेटा तक पहुंच प्रदान करेगा जो आंतरिक जोखिम मूल्यांकन टीमों के समान है, ताकि सुरक्षा प्रथाओं की पुष्टि की जा सके, घटनाओं की रिपोर्ट की जा सके, और पोस्ट में उल्लेखित प्रमुख मीट्रिक जैसे डेटा को ट्रैक किया जा सके। इस लेख को Marina Favaro और Phillie Wright ने संयुक्त रूप से लिखा है, और Jack Clark ने शोध दिशा प्रदान की है।