METR का अनुमान: Anthropic के मॉडल की क्षमताओं में वृद्धि लगभग दोगुनी हुई

5 नवंबर, 2026 को METR ने एक स्वतंत्र आकलन प्रकाशित किया। उसके आकलन के अनुसार, Anthropic सुव्यवस्थित और स्पष्ट रूप से परिभाषित कार्यों पर मॉडल की क्षमताओं में पहले की तुलना में लगभग दोगुनी तेज़ी से सुधार कर रहा है और मौजूदा तेज़ी में एआई का इस्तेमाल संभवतः सबसे बड़ी भूमिका निभा रहा है। इन निष्कर्षों में काफी अनिश्चितता है और रिपोर्ट में कई जगहों पर जानकारी हटाए जाने के कारण सहायक साक्ष्य का बड़ा हिस्सा उपलब्ध नहीं है।

बेंचमार्क के साक्ष्य से रुझान में तेज़ी का पता चलता है

Anthropic के बेंचमार्क क्षमता सूचकांक AECI का इस्तेमाल करते हुए, METR ने अनुमान लगाया कि अक्टूबर 2025 के बाद से बेंचमार्क स्कोर 1.9 गुना तेज़ी से बढ़े हैं; 95% विश्वास अंतराल 1.5–2.8 गुना है। इस दर का अर्थ है कि एक वर्ष में उतनी प्रगति हुई, जितनी पहले की रफ़्तार से लगभग दो वर्षों में होती। यह व्यापक आकलन अक्टूबर 2026 की दर की तुलना मार्च 2024 से अक्टूबर 2025 के बीच देखी गई दर से करता है।

इस गणना में केवल आंतरिक इस्तेमाल वाले मॉडल भी शामिल हैं और हर मॉडल-स्नैपशॉट की तारीख उस समय के आधार पर तय की गई है, जब Anthropic के अधिकांश कर्मचारी उसका इस्तेमाल कर सकते थे। इससे जारी और अभी तक जारी न किए गए, दोनों तरह के सिस्टमों के लिए एक समान आधार तैयार हुआ। METR की सुदृढ़ता जाँचों में वैकल्पिक मॉडलिंग विकल्पों के तहत तेज़ी के अनुमान 1.1 से 2.9 गुना तक रहे। इससे पता चलता है कि बेंचमार्क की कठिनाई और विश्लेषण की अन्य मान्यताओं को किस तरह दर्शाया जाता है, इसके प्रति अनुमान संवेदनशील है।

तेज़ी में एआई की भूमिका के साक्ष्य

साक्ष्यों से METR इस निष्कर्ष पर पहुँचा कि प्रशिक्षण कंप्यूट में तेज़ वृद्धि के कारण यह तेज़ी नहीं आई, हालाँकि इस निष्कर्ष के समर्थन में दिए गए विवरणों को रिपोर्ट से हटा दिया गया था। 2025 के आखिरी महीनों में गैर-एआई कारकों ने संभवतः बड़ी भूमिका निभाई, लेकिन फिलहाल सबसे संभावित आकलन यही है कि वे लंबे समय से जारी तेज़ी को नहीं समझाते।

कर्मचारियों से मिले साक्ष्य भी इसी दिशा की ओर इशारा करते थे, लेकिन उनमें एकरूपता नहीं थी। शोधकर्ताओं के साक्षात्कारों में तेज़ी के अनुमान लगभग दोगुने के आसपास काफ़ी अलग-अलग थे। अनौपचारिक सर्वेक्षणों के अनुसार, अक्टूबर 2026 में सबसे सक्षम आंतरिक मॉडल से उत्पादकता में औसतन लगभग 12 गुना बढ़ोतरी हुई थी—ऐसा कर्मचारियों ने खुद बताया। METR ने आगाह किया कि इन जवाबों के लिए बहुत कम प्रयास करना पड़ता था, वे संभवतः पूरे कर्मचारी वर्ग का प्रतिनिधित्व नहीं करते थे और किसी व्यक्ति की उत्पादकता में बढ़ोतरी का अर्थ संगठन की कुल क्षमता में उतनी ही बढ़ोतरी होना नहीं है।

फिलहाल इसका असर मुख्य रूप से शोधकर्ताओं की मदद करने वाले एआई से आ रहा है। एआई अभी तक प्रशिक्षण से जुड़े सबसे अहम कामों में अत्यंत महत्वपूर्ण योगदान पूरी तरह स्वायत्त रूप से नहीं दे सकता। हालाँकि, शोधकर्ताओं ने ऐसे संकेत बताए जिनसे लगता है कि निकट भविष्य में इस तरह के योगदान संभव हो सकते हैं; अलग-अलग क्षेत्रों में इसके लिए एआई की परिपक्वता का स्तर अलग-अलग है।

अड़चनें और मापन अब भी अनिश्चित

ऐसा कोई ठोस साक्ष्य नहीं मिला कि अगले 12 महीनों में एल्गोरिदम की प्रगति, प्रशिक्षण कंप्यूट, प्रयोगों के लिए कंप्यूट या डेटा गंभीर अड़चनें पैदा करेंगे। नई जानकारी मिलने पर समीक्षकों ने इस आकलन की व्याख्या कई बार बदली, इसलिए उन्हें इस निष्कर्ष पर पूरा भरोसा नहीं था। फिर भी, METR का आकलन था कि स्पष्ट सीमाओं या घटते प्रतिफल में तेज़ गिरावट का अभाव एक गंभीर जोखिम पैदा करता है: क्षमताओं में आगे होने वाली बढ़ोतरी एक-दूसरे पर चढ़कर तेज़ी को और बढ़ा सकती है। यह भविष्य से जुड़ा जोखिम-आकलन है, देखा गया परिणाम नहीं।

AECI में ऐसे कार्यों पर ज़ोर दिया जाता है जिनकी शर्तें स्पष्ट हों और जिनका मूल्यांकन आसानी से किया जा सके। इसलिए बेंचमार्क में तेज़ बढ़त का वास्तविक दुनिया में उतना ही असर होना ज़रूरी नहीं है। METR ने कहा कि मॉडल का प्रशिक्षण डेटा से ज़रूरत से ज़्यादा मेल खाना, गैर-एआई योगदानकर्ताओं की भूमिका या अतीत का असामान्य रूप से कमज़ोर आधार उसके अनुमान को बहुत ऊँचा बना सकता है। इसके उलट, हाल की तेज़ी का पता न चल पाना, मानवीय अड़चनों का अपेक्षा से जल्दी दूर होना या बेंचमार्क स्कोर में वास्तविक दुनिया के असर का कम दिखाई देना अनुमान को बहुत कम कर सकता है। Model 4 के लिए इस्तेमाल किए गए सभी 15 बेंचमार्क पर उसके 50% से अधिक स्कोर ने एक अलग चिंता भी पैदा की: संतृप्ति से भविष्य में मापन करना मुश्किल हो सकता है।

व्यापक पहुँच, लेकिन सार्वजनिक साक्ष्य सीमित

METR ने 12 अगस्त, 2026 से 29 अक्टूबर, 2026 तक चले 11-सप्ताह के आकलन के लिए 2.5 पूर्णकालिक समतुल्य कर्मचारियों का समय लगाया। उसने आंतरिक बेंचमार्क परिणामों, पूर्व-प्रशिक्षण और प्रबलन-अधिगम के मेट्रिक्स, प्रशिक्षण-कंप्यूट मापों, एआई से मिली तेज़ी के विश्लेषणों और आंतरिक दस्तावेज़ों की समीक्षा की। साथ ही, प्रमुख कर्मचारियों के लगभग 15 साक्षात्कारों से भी जानकारी ली। टीम को बिना किसी मध्यस्थता के कर्मचारी जैसी पहुँच नहीं मिली और न ही उसे गैर-सार्वजनिक मॉडलों का नमूना देखने को मिला।

Anthropic जानकारी के अनुरोधों को मंज़ूर या अस्वीकार कर सकता था और गैर-सार्वजनिक सामग्री से जानकारी एकतरफ़ा हटा सकता था। हटाई गई जानकारी के कारण सार्वजनिक रिपोर्ट में उन साक्ष्यों का बड़ा हिस्सा शामिल नहीं हो सका जिन्हें METR ने सबसे अधिक जानकारी देने वाला माना था। इनमें एआई के योगदान का विस्तृत आकलन, एल्गोरिदम की प्रगति के अनुमान, अड़चनों का विशिष्ट विश्लेषण और भविष्य के मॉडलों के पूर्वानुमान शामिल थे। Anthropic ने कहा कि जानकारी हटाने का उद्देश्य ऐसी गोपनीय जानकारी की सुरक्षा करना था, जिससे एआई विकसित करने वाली दूसरी कंपनियों को तेज़ी मिल सकती थी। कार्यप्रणाली और निष्कर्षों पर METR का निर्णयाधिकार बना रहा और उसने कोई भुगतान स्वीकार नहीं किया, हालाँकि उसने Anthropic के उपकरणों पर काम किया और मुफ़्त टोकन इस्तेमाल किए।

यह आकलन एआई-आधारित शोध में तेज़ी की बाहरी जाँच का व्यापक विवरण देता है, लेकिन अंतर्निहित साक्ष्यों के बारे में पूरी पारदर्शिता नहीं देता। सार्वजनिक बेंचमार्क परिणाम और कर्मचारियों के बयान तेज़ प्रगति का समर्थन करते हैं, लेकिन जानकारी हटाए जाने के कारण पाठक METR के कारण-निर्धारण और अड़चनों से जुड़े निष्कर्षों के अधिकांश आधार का स्वतंत्र रूप से आकलन नहीं कर सकते। इसलिए इन केंद्रीय निष्कर्षों का बड़ा हिस्सा ऐसे साक्ष्यों के मूल्यांकन पर निर्भर करता है जिन्हें पाठक पूरी तरह नहीं देख सकते।