एआई मॉडल और प्लेटफ़ॉर्म

METR के निष्कर्ष: AI की समय-सीमाएँ दोगुनी हो रही हैं, जबकि शोध-विवेक पीछे है

Jonas Reeve
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुफ्रंटियर मॉडलों के समय-क्षितिज लगभग हर 110 दिनों में दोगुने होते हैं, लेकिन शोध-निर्णय…
और देखें
  • फ्रंटियर मॉडलों के समय-क्षितिज लगभग हर 110 दिनों में दोगुने होते हैं, लेकिन शोध-निर्णय क्षमता सत्यापन-योग्य लाभों से पीछे रह जाती है।
  • मॉडलों ने अनुकूलन प्रतियोगिताओं में 96वें से 98वें प्रतिशतक में स्थान पाया, फिर भी स्वायत्त गति-वृद्धि में शीर्ष मनुष्यों से पीछे रहे।
  • मॉडल-निर्णायकों ने मजबूत मॉडलों के शोध-कार्यों को एक-बिंदु पैमाने पर लगभग 0.2 अंक अधिक आंका।

METR ने बताया कि 20 नवंबर, 2026 तक, सार्वजनिक रूप से उपलब्ध अग्रणी मॉडलों की 50% समय-सीमाएँ—यानी मानव द्वारा अनुमानित वह कार्य-अवधि, जिसमें किसी मॉडल के आधे प्रयास सफल होने की भविष्यवाणी की जाती है; यह इस बात का माप नहीं है कि मॉडल स्वयं कितनी देर काम करता है—TH1.1 और TH2 के संयुक्त मूल्यांकनों में लगभग हर 110 दिन में दोगुनी हो रही हैं। विस्तारित परीक्षण से सत्यापन योग्य कार्यों में ज़बरदस्त प्रगति दिखती है, लेकिन खुले शोध और मूल्यांकन की रूपरेखा तैयार करने में निर्णय-क्षमता कमज़ोर नज़र आती है।

इस अपडेट में Opus 5.5 और GPT-6 Astra तक के सार्वजनिक मॉडल शामिल हैं। इसमें AI अनुसंधान और विकास (R&D) को स्वचालित करने से जुड़ी क्षमताओं का भी अध्ययन किया गया है। METR ने आम तौर पर TH1.1 और TH2 पर 15 मॉडलों का मूल्यांकन किया। नए TH2 समूह में 12 श्रेणियों के 36 कार्य हैं: आठ सत्यापन योग्य श्रेणियों में अनुकूलन, मशीन लर्निंग, पहेलियों और खेलों से जुड़े स्पष्ट उद्देश्यों वाले कार्य हैं, जिनका स्वतः अंकन किया जा सकता है; वहीं चार श्रेणियों में वैचारिक तर्क, निर्णय-क्षमता और खुले शोध से जुड़े ऐसे कार्य हैं जिनकी सफलता को आसानी से जाँचा नहीं जा सकता।

अधिक चुनौतीपूर्ण कार्य-समूह, लेकिन प्रगति की दर लगभग समान

METR के अनुमान के मुताबिक, संयुक्त समूह में दोगुना होने की अवधि के लिए 95% विश्वास अंतराल 2.08 से 4.94 महीने है। यह केवल TH1.1 के लिए पहले मापी गई 105 दिनों की प्रगति-दर के करीब है। किसी व्यक्ति द्वारा अनुमानित कार्य-अवधि समान होने पर TH2 अधिक कठिन है, इसलिए संयुक्त समूह पर किसी मॉडल की 50% समय-सीमा केवल TH1.1 पर उसकी समय-सीमा से कम है।

TH2 के सत्यापन योग्य उपसमूह में दोगुना होने की अनुमानित अवधि घटकर 1.65 महीने रह जाती है; इसका 95% विश्वास अंतराल 0.79 से 3.99 महीने है। METR आगाह करता है कि यह अनिश्चित नतीजा व्यापक तेज़ी के बजाय कार्यों की संरचना, सीमित तारीख़-सीमा या कार्य-विकास के दौरान हुए चयन का परिणाम हो सकता है। कम विविधता वाले कार्य-समूहों में भी दोगुना होने की अवधि कम दिख सकती है, क्योंकि लंबे कार्यों में उन्हीं कौशलों की अधिक ज़रूरत पड़ती है।

मानव-आधारित अंशांकन, METR के पहले के काम की तुलना में कम प्रत्यक्ष है। शोधकर्ताओं ने 34 नए कार्यों के लिए अंक और समय की सीमाएँ तय कीं: तीन कार्यों के लिए सफल मानव प्रदर्शन के आधार का इस्तेमाल किया और 31 के लिए शोधकर्ताओं के अनुमान का; मानवों द्वारा कार्य पूरा करने की अवधि के अनुमानों में केवल 9% को प्रत्यक्ष आधार-आँकड़ों से तय किया गया। विशेषज्ञों को प्रति घंटे $200 से $350 का भुगतान किया गया और वे कार्यान्वयन के लिए Sonnet 5 का इस्तेमाल कर सकते थे। METR के मुताबिक, कार्य-समय के अनुमानों में अनिश्चितता जोड़ने और मानवों के कार्य पूरा करने के समय के मॉडल-आधारित अनुमानों का उपयोग करने के बाद भी दोगुना होने की अवधि के नतीजे लगभग समान रहे। हालाँकि, यह अब भी स्पष्ट नहीं है कि आधार-प्रदर्शन मापने वाले लोग अग्रणी AI प्रयोगशालाओं के शोधकर्ताओं के कितने तुलनीय थे।

मज़बूत अंक, लेकिन शोध-विवेक कमज़ोर

TH2 के सत्यापन योग्य कार्यों पर METR का अनुमान है कि मौजूदा सार्वजनिक अग्रणी मॉडलों की समय-सीमा अधिकतम 27 घंटे है। औपचारिक रूप से मानव आधार-प्रदर्शन मापे गए तीनों कार्यों में सर्वश्रेष्ठ मॉडल ने भर्ती किए गए हर मानव प्रतिभागी से बेहतर प्रदर्शन किया।

मानवों के बड़े समूहों से मिले आँकड़े दिखाते हैं कि शीर्ष विशेषज्ञ अब भी मॉडलों से आगे रह सकते हैं। Al Zimmermann की अनुकूलन प्रतियोगिताओं में से 15 के बारे में METR बताता है कि सर्वश्रेष्ठ मॉडल मध्यिका प्रतियोगिता में मानव प्रतिभागियों के 96वें से 98वें प्रतिशतक के बीच रहे, जबकि लगभग चार मानव प्रतिभागियों ने उनसे बेहतर प्रदर्शन किया। एजेंटों को 28-कोर मशीन पर 48 घंटे मिले; मानव प्रतिभागियों के पास लगभग तीन महीने और उनका अपना हार्डवेयर था। इसलिए इन अलग-अलग परिस्थितियों के आधार पर ही रैंकिंग को समझना चाहिए।

Budget NanoGPT में METR के मुताबिक, किसी स्वायत्त एजेंट ने 48 घंटों में अधिकतम 15.7% की गति-वृद्धि हासिल की। इसकी तुलना में, हाल ही में AI की सहायता लेने वाले एक मानव योगदानकर्ता ने पिछले रिकॉर्ड में 41% की गति-वृद्धि की थी और अनुमान लगाया था कि उसने लगभग 60 घंटे लगाए। यह तुलना मोटे तौर पर ही की जा सकती है, क्योंकि मानवों के रिकॉर्ड क्रमशः पिछले काम पर आगे बढ़ते हुए बनते हैं। फिर भी, इससे पता चलता है कि स्वायत्त एजेंट सर्वश्रेष्ठ मानव नतीजे से पीछे हैं, हालाँकि वे कई अन्य कुशल तेज़-समापन प्रतियोगियों से बेहतर हैं।

जिन कार्यों का सत्यापन कठिन है, वे एक अलग सीमा उजागर करते हैं। Making METR Tasks में एजेंटों को METR के अपने कार्य-समूह के लिए एक नया, जानकारीपूर्ण कार्य तैयार करना था। METR ने हाल के कुछ नतीजों को सीमांत रूप से उपयोगी माना, लेकिन रिपोर्ट में इस्तेमाल किए गए कार्य-समूह में शामिल करने लायक कोई भी नतीजा नहीं था। आम तौर पर, मॉडलों ने अनुकूलन से जुड़े ऐसे कार्य बनाए जिनका स्वतः अंकन किया जा सकता था—यहाँ तक कि तब भी, जब उन्हें कमज़ोर अल्पकालिक प्रतिपुष्टि वाले फ़ैसलों पर ज़ोर देने का निर्देश दिया गया था। इंटरनेट की पहुँच होने के बावजूद, उन्होंने अपने आप यह जाँच नहीं की कि METR को क्या उपयोगी लगेगा, नए ख़तरा-मॉडल तैयार नहीं किए और न ही मॉडलों की क्षमताओं के बारे में विशेष रूप से सूझ-बूझ वाली परिकल्पनाओं के आधार पर कार्य बनाए। ये आकलन METR के अपने शोध और ख़तरा-मॉडलिंग संबंधी निर्णयों पर आधारित हैं।

एक संबंधित प्रयोग में जाँचा गया कि क्या मॉडल उन नतीजों का भरोसेमंद ढंग से मूल्यांकन कर सकते हैं। METR ने पाया कि कमज़ोर मॉडलों के नतीजों का आकलन करते समय मॉडल निर्णायकों के अंक मानवों के अंकों से अधिक मेल खाते थे, लेकिन समान रूप से मज़बूत या उनसे भी ज़्यादा मज़बूत मॉडलों के काम को अनुचित रूप से ऊँचे अंक देते थे। Opus 5.5 को मानवों के अंकों से सबसे अधिक मेल खाने वाला निर्णायक पाया गया; उसने GPT-6 Astra के कार्यों को एक अंक के पैमाने पर मानव निर्णायक से लगभग 0.2 अंक अधिक दिए।

इन नतीजों से यह साबित नहीं होता कि निर्णय-क्षमता की कमी हर जगह मौजूद है। METR का कहना है कि निर्णय-क्षमता वाले कार्यों में मॉडलों की पूरी क्षमता सामने न आई हो सकती है, क्योंकि उन्होंने टोकन की सीमा और उपलब्ध सुविधाओं का कम इस्तेमाल किया। साथ ही, METR यह भी बताता है कि कुछ ऐसे मशीन-लर्निंग कार्यों में, जिनका अंकन प्रोग्राम के ज़रिए किया गया था, अग्रणी मॉडलों ने अच्छा निर्णय-विवेक दिखाया, हालाँकि यह स्पष्ट नहीं है कि यह क्षमता कितनी व्यापक है।

अधिक महँगे मूल्यांकन और तेज़ी का सवाल

मापन की समस्या केवल निर्णय-क्षमता तक सीमित नहीं है। METR को चिंता है कि कंटेनर-आधारित मूल्यांकन, मॉडलों को प्रशिक्षित करने के लिए इस्तेमाल किए जाने वाले सुदृढीकरण-अधिगम परिवेशों जैसे हो सकते हैं। अगर प्रशिक्षण में ऐसे परिवेश आम हो जाएँ, तो इससे वास्तविक दुनिया में मॉडलों की क्षमताएँ बढ़ा-चढ़ाकर आँकी जा सकती हैं।

जीवनचक्र लागत, कंटेनरीकृत कार्य-परिवेश विकसित करने और उसे 100 बार चलाकर उसका स्कोर तय करने की लागत का एक मोटा, मॉडल-आधारित अनुमानित प्रतिनिधि माप है; यह किसी AI डेवलपर के प्रशिक्षण-परिवेश की लागत का प्रत्यक्ष अनुमान नहीं है। कार्य की अवधि को ध्यान में रखने के बाद, METR ने पाया कि अधिक लागत वाले उपसमूह की लागत औसतन कम लागत वाले उपसमूह से 2.9 गुना थी, जबकि समय-क्षितिज के लिहाज़ से मॉडलों का प्रदर्शन 2.9 गुना खराब था, जो 1.5 बार दोगुना होने के बराबर है। फिर भी, दोनों उपसमूहों में मॉडलों ने समान दर से सुधार किया। इसलिए, आँकड़े लागत और कठिनाई के बीच संबंध दिखाते हैं, लेकिन यह नहीं दिखाते कि अधिक महँगे कार्यों पर प्रगति धीमी रही।

METR के अनुसार, अलग METR Capability Index पर जाँचे गए सार्वजनिक मॉडल-अग्रिम मोर्चे में कुल मिलाकर तेज़ी या मंदी का कोई मज़बूत संकेत नहीं मिला। यह सूचकांक मॉडलों के प्रदर्शन को एक साझा पैमाने पर मापता है। डेवलपर-विशिष्ट प्रवृत्ति-दर में बदलाव पद्धति संबंधी विकल्पों के प्रति संवेदनशील थे, इसलिए उनकी वैधता अनिश्चित बनी हुई है।

फिर भी, METR का कहना है कि अगले कुछ वर्षों में AI अनुसंधान एवं विकास में तीव्र तेज़ी की संभावना को खारिज करने के लिए मौजूदा सार्वजनिक साक्ष्य पर्याप्त नहीं हैं। इससे आशय ऐसी क्षमताओं में इतनी तेज़ी से सुधार होने से है कि मनुष्य नई प्रणालियों से जुड़े विनाशकारी जोखिमों को सार्थक रूप से समझने, उनका आकलन करने और उन पर प्रतिक्रिया देने में सक्षम न रह जाएँ। यह अब भी अज्ञात है कि कौन-सी क्षमताएँ ऐसा परिणाम ला सकती हैं; केवल आसानी से सत्यापित किए जा सकने वाले कार्य ही इसके लिए पर्याप्त हो सकते हैं। इसलिए, ये निष्कर्ष शोध-स्वचालन में कमज़ोर निर्णय-क्षमता को एक संभावित बाधा तो बताते हैं, लेकिन इस बात का प्रमाण नहीं हैं कि तेज़ी तब तक नहीं आ सकती, जब तक मॉडल रोज़मर्रा की नौकरियों से जुड़े वास्तविक कार्यों पर अच्छा प्रदर्शन न करने लगें।

Jonas Reeve एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो संज्ञानात्मक AI, कृत्रिम सामान्य बुद्धिमत्ता (AGI), और मशीन इंटेलिजेंस की सैद्धांतिक नींव पर केंद्रित हैं। उनका कार्य यह जांचता है कि सीखना, तर्क, स्मृति और अमूर्तन दोनों जैविक और कृत्रिम प्रणालियों में कैसे उभरते हैं, और आधुनिक AI आर्किटेक्चर को संज्ञानात्मक विज्ञान और मन के दर्शन में लंबे समय से मौजूद प्रश्नों से जोड़ता है।

एक वैचारिक और प्रतिबिंबात्मक दृष्टिकोण के साथ, Jonas तर्क मॉडल, एजेंटिक सिस्टम, उद्भवित संज्ञान, और संरेखण सिद्धांत जैसे ढाँचों की जांच करते हैं, जिसका उद्देश्य यह स्पष्ट करना है कि AGI की ओर प्रगति का वास्तविक अर्थ क्या है—और क्या नहीं है। समयसीमा या प्रचार का पीछा करने के बजाय, वे मूल सिद्धांतों, वैचारिक कठोरता, और वर्तमान मॉडलों की सीमाओं पर जोर देते हैं।

Jonas Reeve द्वारा लिखे गए लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा सटीकता, स्पष्टता, और उन्नत AI अवधारणाओं की जिम्मेदार चर्चा सुनिश्चित करने के लिए समीक्षित किए जाते हैं।