Anderson का एंगल

प्रतिबंध के दौरान Claude Fable से कमतर संस्करण पर जाने से डेवलपर उत्पादकता पर बहुत कम असर पड़ा

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
मुख्य बिंदुउच्च स्कोरिंग Claude Fable 5 तक पहुँच ने विलय दर को केवल 1.4 प्रतिशत अंकों तक बढ़ाया।
और देखें
  • उच्च स्कोरिंग Claude Fable 5 तक पहुँच ने विलय दर को केवल 1.4 प्रतिशत अंकों तक बढ़ाया।
  • पाँच Claude अपग्रेड से विलयित पुल अनुरोधों या साप्ताहिक पूर्ण किए गए परिवर्तनों में कोई महत्वपूर्ण लाभ नहीं हुआ।
  • बेंचमार्क स्कोर का बहुत कम महत्व है जब डेवलपर्स द्वारा सौंपे गए कार्य पहले से ही पुराने मॉडलों की क्षमताओं के भीतर आते हैं।

यह सटीक रूप से आकलन करना बहुत कठिन है कि नए एआई मॉडल ने अपने पिछले संस्करणों की तुलना में बेहतर प्रदर्शन किया है या नहीं—या यह तय करना भी कि उत्पादकता में सुधार का अर्थ आखिर क्या है। इसकी वजह यह है कि नए संस्करण एक क्षेत्र में सुधार दिखा सकते हैं, लेकिन दूसरे क्षेत्र में उनका प्रदर्शन घट सकता है; पारंपरिक सॉफ़्टवेयर और फ़्रेमवर्क में भी ऐसा ही हो सकता है। कभी ये सोच-समझकर किए गए, इंसानों के चुने हुए समझौते होते हैं, तो कभी ‘अनुषंगी नुकसान’।

यह मानकर कि ‘नियमों के मुताबिक खेल’ हो रहा है। ऐसे कई मामले सामने आए हैं जिनमें डेवलपरों ने बेंचमार्क में बेहतर प्रदर्शन करने के लिए सॉफ़्टवेयर में हेरफेर किया है। कभी-कभी वे उसे परीक्षण के दौरान यह पहचानने लायक भी बना देते हैं कि उसकी जाँच हो रही है, ताकि वह बेहतर स्कोर पाने के लिए अस्थायी रूप से अपना काम करने का तरीका बदल सके। एआई मॉडल भी यह पहचान सकते हैं कि उनका मूल्यांकन किया जा रहा है और अलग तरह से व्यवहार कर सकते हैं—भले ही उन्हें जान-बूझकर ऐसा करने के लिए डिज़ाइन न किया गया हो।

ज़्यादा सार्थक और ईमानदार मापदंड खोजने के लिए डेवलपर अक्सर अपने अनौपचारिक पैमाने बनाते हैं। ऐसा ही एक पैमाना Simon Wilson की गुणात्मक साइकिल चलाते पेलिकन की चुनौती है, जिसमें विज़न-लैंग्वेज मॉडल (VLM) से ऐसी चीज़ बनाने को कहा जाता है जो प्रशिक्षण डेटा में मौजूद न हो*। अक्सर उनका प्रदर्शन खराब रहता है—हालाँकि 2026 के दौरान इसमें कुछ सुधार हुआ है:

Simon Wilson के मापदंड में VLM से साइकिल चलाते हुए पेलिकन की कल्पना करने को कहा जाता है। हाल के समय में एआई इस काम में लगभग 18 महीने पहले के हास्यास्पद प्रयासों की तुलना में काफ़ी बेहतर हो गया है। लेकिन कुछ लोगों का कहना है कि ऐसा इसलिए हो सकता है क्योंकि अब यह चुनौती प्रशिक्षण डेटा में शामिल हो चुकी है। स्रोत: https://simonwillison.net/tags/pelican-riding-a-bicycle/

Simon Wilson के मापदंड में VLM से साइकिल चलाते हुए पेलिकन की कल्पना करने को कहा जाता है। हाल के समय में एआई इस काम में लगभग 18 महीने पहले के हास्यास्पद प्रयासों की तुलना में काफ़ी बेहतर हो गया है। लेकिन कुछ लोगों का कहना है कि ऐसा इसलिए हो सकता है क्योंकि अब यह चुनौती प्रशिक्षण डेटा में शामिल हो चुकी है। स्रोत

हालाँकि, कोई बेंचमार्क केवल उन्हीं विशेष कौशलों को माप सकता है जिनकी जाँच के लिए उसे बनाया गया है। नतीजे भरोसेमंद हों, तब भी यह साफ़ नहीं होता कि रोज़मर्रा के इस्तेमाल में उन कौशलों का कितना महत्त्व है, या बेहतर स्कोर से वास्तव में ज़्यादा काम पूरा होगा या नहीं।

कोडिंग मॉडल के मामले में, यह देखा जा सकता है कि डेवलपरों के काम के आउटपुट पर क्या असर पड़ता है, जब वे एक मॉडल से दूसरे मॉडल पर जाते हैं।

काम करना [the Same] कम संसाधनों के साथ

इस साल जून में व्हाइट हाउस के 19-दिवसीय प्रतिबंध के चलते Claude Fable के इस्तेमाल पर रोक लग गई। इससे शोधकर्ताओं को असामान्य रूप से साफ़-सुथरा परीक्षण माहौल मिला: GitHub पर पुल रिक्वेस्ट (PR) भेजने वाले डेवलपर Claude के कम शक्तिशाली संस्करणों पर चले गए। चूँकि Claude के सभी संस्करण PR पर सह-हस्ताक्षर करते हैं और GitHub API के ज़रिए यह जानकारी खोजी जा सकती है, इसलिए ये डेटा सभी के लिए मुफ़्त उपलब्ध हैं।

इस अवसर का लाभ Harvard University के एक नए अध्ययन में उठाया गया। इसमें प्रतिबंध से पहले, उसके दौरान और बाद में Fable 5 का इस्तेमाल करने वाले 297 लोगों के काम पर नज़र रखी गई और उसकी तुलना उन 8,908 डेवलपरों से की गई जो पुराने Opus 4.8 मॉडल का इस्तेमाल जारी रखे हुए थे।

SWE-Bench Pro कोडिंग बेंचमार्क पर Fable 5 को पहले Opus 4.8 से लगभग 11 अंक अधिक स्कोर मिला था। हालाँकि, Harvard के अध्ययन में Fable 5 तक पहुँच होने के साथ सात दिनों के भीतर GitHub परियोजनाओं में स्वीकार किए गए कोड बदलावों का अनुपात सिर्फ़ 1.4 प्रतिशत अंक बढ़ा। शोधपत्र के मुताबिक, व्यावहारिक तौर पर यह अंतर गोलाई के कारण होने वाली मामूली त्रुटि जितना ही है। व्यापक विश्लेषण में भी अन्य नए एआई मॉडल पर जाने से उत्पादकता में कोई उल्लेखनीय बढ़ोतरी नहीं मिली:

‘नतीजे बताते हैं कि Fable 5 तक पहुँच होने से मर्ज होने की दर में केवल 1.4 प्रतिशत अंक का बदलाव आया और यह बदलाव सांख्यिकीय रूप से [significant] महत्त्वपूर्ण नहीं था। हमने 2026 में मॉडल के आठ अपग्रेड में से पाँच का भी विश्लेषण किया और पाया कि इन अपग्रेड के बाद मर्ज होने की दर में बढ़ोतरी नहीं हुई [either]।’

‘इसी तरह, डेवलपरों की हर हफ़्ते मर्ज होने वाली पुल रिक्वेस्ट की संख्या भी नहीं बढ़ी। ये नतीजे दिखाते हैं कि मौजूदा कोडिंग बेंचमार्क पर मिली बढ़त वास्तव में ज़्यादा काम पूरा होने में तब्दील नहीं हुई।’

2026 में पाँच अपग्रेड के दौरान 1,208 डेवलपरों और 15,000 से अधिक प्रस्तावित कोड बदलावों का विश्लेषण किया गया। इसमें न तो सबमिट किए गए कोड के मर्ज होने की दर में और न ही हर हफ़्ते सफलतापूर्वक पूरे किए गए बदलावों की संख्या में कोई सांख्यिकीय रूप से उल्लेखनीय सुधार पाया गया।

हालाँकि शोधपत्र मानता है कि GitHub पर मर्ज होना उत्पादकता का अपूर्ण माप है, फिर भी इस प्रतिबंध ने वास्तविक कामकाजी परिस्थितियों में मॉडल बदलने के प्रभावों का आकलन करने का एक बेहद दुर्लभ अवसर दिया। यह ऐसे क्षेत्र में हुआ, जिसमें दुनिया भर में बहुत दिलचस्पी है, लेकिन जो कॉरपोरेट अपारदर्शिता के अधिकतम संभव स्तर के बीच काम करता है।

ऐसे मामलों में अनुभवजन्य मानदंड तय करने की कठिनाई को स्वीकार करते हुए, इस नए अध्ययन† में कहा गया है:

‘नए मॉडल सबसे पहले इस्तेमाल करने वाले लोग शायद अधिक अनुभवी हों। इसलिए जब हम अलग-अलग डेवलपरों की उत्पादकता की तुलना करते हैं, तो यह नहीं बता सकते कि अंतर मॉडल की वजह से है या उसका इस्तेमाल करने वाले लोगों की वजह से। एक ही लोगों को देखने पर भी हमें यह नहीं पता होता कि वे अलग-अलग मॉडल को एक जैसे काम देते हैं या नहीं।’

‘उदाहरण के लिए, कुछ लोग सबसे कठिन कामों के लिए Fable 5 का इस्तेमाल कर सकते हैं और आसान कामों के लिए कम क्षमता वाले मॉडल अपना सकते हैं। अगर वे कठिन काम सबसे शक्तिशाली मॉडल को देते हैं, तो लगभग किसी भी चुने हुए पैमाने पर वह मॉडल कम उत्पादक दिखाई दे सकता है, क्योंकि कठिन कामों में अधिक समय लगता है और उनके मर्ज होने की संभावना भी कम होती है।’

पेपर का यह भी तर्क है कि पिछले अध्ययनों के नतीजे इस तथ्य से प्रभावित हुए हैं कि कोड में किए गए ज़्यादातर बदलाव कुछ ही परियोजनाओं से आए थे और हर परियोजना में योगदान स्वीकार करने के अपने नियम थे; इन अंतरों के कारण यह तय करना मुश्किल हो गया कि उत्पादकता में बढ़ोतरी वास्तव में नए मॉडल अपनाने से हुई थी या नहीं।

कार्यप्रणाली

मुख्य प्रयोग†† के लिए, अध्ययन में Fable 5 का उपयोग करने वाले के रूप में पहचाने गए 297 डेवलपरों के GitHub पुल रिक्वेस्ट को चार अवधियों में बाँटा गया: मॉडल के 9 जून को जारी होने से पहले; इसकी तीन दिनों की उपलब्धता के दौरान; 19 दिनों के निलंबन के दौरान; और 1 जुलाई को पहुँच बहाल होने के बाद।

उनकी मर्ज दरों की तुलना पुराने Opus 4.8 मॉडल का उपयोग करने वाले के रूप में पहचाने गए 8,908 डेवलपरों की मर्ज दरों से की गई। इससे निलंबन से जुड़े बदलावों को GitHub गतिविधि में आए व्यापक उतार-चढ़ाव से अलग करके देखा जा सका।

इस तुलना में यह मान लिया गया कि प्रतिबंध न लगा होता, तो दोनों समूहों की मर्ज दरों में समान बदलाव आते। सांख्यिकीय विश्लेषण में अलग-अलग डेवलपरों के बीच के अंतर और दिन-प्रतिदिन के उतार-चढ़ाव का हिसाब रखते हुए, दोनों समूहों की मर्ज दरों में हुए बदलावों की तुलना की गई:

Claude मॉडल के अपग्रेड और Fable 5 के निलंबन की समयरेखा। ऊपरी पैनल में Opus और Sonnet के आठ अपग्रेड दिखाए गए हैं; भरे हुए वृत्त उन पाँच अपग्रेड को चिह्नित करते हैं जिनकी व्यापक अध्ययन में जाँच की गई। निचले पैनल में वे चार अवधियाँ दिखाई गई हैं जिनका उपयोग यह आकलन करने के लिए किया गया कि निलंबन की अवधि ने PR मर्ज दरों को कैसे प्रभावित किया; प्रतिबंध की अवधि को संदर्भ अवधि माना गया है। बैंगनी रेखाएँ बताती हैं कि Fable 5 कब उपलब्ध था और कब निलंबित रहा; धूसर छायांकन प्रतिबंध की अवधि दर्शाता है; और तिरछी धारियों वाले हिस्से उन दिनों को दिखाते हैं जिन्हें पहुँच निलंबित या बहाल किए जाने के तुरंत बाद बाहर रखा गया था। स्रोत - https://arxiv.org/pdf/2611.23216

Claude मॉडल के अपग्रेड और Fable 5 के निलंबन की समयरेखा। ऊपरी पैनल में Opus और Sonnet के आठ अपग्रेड दिखाए गए हैं; भरे हुए वृत्त उन पाँच अपग्रेड को चिह्नित करते हैं जिनकी व्यापक अध्ययन में जाँच की गई। निचले पैनल में वे चार अवधियाँ दिखाई गई हैं जिनका उपयोग यह आकलन करने के लिए किया गया कि निलंबन की अवधि ने PR मर्ज दरों को कैसे प्रभावित किया; प्रतिबंध की अवधि को संदर्भ अवधि माना गया है। बैंगनी रेखाएँ बताती हैं कि Fable 5 कब उपलब्ध था और कब निलंबित रहा; धूसर छायांकन प्रतिबंध की अवधि दर्शाता है; और तिरछी धारियों वाले हिस्से उन दिनों को दिखाते हैं जिन्हें पहुँच निलंबित या बहाल किए जाने के तुरंत बाद बाहर रखा गया था। स्रोत

डेटा के लिए, Claude Code से बनाए गए सार्वजनिक GitHub PRs की पहचान GitHub Search API के ज़रिए की गई। इसके लिए उनके विवरण में अपने-आप शामिल होने वाली ‘Generated with Claude Code’ सूचना का उपयोग किया गया। जब विशिष्ट मॉडल का नाम कोड के कमिट इतिहास से PR के विवरण में भी कॉपी किया गया था, तब इस्तेमाल किए गए Claude संस्करण का पता लगाना संभव हुआ।

Fable 5 के निलंबन और Claude के बाद के अपग्रेड के आसपास जमा किए गए PRs को नवंबर 2025 से अक्टूबर 2026 के बीच संकलित किया गया। सबसे हाल के सबमिशन के मर्ज होने के लिए कम-से-कम चार सप्ताह का समय दिया गया।

मुख्य अध्ययन समूह के लिए उन 297 डेवलपरों को चुना गया जिन्होंने Fable 5 की थोड़े समय की उपलब्धता के दौरान उसका उपयोग किया था। वहीं, नियंत्रण समूह में उन 8,908 डेवलपरों को रखा गया जिन्होंने Opus 4.8 का उपयोग किया था और जिनके Fable 5 इस्तेमाल करने का कोई रिकॉर्ड नहीं था।

उत्पादकता का मुख्य माप सात दिनों के भीतर GitHub परियोजनाओं में स्वीकार किए गए सबमिट किए गए कोड बदलावों का अनुपात था। इससे निलंबन से पहले, उसके दौरान और बाद की अवधियों में सफल सबमिशन की दरों की तुलना की जा सकी। अतिरिक्त जाँचों में एक घंटे के भीतर मर्ज किए गए PRs; मर्ज किए बिना बंद किए गए PRs; प्राप्त टिप्पणियों की संख्या; बाद में वापस लिए गए बदलाव; और GitHub की स्वचालित जाँचों में हुई विफलताएँ शामिल थीं।

जाँच

Fable 5 की पहुँच हटाए जाने और बाद में बहाल किए जाने का डेवलपर उत्पादकता पर मापने योग्य प्रभाव बहुत कम था। नए मॉडल की पहुँच का संबंध सात दिनों के भीतर मर्ज किए गए PRs के अनुपात में केवल 1.4 प्रतिशत-अंक की बढ़ोतरी से था; इस अंतर को ‘सांख्यिकीय रूप से महत्वपूर्ण नहीं’ माना गया:

प्रतिबंध से पहले, उसके दौरान और बाद में Fable 5 के उपयोग और PR मर्ज दरों की तुलना। बाएँ: Fable 5 का उपयोग करके बनाए गए PRs का प्रतिशत। दाएँ: 22–28 जून की तुलना में सात-दिवसीय मर्ज दर में बदलाव; बिंदु अनुमान दिखाते हैं और क्षैतिज रेखाएँ 95% विश्वास अंतराल दर्शाती हैं। छायांकित पंक्तियाँ उन अवधियों को चिह्नित करती हैं जब Fable 5 उपलब्ध था। मॉडल के उपयोग में बड़े बदलावों के बावजूद, मर्ज दरों में बहुत कम बदलाव देखा गया।

प्रतिबंध से पहले, उसके दौरान और बाद में Fable 5 के उपयोग और PR मर्ज दरों की तुलना। बाएँ: Fable 5 का उपयोग करके बनाए गए PRs का प्रतिशत। दाएँ: 22–28 जून की तुलना में सात-दिवसीय मर्ज दर में बदलाव; बिंदु अनुमान दिखाते हैं और क्षैतिज रेखाएँ 95% विश्वास अंतराल दर्शाती हैं। छायांकित पंक्तियाँ उन अवधियों को चिह्नित करती हैं जब Fable 5 उपलब्ध था। मॉडल के उपयोग में बड़े बदलावों के बावजूद, मर्ज दरों में बहुत कम बदलाव देखा गया।

इसके अलावा, Claude मॉडल के पाँच अपग्रेड के दौरान 1,208 डेवलपरों और 15,000 से अधिक कोड सबमिशन को शामिल करने पर भी, GitHub परियोजनाओं में स्वीकार किए गए कोड के अनुपात में कोई सुधार नहीं मिला। अनुमान के मुताबिक, यह दर वास्तव में 0.9 प्रतिशत-अंक थोड़ी घट गई।

यह भी पाया गया कि नए मॉडल इस्तेमाल करने वाले डेवलपर हर सप्ताह केवल 2.4% अधिक स्वीकृत सबमिशन पूरे कर पाए—यह अंतर इतना कम था कि इससे विश्वसनीय सुधार साबित नहीं होता। बेंचमार्क स्कोर 5 से 18 अंक तक बढ़ने के बावजूद, उत्पादकता में कोई सांख्यिकीय रूप से महत्वपूर्ण बढ़ोतरी नहीं देखी गई।

यह भी पाया गया कि GitHub की स्वचालित कोड जाँच में नए मॉडल बेहतर प्रदर्शन नहीं कर पाए; विफलता दर लगभग अपरिवर्तित रही।

शोधपत्र का निष्कर्ष है:

‘हमारा अनुमान है कि बेंचमार्क पर Fable 5 के बेहतर प्रदर्शन का वास्तविक कामकाज में उत्पादकता बढ़ने के रूप में न दिखने की मुख्य वजह यह है कि डेवलपर एजेंटों को जो काम सौंपते हैं, वे पहले से ही पुराने मॉडल की क्षमता के दायरे में आते हैं।’

और आगे कहता है:

‘हमारे निष्कर्ष वास्तविक काम से मिले ऐसे साक्ष्य जोड़ते हैं, जो पहले के शोध की इस चेतावनी की पुष्टि करते हैं: किसी बेंचमार्क स्कोर का मॉडल चुनने वालों के लिए बहुत कम अर्थ है, जब तक यह प्रमाण न हो कि वह उस काम को मापता है जिसके लिए उसका इस्तेमाल किया जाता है[describe]।

‘अगर नियामक और खरीदार यह तय करते हैं कि कोई मॉडल अपने बेंचमार्क स्कोर[score] के आधार पर कितना बेहतर है, तो जिस अंतर पर वे भरोसा करते हैं, उसके उपयोगकर्ताओं की उत्पादकता में दिखने की संभावना नहीं है।’

निष्कर्ष

औद्योगिक प्रणालियों के व्यावसायिक पहलू के लिए साल-दर-साल एकसमान मापदंड लंबे समय से अनिवार्य रहे हैं; लेकिन एआई के क्षेत्र में वास्तविक और सटीक रूप से इन्हें दोहराना खास तौर पर कठिन है। इसकी एक वजह यह है कि बेंचमार्क को परिभाषित करने वाला ‘परीक्षण डेटा’ कितनी तेज़ी सेअगले मॉडल के प्रशिक्षण डेटा में शामिल हो जाता है और परीक्षण के लिए बेकार हो जाता है। यही बात कॉर्पोरेट बेंचमार्किंग के साथ-साथ एकसमान वैज्ञानिक परीक्षण की स्थापित रूपरेखा को लगभग पूरी तरह तोड़ देती है; ऐसे परीक्षणों में शोधकर्ता पहले से स्थापित मापदंडों को चुनौती देने पर निर्भर करते हैं, जो अब अर्थहीन हो सकते हैं।

दरअसल, पिछले दस वर्षों में यह देखना आश्चर्यजनक रहा है कि कंप्यूटर विज़न के कितने शोधपत्र अब बहुत पुराने पड़ चुके मानकों, जैसे ImageNet, का पालन अब भी करते हैं—सिर्फ इसलिए कि उनका इतिहास बहुत पुराना है।

इस शोधपत्र के नतीजेडेवलपर को अनुकूलनशील और लचीले ऐसे समर्थकों के रूप में काफी अच्छी रोशनी में दिखाते हैं, जो उपलब्ध और चालू किसी भी प्रणाली के साथ काम कर लेते हैं; नवीनतम या उससे पिछले एआई मॉडल के साथ उनका लगभग समान गति से काम करना बताता है कि वे हाथ में मौजूद साधनों की परवाह किए बिना, समय-सीमाओं और काम पूरा करने की अवधि के अनुसार अपना काम ढालते हैं।

 

* जैसा कि Hacker News के एक हालिया टिप्पणीकार ने बताया, शायद अब यह बात सही नहीं है, क्योंकि ‘साइकिल पर पेलिकन’ वाला डेटा अब प्रशिक्षण डेटा में शामिल है और इसलिए यह परीक्षण अब निष्पक्ष नहीं रहा।

† शीर्षक था ‘अधिक स्कोर करने वाले कोडिंग मॉडल से अधिक काम पूरा नहीं हुआ’।

††अध्ययन में दो अन्य सवाल भी उठाए गए हैं, लेकिन मुझे नहीं लगता कि वे इस विषय से खास तौर पर जुड़े हैं या मुख्य सवाल जितने महत्वपूर्ण हैं; इसलिए मैंने यहां उनके बारे में नहीं लिखा है। अधिक जानकारी के लिए मूल PDF देखें।

पहली बार प्रकाशित: बुधवार, 18 नवंबर, 2026

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai