Unghiul lui Anderson
Trecerea la o versiune inferioară a Claude Fable a afectat foarte puțin productivitatea dezvoltatorilor în timpul interdicției

Puncte cheieAccesul la Claude Fable 5, cu scor mai mare, a crescut rata de fuzionare cu doar 1,4…
Vezi mai mult
- Accesul la Claude Fable 5, cu scor mai mare, a crescut rata de fuzionare cu doar 1,4 puncte procentuale.
- Cinci actualizări Claude nu au produs niciun câștig semnificativ în cererile de fuzionare finalizate sau în modificările săptămânale finalizate.
- Scorurile de referință contează puțin atunci când sarcinile atribuite de dezvoltatori se încadrează deja în capacitățile modelelor mai vechi.
Este foarte dificil să evaluăm cu exactitate dacă noile modele de IA și-au îmbunătățit performanța față de versiunile anterioare sau nu — sau chiar să definim ce înseamnă neapărat o creștere a productivității, întrucât versiunile noi pot demonstra îmbunătățiri într-un domeniu, dar performanțe mai slabe în altul, la fel cum se întâmplă cu software-ul și cadrele de dezvoltare convenționale. Uneori, acestea sunt compromisuri asumate, alese de oameni; alteori, sunt „daune colaterale”.
Asta presupunând că se joacă cinstit. Există numeroase cazuri în care dezvoltatorii au trucat software-ul pentru a obține rezultate mai bune la testele comparative, făcându-l uneori să recunoască atunci când este testat și să-și schimbe temporar modul de funcționare pentru a obține un scor mai bun. Și modelele de IA pot recunoaște atunci când sunt evaluate și se pot comporta diferit, chiar și fără să fi fost proiectate în mod deliberat să facă acest lucru.
În căutarea unor criterii de măsurare mai relevante și mai oneste, dezvoltatorii își stabilesc adesea propriile repere informale, precum provocarea lui Simon Wilson: un pelican pe bicicletă, în care modelele de limbaj și viziune (VLM-uri) trebuie să creeze ceva ce nu există în datele de antrenare* și obțin adesea rezultate slabe — deși lucrurile s-au îmbunătățit întrucâtva pe parcursul anului 2026:

Criteriul lui Simon Wilson îi cere unui VLM să-și imagineze un pelican pe bicicletă. În ultima vreme, IA a devenit mult mai bună la acest lucru, comparativ cu încercările hilare de acum aproximativ 18 luni. Unii sugerează însă că s-ar putea întâmpla așa fiindcă provocarea este acum inclusă în datele de antrenare. Sursă
Totuși, un test comparativ poate măsura doar competențele specifice pentru evaluarea cărora a fost conceput și, chiar și atunci când rezultatele sunt fiabile, nu este clar în ce măsură aceste competențe contează în utilizarea de zi cu zi sau dacă un scor mai mare se va traduce în finalizarea unei cantități mai mari de muncă.
În cazul modelelor de programare, acest lucru poate fi investigat analizând ce se întâmplă cu volumul de muncă realizat de dezvoltatori atunci când trec de la un model la altul.
A [the Same] mai mult cu mai puțin
În iunie anul acesta, interdicția de 19 zile impusă de Casa Albă privind utilizarea Claude Fable le-a oferit cercetătorilor un cadru de testare neobișnuit de clar: dezvoltatorii care trimiteau cereri de integrare a modificărilor (PR-uri) pe GitHub au trecut la versiuni mai puțin performante ale lui Claude. Deoarece toate versiunile Claude semnează în comun PR-urile și aceste informații pot fi căutate prin API-ul GitHub, datele sunt disponibile gratuit.
Această oportunitate a fost valorificată într-un nou studiu realizat de Harvard University, care a urmărit activitatea a 297 de utilizatori ai modelului Fable 5 înaintea interdicției, în timpul acesteia și după încheierea ei, comparând-o cu cea a 8.908 dezvoltatori care au continuat să folosească modelul mai vechi Opus 4.8.
Anterior, Fable 5 obținuse la testul comparativ de programare SWE-Bench Pro un scor cu aproape 11 puncte mai mare decât Opus 4.8. În studiul realizat de Harvard, însă, accesul la Fable 5 a fost asociat cu o creștere de doar 1,4 puncte procentuale a proporției modificărilor de cod trimise care au fost acceptate în proiecte GitHub în decurs de șapte zile — o diferență pe care lucrarea o descrie drept, practic, o eroare de rotunjire. O analiză mai amplă nu a identificat nici câștiguri semnificative de productivitate în urma trecerii la alte modele de IA mai noi:
„Rezultatele arată că accesul la Fable 5 a modificat rata de integrare cu doar 1,4 puncte procentuale, iar modificarea nu a fost semnificativă statistic[significant]. Am analizat, de asemenea, cinci dintre cele opt actualizări de model din 2026 și am constatat că rata de integrare nu a crescut după aceste actualizări[either].
„În mod similar, numărul cererilor de integrare a modificărilor pe care dezvoltatorii au reușit să le integreze în fiecare săptămână nu a crescut. Aceste rezultate arată că progresele înregistrate la testele comparative actuale de programare nu s-au tradus, în realitate, în mai multă muncă finalizată.”
În urma a cinci actualizări din 2026, care au implicat 1.208 dezvoltatori și peste 15.000 de modificări de cod propuse, nu s-a constatat nicio îmbunătățire semnificativă statistic nici a ratei de integrare a codului trimis, nici a numărului de modificări finalizate cu succes în fiecare săptămână.
Deși lucrarea recunoaște că integrarea modificărilor pe GitHub este un indicator imperfect al productivității, interdicția a oferit o ocazie foarte rară de a evalua efectele trecerii de la un model la altul în condiții reale de lucru, într-un sector care atrage un interes uriaș la nivel mondial, dar funcționează într-o opacitate corporativă aproape totală.
Recunoscând dificultatea de a stabili criterii empirice în astfel de cazuri, noua lucrare† observă:
„Persoanele care folosesc primele modele noi pot avea mai multă experiență, așa că, atunci când comparăm productivitatea dezvoltatorilor, nu putem ști dacă diferența se datorează modelului sau persoanelor care îl folosesc. Chiar dacă observăm aceleași persoane, nu știm dacă le atribuie modelelor diferite aceleași sarcini.
„De exemplu, unii ar putea folosi Fable 5 pentru cele mai dificile sarcini și ar putea trece la modele dintr-o categorie inferioară pentru sarcinile mai simple. Dacă le încredințează sarcinile mai dificile celui mai performant model, acesta ar putea părea mai puțin productiv după aproape orice criteriu am alege, deoarece sarcinile mai dificile durează mai mult și au șanse mai mici să fie acceptate.”
Articolul susține, de asemenea, că studiile anterioare au fost denaturate de faptul că majoritatea modificărilor de cod proveneau dintr-un număr mic de proiecte, fiecare cu propriile reguli de acceptare a contribuțiilor; aceste diferențe au îngreunat stabilirea faptului că eventualele creșteri ale productivității au fost cauzate efectiv de trecerea la modele mai noi.
Metodă
Pentru experimentul principal††, solicitările de integrare GitHub trimise de cei 297 de dezvoltatori identificați în studiu ca utilizatori ai Fable 5 au fost împărțite în patru perioade: înainte de lansarea modelului, pe 9 iunie; în cele trei zile în care a fost disponibil; pe parcursul suspendării de 19 zile; și după restabilirea accesului, pe 1 iulie.
Ratele de integrare ale acestora au fost comparate cu cele ale celor 8.908 dezvoltatori identificați ca utilizatori ai modelului mai vechi Opus 4.8, ceea ce a permis separarea schimbărilor asociate suspendării de fluctuațiile mai ample ale activității de pe GitHub.
Comparația a pornit de la presupunerea că, în absența interdicției, ambele grupuri ar fi înregistrat schimbări similare ale ratelor de integrare. Schimbările ratelor de integrare au fost comparate între cele două grupuri, iar analiza statistică a ținut cont de diferențele dintre dezvoltatori și de fluctuațiile de la o zi la alta:

Cronologia actualizărilor modelelor Claude și a suspendării Fable 5. Panoul superior prezintă opt actualizări pentru Opus și Sonnet, cercurile pline indicând cele cinci analizate în studiul mai amplu. Panoul inferior prezintă cele patru perioade folosite pentru a evalua efectul suspendării asupra ratelor de integrare a solicitărilor de integrare (PR), perioada interdicției fiind cea de referință. Liniile mov indică perioadele în care Fable 5 a fost disponibil sau suspendat; zonele gri marchează interdicția, iar porțiunile hașurate indică zilele excluse imediat după suspendarea sau restabilirea accesului. Sursă
În ceea ce privește datele, solicitările publice de integrare GitHub create cu Claude Code au fost identificate prin API-ul GitHub Search, folosind notificarea „Generat cu Claude Code”, inclusă automat în descrierile acestora. Atunci când numele modelului folosit fusese copiat și din istoricul de commituri al codului în descrierea solicitării de integrare, a fost posibilă identificarea versiunii Claude utilizate.
Solicitările de integrare trimise în perioada suspendării Fable 5 și a actualizărilor Claude ulterioare au fost colectate între noiembrie 2025 și octombrie 2026, iar pentru cele mai recente solicitări s-au acordat cel puțin patru săptămâni pentru a fi integrate.
Cei 297 de dezvoltatori care au folosit Fable 5 în perioada scurtă în care a fost disponibil au fost selectați pentru grupul principal al studiului, în timp ce cei 8.908 dezvoltatori care au folosit Opus 4.8 și pentru care nu a fost înregistrată nicio utilizare a Fable 5 au constituit grupul de control.
Principalul indicator al productivității a fost proporția modificărilor de cod trimise care au fost acceptate în proiectele GitHub în decurs de șapte zile, ceea ce a permis compararea ratei de acceptare a solicitărilor între perioadele de dinaintea suspendării, din timpul acesteia și de după. Verificările suplimentare au vizat solicitările de integrare acceptate în decurs de o oră; solicitările închise fără a fi integrate; numărul de comentarii primite; modificările anulate ulterior; și eșecurile verificărilor automate GitHub.
Teste
Pierderea accesului la Fable 5 și restabilirea ulterioară a acestuia au avut un efect măsurabil redus asupra productivității dezvoltatorilor: accesul la modelul mai nou a fost asociat cu o creștere de doar 1,4 puncte procentuale a proporției solicitărilor de integrare acceptate în decurs de șapte zile; diferența a fost considerată „nesemnificativă din punct de vedere statistic”:

Comparație între utilizarea Fable 5 și ratele de integrare a solicitărilor de integrare înaintea interdicției, în timpul acesteia și după. Stânga: procentul solicitărilor de integrare realizate cu Fable 5. Dreapta: schimbările ratei de integrare în decurs de șapte zile față de perioada 22–28 iunie, punctele indicând estimările, iar liniile orizontale, intervalele de încredere de 95%. Rândurile umbrite marchează perioadele în care Fable 5 a fost disponibil. În pofida schimbărilor mari în utilizarea modelului, s-au observat puține schimbări ale ratelor de integrare.
În plus, analiza a cinci actualizări ale modelelor Claude, care au implicat 1.208 dezvoltatori și peste 15.000 de trimiteri de cod, nu a identificat nicio îmbunătățire a proporției codului acceptat în proiectele GitHub. Rata a scăzut, de fapt, ușor, cu 0,9 puncte procentuale, potrivit estimărilor.
S-a constatat, de asemenea, că dezvoltatorii care foloseau modele mai noi au finalizat cu doar 2,4% mai multe contribuții acceptate pe săptămână — o diferență prea mică pentru a demonstra o îmbunătățire fiabilă. Chiar și atunci când scorurile la benchmarkuri crescuseră cu 5 până la 18 puncte, nu s-au observat câștiguri semnificative de productivitate.
De asemenea, s-a constatat că modelele mai noi nu aveau rezultate mai bune la verificările automate ale codului de pe GitHub, ratele de eșec rămânând practic neschimbate.
Lucrarea concluzionează:
„Presupunem că principalul motiv pentru care progresele lui Fable 5 la benchmarkuri nu s-au tradus în productivitate în munca reală este că sarcinile pe care dezvoltatorii le încredințează agenților se încadrează deja în capacitățile modelului mai vechi.”
Și continuă:
„Descoperirile noastre adaugă dovezi din munca reală la avertismentele din lucrările anterioare: un scor la un benchmark înseamnă puțin pentru cei care aleg un model, dacă nu există dovezi că acesta măsoară activitatea pentru care este folosit [describe].
„Dacă autoritățile de reglementare și cumpărătorii evaluează cât de mult mai performant este un model pe baza scorului său la benchmark [score], diferența pe care se bazează probabil nu se va reflecta în productivitatea utilizatorilor.”
Concluzie
Metricile consecvente, urmărite de la un an la altul, au fost de multă vreme o condiție prealabilă pentru componenta comercială a sistemelor industriale; însă sunt deosebit de greu de reprodus în condiții reale și cu acuratețe în domeniul IA. Unul dintre motive este viteza cu care „datele de testare” care definesc un benchmark ajung în datele de antrenare ale modelului următor și devin inutilizabile în scopuri de testare. Numai acest lucru compromite în mare măsură atât modelul de evaluare comparativă corporativă, cât și testarea științifică consecventă, în care cercetătorii se bazează pe depășirea unor metrici stabilite anterior, care ar putea fi acum lipsite de sens.
Într-adevăr, în ultimii zece ani a fost uimitor să urmărim câte lucrări de cercetare în domeniul viziunii computerizate continuă să respecte standarde de mult depășite, precum ImageNet, pur și simplu pentru că acestea au o istorie atât de îndelungată.
Rezultatele acestei lucrări îi prezintă pe dezvoltatori într-o lumină destul de favorabilă, ca susținători adaptabili și flexibili ai oricărui sistem disponibil și funcțional; faptul că au o productivitate aproape identică indiferent dacă folosesc cea mai recentă versiune de IA sau versiunea anterioară arată că își optimizează activitatea în funcție de durate și termene-limită, indiferent de instrumentele pe care le au la dispoziție.
* După cum a remarcat un comentator recent de pe Hacker News, probabil că acest lucru nu mai este adevărat, deoarece datele „Pelican pe bicicletă” se află acum în datele de antrenare, iar testul este, prin urmare, compromis.
† Intitulată „Modelele de programare cu scoruri mai mari nu au dus la mai multă muncă realizată”.
†† Studiul ridică alte două întrebări, dar nu consider că sunt deosebit de relevante pentru subiect sau comparabile ca importanță cu întrebarea principală și nu le-am abordat aici. Pentru mai multe detalii, consultați PDF-ul sursă.
Publicat pentru prima dată miercuri, 18 noiembrie 2026












