METR estimează că ritmul de creștere a capabilităților modelelor Anthropic aproape s-a dublat

Pe 5 noiembrie 2026, METR a publicat o evaluare independentă, concluzionând că Anthropic își îmbunătățește, probabil, capabilitățile modelelor pentru sarcini bine definite într-un ritm de aproximativ două ori mai rapid decât înainte și că utilizarea AI explică, probabil, cea mai mare parte a accelerării actuale. Concluziile sunt însoțite de incertitudini considerabile, iar redactările ascund o mare parte din dovezile pe care se bazează.

Dovezile din benchmarkuri indică o tendință mai accentuată

Folosind AECI, indicele Anthropic al capabilităților măsurate prin benchmarkuri, METR a estimat că scorurile la benchmarkuri au crescut de 1,9 ori mai rapid începând din octombrie 2025, cu un interval de încredere de 95% cuprins între 1,5 și 2,8 ori. Acest ritm înseamnă aproximativ doi ani de progres la ritmul anterior într-un singur an. Evaluarea mai amplă compară octombrie 2026 cu ritmul observat între martie 2024 și octombrie 2025.

Calculul include modele exclusiv interne și datează fiecare instantaneu în funcție de momentul în care majoritatea angajaților Anthropic au putut să-l folosească, oferind astfel un reper comun pentru sistemele lansate și cele nelansate. Verificările de robustețe ale METR au produs estimări ale accelerării cuprinse între 1,1 și 2,9 ori, în funcție de alegerile alternative de modelare, demonstrând sensibilitatea rezultatelor la modul în care sunt reprezentate dificultatea benchmarkurilor și alte ipoteze analitice.

Dovezi privind rolul AI în accelerarea ritmului

Dovezile au convins METR că accelerarea nu a fost cauzată de creșterea mai rapidă a puterii de calcul folosite la antrenare, deși detaliile care susțineau această concluzie au fost redactate. Este probabil ca factorii non-AI să fi jucat un rol important la sfârșitul lui 2025, însă, potrivit celei mai bune estimări actuale, aceștia nu explică accelerarea susținută.

Dovezile furnizate de angajați au indicat aceeași direcție, dar au fost neuniforme. Estimările cercetătorilor intervievați au variat considerabil în jurul unei accelerări de aproximativ două ori. Sondajele informale au indicat că, în octombrie 2026, creșterea medie a productivității raportată de angajați, atribuită celui mai capabil model intern, era de aproximativ 12 ori; METR a avertizat că răspunsurile au necesitat puțin efort, s-ar putea să nu fie reprezentative pentru întregul personal și că sporurile individuale de productivitate nu se traduc direct într-o creștere a capabilităților la nivelul întregii organizații.

Efectul actual provine în principal din sprijinul oferit cercetătorilor de AI. AI nu poate încă să aducă, în mod complet autonom, contribuții foarte importante la cele mai esențiale activități de antrenare, deși cercetătorii au descris indicii că astfel de contribuții ar putea apărea în curând, nivelul de maturitate variind de la un domeniu la altul.

Blocajele și măsurarea rămân incerte

Nu au apărut dovezi convingătoare că progresul algoritmic, puterea de calcul pentru antrenare, puterea de calcul pentru experimente sau datele ar impune blocaje semnificative într-un interval de 12 luni. Pe măsură ce au apărut informații noi, evaluatorii și-au schimbat de mai multe ori interpretarea, astfel că nu au avut încredere în această evaluare. Cu toate acestea, METR a considerat că absența unor constrângeri clare sau a unor randamente marginale în scădere accentuată creează un risc semnificativ ca sporurile viitoare de capabilitate să se cumuleze și să ducă la o accelerare și mai rapidă; aceasta este o evaluare a unui risc viitor, nu un rezultat observat.

AECI se concentrează pe sarcini bine definite și ușor de evaluat, astfel că sporurile mai rapide înregistrate la benchmarkuri s-ar putea să nu se traducă în efecte echivalente în lumea reală. METR a afirmat că supraînvățarea, contribuțiile unor factori non-AI sau un nivel de referință istoric neobișnuit de scăzut ar putea face ca estimarea sa să fie prea mare, în timp ce neidentificarea accelerării recente, eliminarea blocajelor umane mai rapidă decât se anticipa sau scorurile la benchmarkuri care subestimează impactul în lumea reală ar putea face ca estimarea să fie prea mică. Scorurile Model 4, de peste 50% la toate cele 15 benchmarkuri folosite pentru acesta, au ridicat o altă îngrijorare: plafonarea ar putea împiedica măsurătorile viitoare.

Acces extins, dar dovezi publice limitate

METR a alocat evaluării, desfășurate pe parcursul a unsprezece săptămâni, în perioada 12 august 2026–29 octombrie 2026, resurse echivalente cu 2,5 posturi cu normă întreagă. A analizat rezultatele benchmarkurilor interne, indicatorii de preantrenare și de învățare prin consolidare, măsurătorile puterii de calcul folosite la antrenare, analizele privind accelerarea datorată AI și documente interne și s-a bazat pe aproximativ 15 interviuri cu angajați-cheie. Echipa nu a beneficiat de un acces similar celui al angajaților, fără intermediere, și nici nu a testat modele nepublice.

Anthropic putea aproba sau respinge solicitările de informații și putea redacta unilateral materialele nepublice. Prin redactări, compania a eliminat din raportul public majoritatea dovezilor pe care METR le considera cele mai relevante, inclusiv detalii despre atribuirea efectelor către AI, estimări ale progresului algoritmic, analize specifice ale blocajelor și previziuni privind modelele viitoare. Anthropic a descris redactările drept o măsură de protejare a informațiilor confidențiale care ar putea accelera activitatea altor dezvoltatori de AI. METR și-a păstrat libertatea de decizie în privința metodologiei și a concluziilor și nu a acceptat nicio plată, deși a lucrat pe dispozitive Anthropic și a folosit tokenuri gratuite.

Evaluarea oferă o examinare externă aprofundată a accelerării cercetării datorate AI, dar nu dezvăluie pe deplin dovezile de la baza concluziilor. Rezultatele publice ale benchmarkurilor și relatările angajaților susțin ipoteza unui progres mai rapid, însă redactările îi împiedică pe cititori să evalueze independent o mare parte din baza concluziilor METR privind atribuirea efectelor și blocajele. Prin urmare, aceste constatări esențiale se bazează în mare măsură pe sinteza făcută de evaluator pe baza unor dovezi pe care cititorii nu le pot examina în întregime.