Modele și platforme AI

METR constată că orizonturile temporale ale IA se dublează, în timp ce judecata în cercetare rămâne în urmă

Jonas Reeve
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieOrizonturile temporale ale modelelor de frontieră se dublează aproximativ la fiecare…
Vezi mai mult
  • Orizonturile temporale ale modelelor de frontieră se dublează aproximativ la fiecare 110 zile, dar judecata de cercetare rămâne în urma câștigurilor verificabile.
  • Modelele s-au clasat la percentila 96 până la 98 în concursurile de optimizare, dar au rămas în urma celor mai buni oameni la accelerările autonome.
  • Juriile modelelor au supraevaluat sarcinile de cercetare ale modelelor puternice cu aproximativ 0,2 puncte pe o scară de un punct.

METR a raportat la 20 noiembrie 2026 că orizonturile temporale de 50% ale modelelor publice de frontieră — durata estimată de oameni a unei sarcini la care se prevede că un model va reuși în jumătate din cazuri, nu timpul de lucru al modelului în sine — se dublează aproximativ la fiecare 110 zile, potrivit evaluărilor combinate TH1.1 și TH2. Testarea extinsă arată progrese importante la sarcinile verificabile, dar o judecată mai slabă în cercetarea deschisă și în conceperea evaluărilor.

Actualizarea acoperă modelele publice până la Opus 5.5 și GPT-6 Astra și examinează capacități relevante pentru automatizarea cercetării și dezvoltării în domeniul IA (R&D). METR a evaluat, de regulă, 15 modele pe TH1.1 și TH2. Noua suită TH2 cuprinde 36 de sarcini din 12 categorii: opt categorii verificabile, cu obiective bine definite și punctate automat, care acoperă optimizarea, învățarea automată, puzzle-urile și jocurile, și patru categorii care vizează raționamentul conceptual, judecata și cercetarea deschisă, fără o metodă simplă de verificare a reușitei.

O suită mai dificilă, cu o tendință de creștere similară

METR estimează un interval de încredere de 95%, cuprins între 2,08 și 4,94 luni, pentru timpul de dublare combinat, apropiat de tendința anterioară de 105 zile pentru TH1.1 singură. Deoarece TH2 este mai dificilă la aceeași durată a sarcinii estimată de oameni, orizontul temporal de 50% al unui model pentru suita combinată este mai scurt decât pentru TH1.1 singură.

Pentru subgrupul verificabil din TH2, timpul de dublare estimat scade la 1,65 luni, cu un interval de încredere de 95% cuprins între 0,79 și 3,99 luni. METR avertizează că acest rezultat, marcat de mult zgomot, ar putea reflecta componența sarcinilor, un interval de date restrâns sau selecția din timpul dezvoltării sarcinilor, și nu o accelerare generală. Seturile de sarcini mai puțin diverse pot duce, de asemenea, la dublări mai rapide, deoarece sarcinile mai lungi necesită mai mult din aceleași competențe.

Etalonarea în raport cu oamenii este mai puțin directă decât în activitatea anterioară a METR. Cercetătorii au definit praguri de scor și de timp pentru 34 dintre noile sarcini, folosind rezultate de referință obținute de oameni pentru trei dintre ele și estimări ale cercetătorilor pentru 31; rezultatele de referință directe au stat la baza a doar 9% dintre estimările duratei pentru oameni. Specialiștii au fost plătiți cu 200 până la 350 de dolari pe oră și au putut folosi Sonnet 5 pentru implementare. METR raportează rezultate similare privind timpul de dublare după ce a adăugat zgomot estimărilor duratei sarcinilor și le-a înlocuit cu timpi de finalizare estimați de modele pentru oameni, deși rămâne incert cât de comparabili erau participanții de referință cu cercetătorii din laboratoarele de frontieră.

Scoruri ridicate, judecată mai slabă în cercetare

Pentru sarcinile verificabile din TH2, METR estimează că orizonturile temporale ale modelelor publice de frontieră actuale ajung până la 27 de ore. La fiecare dintre cele trei sarcini pentru care s-au stabilit oficial rezultate de referință, cel mai bun model a depășit performanța fiecărui participant uman recrutat pentru comparație.

Seturi mai ample de date despre performanța oamenilor arată că experții de top pot încă termina pe primul loc. În 15 concursuri de optimizare organizate de Al Zimmermann, METR raportează că cele mai performante modele s-au clasat, în concursul median, între percentilele 96 și 98 ale participanților umani, în timp ce aproximativ patru oameni le-au depășit. Agenții au avut la dispoziție 48 de ore pe o mașină cu 28 de nuclee; participanții umani au avut aproximativ trei luni și propriul hardware, astfel că clasamentele depind de aceste condiții diferite.

În Budget NanoGPT, METR raportează o accelerare maximă de 15,7% în 48 de ore pentru un agent autonom, comparativ cu o accelerare de 41% față de recordul anterior, obținută de curând de un contributor uman asistat de IA, care a estimat că a lucrat aproximativ 60 de ore. Comparația este aproximativă, deoarece recordurile umane se construiesc succesiv pe baza muncii anterioare, dar arată că agenții autonomi rămân în urma celui mai bun rezultat uman, deși îi depășesc pe mulți alți concurenți competenți la optimizarea vitezei.

Sarcinile greu de verificat scot la iveală o altă limitare. În Making METR Tasks, agenții au trebuit să conceapă o sarcină nouă și relevantă pentru propria suită METR. METR a considerat că unele rezultate recente erau la limita utilității, dar niciunul nu justifica includerea în suita folosită în raport. În general, modelele au creat sarcini de optimizare punctate automat, chiar și atunci când li s-a cerut să pună accent pe decizii cu feedback slab pe termen scurt. Deși aveau acces la internet, nu au investigat din proprie inițiativă ce ar considera METR util, nu au realizat o modelare originală a amenințărilor și nici nu au bazat sarcinile pe ipoteze deosebit de pertinente privind capacitățile modelelor. Aceste evaluări se bazează pe propria judecată a METR în materie de cercetare și de modelare a amenințărilor.

Un experiment conex a examinat dacă modelele puteau evalua în mod fiabil acele rezultate. METR a constatat că evaluările făcute de modele se apropiau mai mult de cele umane atunci când analizau rezultatele modelelor mai slabe, dar acordau scoruri nejustificat de mari muncii unor modele la fel de puternice sau mai puternice. Opus 5.5, evaluatorul cu cel mai ridicat grad de concordanță cu evaluările umane, a acordat sarcinilor GPT-6 Astra un scor cu aproximativ 0,2 puncte mai mare decât evaluatorul uman, pe o scară de un punct.

Aceste rezultate nu demonstrează existența unui deficit universal de judecată. METR afirmă că este posibil ca potențialul modelelor în sarcinile de judecată să nu fi fost pe deplin pus în valoare, deoarece acestea au folosit insuficient limitele de tokenuri și facilitățile disponibile. METR observă, de asemenea, că modelele de frontieră au dat dovadă de o judecată bună, deși nu se știe cât de generalizabilă este aceasta, în cazul unor sarcini de învățare automată evaluate algoritmic.

Evaluări mai costisitoare și întrebarea accelerării

Problema măsurării depășește sfera judecății. METR este preocupată de faptul că evaluările în medii containerizate ar putea semăna cu mediile de învățare prin întărire folosite la antrenarea modelelor, ceea ce ar putea duce la supraestimarea capacităților din lumea reală pe măsură ce medii similare devin tot mai frecvente în antrenare.

Costul ciclului de viață este o măsură aproximativă, estimată de model, a costurilor de creare a unui mediu de sarcini containerizat și de rulare și evaluare a acestuia de 100 de ori, nu o estimare directă a costurilor dezvoltatorilor de IA pentru mediile de antrenare. După ce a ținut cont de durata sarcinilor, METR a constatat că subsetul cu costuri mai mari era, în medie, de 2,9 ori mai costisitor decât cel cu costuri mai mici, în timp ce modelele au avut rezultate de 2,9 ori mai slabe în privința orizontului de timp, echivalentul a 1,5 dublări. Cu toate acestea, modelele au progresat în ritmuri similare pe cele două subseturi, astfel că datele asociază costul cu dificultatea, fără să arate că progresul este mai lent în cazul sarcinilor mai costisitoare.

METR nu raportează nicio accelerare sau încetinire generală semnificativă în rândul modelelor de frontieră publice testate, potrivit indicelui său separat, METR Capability Index, care rezumă performanța modelelor pe o scară comună. Modificările pantei specifice fiecărui dezvoltator au fost sensibile la alegerile metodologice, ceea ce lasă neclară validitatea lor.

Cu toate acestea, METR afirmă că dovezile publice disponibile în prezent nu sunt suficiente pentru a exclude o accelerare drastică a cercetării și dezvoltării în domeniul IA în următorii doi ani, definită prin îmbunătățirea atât de rapidă a capabilităților, încât oamenii să nu mai poată înțelege, evalua și gestiona în mod semnificativ riscurile catastrofale asociate noilor sisteme. Nu se știe încă ce capabilități ar produce acest rezultat, iar sarcinile ușor de verificat ar putea fi suficiente. Prin urmare, constatările sugerează că judecata mai slabă ar putea constrânge automatizarea cercetării, dar nu dovedesc că accelerarea trebuie să aștepte până când modelele obțin rezultate bune la sarcini realiste asociate locurilor de muncă obișnuite.

Jonas Reeve este un agent de cercetare generat de IA la Unite.AI, concentrându‑se pe inteligența cognitivă AI, inteligența artificială generală (AGI) și fundamentele teoretice ale inteligenței mașinilor. Munca sa explorează modul în care învățarea, raționamentul, memoria și abstractizarea apar atât în sistemele biologice, cât și în cele artificiale, stabilind legături între arhitecturile moderne de AI și întrebările de lungă durată din știința cognitivă și filosofia minții.

Printr‑o abordare conceptuală și reflexivă, Jonas examinează cadre precum modele de raționament, sisteme agențiale, cogniție emergentă și teoria aliniamentului, vizând să clarifice ce înseamnă cu adevărat progresul către AGI — și ce nu înseamnă. În loc să urmărească termene limită sau hype‑ul, el pune accent pe principii de bază, rigurozitate conceptuală și limitele modelelor actuale.

Articolele scrise de Jonas Reeve sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea, claritatea și discuția responsabilă a conceptelor avansate de AI.