METR anslår at veksten i Anthropics modeleevne nesten er doblet

METR publiserte en uavhengig vurdering 5. november 2026. Vurderingen konkluderte med at Anthropic sannsynligvis forbedrer modellenes evner på klart definerte oppgaver omtrent dobbelt så raskt som før, og at bruk av KI sannsynligvis forklarer mesteparten av den nåværende akselerasjonen. Konklusjonene er beheftet med betydelig usikkerhet, og sladding skjuler mye av dokumentasjonen de bygger på.

Referansetestene viser en brattere utvikling

Ved hjelp av AECI, Anthropics indeks for modellkapasitet basert på referansetester, anslo METR at resultatene på referansetestene har økt 1,9 ganger raskere siden oktober 2025, med et 95-prosents konfidensintervall på 1,5–2,8 ganger. Denne vekstraten tilsvarer omtrent to års framgang i løpet av ett år, dersom den tidligere takten hadde fortsatt. Den overordnede vurderingen sammenligner oktober 2026 med utviklingen fra mars 2024 til oktober 2025.

Beregningen omfatter modeller som bare brukes internt, og tidfester hvert modelløyeblikksbilde etter når de fleste Anthropic-ansatte kunne bruke modellen. Dermed får lanserte og ikke-lanserte systemer et felles sammenligningsgrunnlag. METRs robusthetstester ga anslag for akselerasjonen fra 1,1 til 2,9 ganger, avhengig av hvilke alternative modelleringsvalg som ble brukt. Det viser hvor følsomt anslaget er for hvordan vanskelighetsgraden på referansetestene og andre analytiske forutsetninger framstilles.

Dokumentasjon på KIs rolle i oppsvinget

Dokumentasjonen overbeviste METR om at den raskere veksten i treningsberegninger ikke var årsaken til akselerasjonen, selv om detaljene som støttet denne konklusjonen, var sladdet. Faktorer utenom KI spilte sannsynligvis en stor rolle sent i 2025, men den beste vurderingen nå er at de ikke forklarer den vedvarende økningen i takten.

Dokumentasjon fra de ansatte pekte i samme retning, men varierte en del. Forskerintervjuene ga svært ulike anslag på en akselerasjon på omtrent det dobbelte. Uformelle spørreundersøkelser viste at de ansatte i gjennomsnitt rapporterte et produktivitetsløft på rundt 12 ganger ved bruk av den mest kapable interne modellen i oktober 2026. METR påpekte at det krevde liten innsats å svare, at svarene kanskje ikke var representative for de ansatte som helhet, og at individuelle produktivitetsgevinster ikke er det samme som økt kapasitet i hele organisasjonen.

Den nåværende effekten skyldes hovedsakelig at KI hjelper forskere. KI kan ennå ikke gi svært betydelige, fullt autonome bidrag til det viktigste treningsarbeidet, selv om forskerne beskrev tegn på at slike bidrag kan bli en realitet snart. Hvor modne disse bidragene er, varierer mellom ulike områder.

Flaskehalser og målinger er fortsatt usikre

Det kom ikke fram overbevisende dokumentasjon på at algoritmeutvikling, beregningskapasitet til trening, beregningskapasitet til eksperimenter eller data ville føre til betydelige flaskehalser i løpet av en 12-månedersperiode. Vurderernes tolkning endret seg flere ganger etter hvert som ny informasjon kom til, og de var derfor ikke sikre på denne vurderingen. METR mente likevel at fraværet av tydelige begrensninger eller kraftig avtakende utbytte innebærer en betydelig risiko for at ytterligere kapasitetsøkninger kan hope seg opp og føre til enda raskere akselerasjon. Dette er en framoverskuende risikovurdering, ikke et observert resultat.

AECI legger vekt på klart definerte oppgaver som er enkle å evaluere. Derfor er det ikke sikkert at raskere framgang på referansetestene gir tilsvarende utslag i den virkelige verden. METR sa at overtilpasning, bidrag fra andre faktorer enn KI eller et uvanlig svakt historisk utgangspunkt kan føre til at anslaget blir for høyt. På den annen side kan anslaget bli for lavt hvis den nylige akselerasjonen ikke fanges opp, menneskelige flaskehalser fjernes raskere enn ventet, eller resultatene på referansetestene undervurderer effekten i den virkelige verden. Model 4 oppnådde over 50 % på alle de 15 referansetestene som ble brukt for modellen. Dette ga grunn til ytterligere bekymring for at metning kan gjøre framtidige målinger vanskeligere.

Omfattende tilgang, men begrenset offentlig dokumentasjon

METR satte av 2,5 årsverk til vurderingen, som varte i elleve uker fra 12. august 2026 til 29. oktober 2026. Teamet gjennomgikk interne resultater fra referansetester, måltall for forhåndstrening og forsterkende læring, målinger av beregningskapasitet til trening, analyser av KIs effekt på arbeidstempoet og interne dokumenter. Det bygget også på rundt 15 intervjuer med sentrale ansatte. Teamet fikk ikke direkte tilgang på linje med de ansatte og undersøkte ikke et utvalg av ikke-offentlige modeller.

Anthropic kunne godkjenne eller avslå forespørsler om informasjon og ensidig sladde materiale som ikke var offentlig. Sladding fjernet størstedelen av dokumentasjonen METR vurderte som mest informativ, fra den offentlige rapporten. Dette omfattet detaljerte vurderinger av KIs bidrag, anslag for algoritmeutvikling, spesifikke analyser av flaskehalser og prognoser for framtidige modeller. Anthropic beskrev sladdingen som et tiltak for å beskytte konfidensiell informasjon som kunne hjelpe andre KI-utviklere med å gjøre raskere framskritt. METR beholdt kontrollen over metodikken og konklusjonene og mottok ingen betaling, men arbeidet på Anthropics enheter og brukte gratis tokener.

Vurderingen gir en omfattende ekstern gjennomgang av hvordan KI bidrar til å akselerere forskning, men gir ikke full åpenhet om dokumentasjonen den bygger på. Offentlige resultater fra referansetester og beretninger fra ansatte støtter konklusjonen om raskere framgang, men sladdingen hindrer leserne i selvstendig å vurdere mye av grunnlaget for METRs konklusjoner om KIs bidrag og flaskehalser. Disse sentrale funnene bygger derfor i stor grad på METRs sammenstilling av dokumentasjon som leserne ikke kan undersøke fullt ut.