METR vurderer, at Anthropic næsten har fordoblet væksten i modellernes kapacitet

METR offentliggjorde en uafhængig vurdering den 5. november 2026. Her vurderede organisationen, at Anthropic sandsynligvis forbedrer modellernes kapacitet på veldefinerede opgaver med omtrent dobbelt så høj hastighed som tidligere, og at brugen af AI sandsynligvis forklarer størstedelen af den nuværende acceleration. Konklusionerne er behæftet med betydelig usikkerhed, og overstregninger skjuler en stor del af det underbyggende materiale.

Benchmarkresultater viser en stejlere udvikling

Med udgangspunkt i AECI, Anthropics indeks for modellernes benchmarkkapacitet, anslog METR, at benchmarkscores er steget 1,9 gange hurtigere siden oktober 2025, med et konfidensinterval på 95 % fra 1,5 til 2,8 gange. Den hastighed svarer til omtrent to års fremskridt i det tidligere tempo på ét år. Den bredere vurdering sammenligner oktober 2026 med den hastighed, der blev observeret fra marts 2024 til oktober 2025.

Beregningen omfatter modeller, der kun er til intern brug, og daterer hvert øjebliksbillede efter, hvornår de fleste Anthropic-medarbejdere kunne bruge modellen. Det giver et fælles sammenligningsgrundlag for lancerede og ikke-lancerede systemer. METR’s robusthedstests gav accelerationsestimater på mellem 1,1 og 2,9 gange ved alternative modelleringsvalg, hvilket viser, hvor følsomme resultaterne er over for, hvordan benchmarkenes sværhedsgrad og andre analytiske antagelser repræsenteres.

Belæg for AI’s rolle i den øgede hastighed

Belægget overbeviste METR om, at den hurtigere vækst i beregningskraft til træning ikke forårsagede accelerationen, selvom de underbyggende detaljer var overstreget. Ikke-AI-relaterede faktorer spillede sandsynligvis en stor rolle sidst i 2025, men den bedste aktuelle vurdering er, at de ikke forklarer den vedvarende acceleration.

Oplysninger fra medarbejderne pegede i samme retning, men var ikke entydige. Forskerinterviewene viste stor variation omkring en acceleration på cirka det dobbelte. Uformelle rundspørger viste, at medarbejderne i oktober 2026 i gennemsnit selv vurderede, at den mest kapable interne model havde øget deres produktivitet omkring 12 gange. METR advarede om, at det krævede en begrænset indsats at svare, at svarene muligvis ikke var repræsentative for medarbejderne som helhed, og at individuelle produktivitetsgevinster ikke direkte svarer til en vækst i organisationens samlede kapacitet.

Den nuværende effekt skyldes hovedsageligt, at AI hjælper forskere. AI kan endnu ikke yde yderst betydningsfulde, fuldt autonome bidrag til det vigtigste træningsarbejde, men forskerne beskrev tegn på, at sådanne bidrag kan opstå snart, og at udviklingen er nået forskelligt langt på tværs af områder.

Flaskehalse og målinger er fortsat usikre

Der kom ingen overbevisende tegn på, at fremskridt inden for algoritmer, beregningskraft til træning, beregningskraft til eksperimenter eller data ville udgøre væsentlige flaskehalse inden for en periode på 12 måneder. Bedømmernes fortolkning ændrede sig flere gange, efterhånden som nye oplysninger kom til, og derfor var de ikke sikre på denne vurdering. METR vurderede dog, at fraværet af tydelige begrænsninger eller kraftigt aftagende udbytte skaber en betydelig risiko for, at yderligere kapacitetsgevinster kan forstærke hinanden og føre til endnu hurtigere acceleration. Det er en fremadskuende risikovurdering, ikke et observeret resultat.

AECI lægger vægt på veldefinerede opgaver, der er lette at bedømme, så hurtigere fremgang på benchmarks giver ikke nødvendigvis tilsvarende virkninger i den virkelige verden. METR oplyste, at overtilpasning, bidrag fra andre faktorer end AI eller et usædvanligt svagt historisk udgangspunkt kunne få estimatet til at være for højt. Omvendt kunne overset nylig acceleration, hurtigere end forventet fjernelse af menneskelige flaskehalse eller benchmarkscores, der undervurderer virkningen i den virkelige verden, få estimatet til at være for lavt. Model 4’s scores på over 50 % på alle de 15 benchmarks, der blev brugt til den, gav anledning til en særskilt bekymring for, at mætning kunne vanskeliggøre fremtidige målinger.

Omfattende adgang, men begrænset offentligt belæg

METR bemandede den elleve uger lange vurdering med 2,5 årsværk. Arbejdet løb fra den 12. august 2026 til den 29. oktober 2026. Organisationen gennemgik interne benchmarkresultater, målinger af fortræning og forstærkningslæring, målinger af beregningskraft til træning, analyser af AI-drevet hastighedsforøgelse og interne dokumenter. Derudover byggede vurderingen på cirka 15 interview med nøglemedarbejdere. Teamet fik ikke adgang på niveau med en medarbejders eller mulighed for at afprøve ikke-offentlige modeller.

Anthropic kunne godkende eller afvise anmodninger om oplysninger og ensidigt sløre ikke-offentligt materiale. Sløringerne fjernede størstedelen af det belæg, som METR fandt mest informativt, fra den offentlige rapport, herunder detaljeret vurdering af AI’s bidrag, estimater for algoritmiske fremskridt, specifikke analyser af flaskehalse og prognoser for fremtidige modeller. Anthropic beskrev sløringerne som en beskyttelse af fortrolige oplysninger, der kunne sætte andre AI-udviklere i stand til at gøre hurtigere fremskridt. METR beholdt råderetten over metoden og konklusionerne og modtog ingen betaling, selvom organisationen arbejdede på Anthropics enheder og brugte gratis tokens.

Vurderingen giver en omfattende ekstern undersøgelse af AI-drevet acceleration af forskning, men når ikke frem til fuld åbenhed om det underliggende belæg. Offentlige benchmarkresultater og medarbejdernes beretninger understøtter, at fremskridtene går hurtigere, men sløringerne forhindrer læserne i selvstændigt at vurdere en stor del af grundlaget for METR’s konklusioner om AI’s bidrag og flaskehalse. De centrale resultater bygger derfor i høj grad på bedømmernes samlede vurdering af belæg, som læserne ikke kan undersøge fuldt ud.