METR uppskattar att Anthropic nästan har fördubblat takten i modellernas förmågeutveckling

METR publicerade en oberoende bedömning den 5 november 2026. Bedömningen var att Anthropic sannolikt förbättrar modellernas förmåga på tydligt definierade uppgifter ungefär dubbelt så snabbt som tidigare och att användningen av AI sannolikt förklarar merparten av den nuvarande accelerationen. Slutsatserna är behäftade med betydande osäkerhet, och maskeringar döljer en stor del av underlaget.

Riktmärkesdata visar en brantare utveckling

Med hjälp av AECI, Anthropics index för modellförmåga baserat på riktmärken, uppskattade METR att resultaten på riktmärken har ökat 1,9 gånger snabbare sedan oktober 2025, med ett konfidensintervall på 95 procent från 1,5 till 2,8 gånger. Den takten motsvarar ungefär två års framsteg i den tidigare takten på ett enda år. Den övergripande bedömningen jämför oktober 2026 med den takt som observerades från mars 2024 till oktober 2025.

Beräkningen omfattar modeller som endast används internt och daterar varje ögonblicksbild utifrån när de flesta Anthropic-anställda kunde använda modellen. Därmed får lanserade och ännu inte lanserade system en gemensam jämförelsegrund. METR:s robusthetskontroller gav uppskattningar av accelerationen på mellan 1,1 och 2,9 gånger vid alternativa modellval, vilket visar hur känslig beräkningen är för hur riktmärkenas svårighetsgrad och andra analytiska antaganden representeras.

Belägg för AI:s roll i den snabbare utvecklingen

Beläggen övertygade METR om att den snabbare ökningen av beräkningskapaciteten för träning inte orsakade accelerationen, även om detaljerna bakom slutsatsen maskades. Faktorer som inte hade med AI att göra spelade sannolikt en stor roll i slutet av 2025, men den bästa aktuella uppskattningen är att de inte förklarar den ihållande accelerationen.

Uppgifter från personalen pekade i samma riktning, men bilden var ojämn. Forskarintervjuerna varierade kraftigt kring en ungefärlig fördubbling av takten. Informella enkäter visade att personalen i oktober 2026 i genomsnitt självrapporterade en ungefär 12-faldig produktivitetsökning med den mest kapabla interna modellen. METR påpekade att det krävdes liten ansträngning för att svara, att svaren kanske inte var representativa för personalen som helhet och att enskilda produktivitetsökningar inte direkt motsvarar en ökad förmåga hos organisationen som helhet.

Den nuvarande effekten beror främst på att AI hjälper forskare. AI kan ännu inte bidra i hög grad och helt självständigt till det viktigaste arbetet med modellträning, även om forskare beskrev tecken på att sådana bidrag kan bli möjliga snart. Mognadsgraden varierar mellan olika områden.

Flaskhalsar och mätningar är fortfarande osäkra

Det framkom inga övertygande belägg för att framsteg inom algoritmer, beräkningskapacitet för träning, beräkningskapacitet för experiment eller data skulle utgöra betydande flaskhalsar under en tolvmånadersperiod. Granskarnas tolkning ändrades flera gånger i takt med att ny information kom fram, vilket gjorde att de inte kände sig säkra på den bedömningen. METR ansåg ändå att avsaknaden av tydliga begränsningar eller kraftigt avtagande avkastning innebär en betydande risk för att ytterligare förmågeökningar kan ackumuleras och leda till en ännu snabbare acceleration. Det är en framåtblickande riskbedömning, inte ett observerat resultat.

AECI fokuserar på tydligt definierade uppgifter som är lätta att bedöma, så snabbare förbättringar på riktmärken behöver inte leda till motsvarande effekter i verkligheten. METR uppgav att överanpassning, bidrag från annat än AI eller en ovanligt svag historisk baslinje kan innebära att uppskattningen är för hög. Den kan i stället vara för låg om den senaste accelerationen har underskattats, om mänskliga flaskhalsar undanröjs snabbare än väntat eller om resultaten på riktmärken underskattar effekterna i verkligheten. Att Model 4 fick över 50 procent på samtliga 15 riktmärken som användes för att utvärdera den väckte dessutom en separat farhåga: att mättnad kan försvåra framtida mätningar.

Omfattande tillgång, men begränsat offentligt underlag

METR bemannade den elva veckor långa bedömningen med 2,5 heltidstjänster. Arbetet pågick från den 12 augusti 2026 till den 29 oktober 2026. METR granskade interna riktmärkesresultat, mätvärden för förträning och förstärkningsinlärning, mätningar av beräkningskapacitet för träning, analyser av AI-relaterade hastighetsökningar och interna dokument. Teamet genomförde också ungefär 15 intervjuer med nyckelpersoner. Teamet fick inte oförmedlad åtkomst på samma villkor som anställda och fick inte utvärdera modeller som inte var offentliga.

Anthropic kunde godkänna eller avslå informationsförfrågningar och ensidigt maskera material som inte var offentligt. Maskeringarna tog bort merparten av det underlag som METR ansåg vara mest upplysande från den offentliga rapporten. Det omfattade detaljerade bedömningar av AI:s bidrag, uppskattningar av algoritmiska framsteg, specifika analyser av flaskhalsar och prognoser för framtida modeller. Anthropic beskrev maskeringarna som ett sätt att skydda konfidentiell information som skulle kunna påskynda utvecklingen hos andra AI-företag. METR behöll bestämmanderätten över metod och slutsatser och tog inte emot någon betalning, men arbetade på Anthropics enheter och använde kostnadsfria token.

Bedömningen ger en omfattande extern granskning av hur AI driver på forskningens utveckling, men den ger inte full insyn i det underliggande underlaget. Offentliga resultat på riktmärken och uppgifter från anställda stöder bilden av snabbare framsteg, men maskeringarna gör att läsarna inte självständigt kan bedöma en stor del av underlaget för METR:s slutsatser om AI:s bidrag och flaskhalsar. Dessa centrala slutsatser bygger därför i hög grad på utvärderarnas sammanvägning av belägg som läsarna inte kan granska fullt ut.