METR schat dat de capaciteitsgroei van Anthropic-modellen bijna is verdubbeld

METR publiceerde een onafhankelijke beoordeling op 5 november 2026. Daarin concludeerde het dat Anthropic de capaciteiten van modellen voor goed afgebakende taken waarschijnlijk ongeveer twee keer zo snel verbetert als voorheen, en dat het gebruik van AI waarschijnlijk het grootste deel van de huidige versnelling verklaart. Aan de conclusies kleeft aanzienlijke onzekerheid en door weglakkingen blijft veel van het ondersteunende bewijs verborgen.

Benchmarkgegevens wijzen op een steilere trend

Op basis van AECI, de benchmark-capaciteitsindex van Anthropic, schatte METR dat benchmarkscores sinds oktober 2025 1,9 keer zo snel zijn gestegen, met een betrouwbaarheidsinterval van 95% van 1,5–2,8 keer. Dat tempo komt neer op ongeveer twee jaar vooruitgang in het oude tempo binnen één jaar. De bredere beoordeling vergelijkt oktober 2026 met het tempo dat werd waargenomen van maart 2024 tot en met oktober 2025.

De berekening omvat modellen die uitsluitend intern beschikbaar waren. Elk meetmoment wordt gedateerd op het moment waarop de meeste medewerkers van Anthropic het model konden gebruiken, zodat vrijgegeven en niet-vrijgegeven systemen op dezelfde basis worden vergeleken. Uit de robuustheidscontroles van METR kwamen versnellingsschattingen van 1,1 tot 2,9 keer naar voren, afhankelijk van de gekozen alternatieve modelleringsmethoden. Dit laat zien hoe gevoelig de schatting is voor de manier waarop de benchmarkmoeilijkheid en andere analytische aannames worden weergegeven.

Bewijs voor de rol van AI bij de versnelling

Het bewijs overtuigde METR ervan dat de snellere groei van de rekenkracht voor training de versnelling niet heeft veroorzaakt, hoewel de onderbouwing daarvoor werd weggelakt. Niet-AI-factoren speelden waarschijnlijk eind 2025 een grote rol, maar de huidige beste inschatting is dat ze de aanhoudende versnelling niet verklaren.

Gegevens van medewerkers wezen in dezelfde richting, maar waren niet eenduidig. De inschattingen van onderzoekers tijdens interviews liepen sterk uiteen, rond een versnelling van ongeveer twee keer. Uit informele peilingen kwam in oktober 2026 een gemiddelde zelfgerapporteerde productiviteitswinst van ongeveer 12 keer naar voren dankzij het krachtigste interne model. METR waarschuwde dat de respondenten weinig moeite hoefden te doen om te antwoorden, mogelijk geen goede afspiegeling waren van het personeel als geheel en dat individuele productiviteitswinst niet rechtstreeks gelijkstaat aan groei van de capaciteiten van de organisatie.

Het huidige effect komt voornamelijk doordat AI onderzoekers ondersteunt. AI kan nog geen zeer betekenisvolle, volledig autonome bijdragen leveren aan het belangrijkste trainingswerk, al beschreven onderzoekers aanwijzingen dat zulke bijdragen binnenkort mogelijk kunnen ontstaan. Hoe ver dat is, verschilt per vakgebied.

Knelpunten en metingen blijven onzeker

Er kwam geen overtuigend bewijs naar voren dat algoritmische vooruitgang, rekenkracht voor training, rekenkracht voor experimenten of data binnen een periode van 12 maanden tot aanzienlijke knelpunten zouden leiden. De reviewers stelden hun interpretatie meerdere keren bij toen er nieuwe informatie binnenkwam en hadden daardoor weinig vertrouwen in die beoordeling. Toch oordeelde METR dat het ontbreken van duidelijke beperkingen of sterk afnemende meeropbrengsten een aanzienlijk risico inhoudt: verdere capaciteitswinst zou zich kunnen opstapelen en tot een nog snellere versnelling kunnen leiden. Dit is een toekomstgerichte risico-inschatting, geen waargenomen resultaat.

AECI richt zich op goed afgebakende taken die eenvoudig te beoordelen zijn. Snellere vooruitgang op benchmarks hoeft daarom niet tot vergelijkbare effecten in de praktijk te leiden. Volgens METR kan de schatting te hoog uitvallen door overfitting, factoren die niet met AI te maken hebben of een uitzonderlijk zwakke historische uitgangswaarde. De schatting kan juist te laag uitvallen als recente versnelling is gemist, menselijke knelpunten sneller dan verwacht verdwijnen of benchmarkscores de impact in de praktijk onderschatten. De scores van Model 4, die op alle 15 daarvoor gebruikte benchmarks boven 50% lagen, vormden een afzonderlijke reden tot zorg: verzadiging kan toekomstige metingen belemmeren.

Uitgebreide toegang, maar beperkt openbaar bewijs

METR zette voor de beoordeling van elf weken, van 12 augustus 2026 tot en met 29 oktober 2026, 2,5 fte in. Het onderzocht interne benchmarkresultaten, maatstaven voor pretraining en reinforcement learning, metingen van de rekenkracht voor training, analyses van AI-versnelling en interne documenten. Ook baseerde het zich op ongeveer 15 interviews met belangrijke medewerkers. Het team kreeg geen ongefilterde toegang vergelijkbaar met die van werknemers en onderzocht geen niet-openbare modellen.

Anthropic kon informatieverzoeken goedkeuren of afwijzen en niet-openbaar materiaal naar eigen inzicht weglakken. Daardoor werd het merendeel van het bewijs dat METR het meest informatief vond, uit het openbare rapport weggelaten. Het ging onder meer om gedetailleerde analyses van de bijdrage van AI, schattingen van algoritmische vooruitgang, specifieke analyses van knelpunten en voorspellingen voor toekomstige modellen. Anthropic omschreef de weglakkingen als bescherming van vertrouwelijke informatie die de vooruitgang van andere AI-ontwikkelaars zou kunnen versnellen. METR behield de zeggenschap over de methodologie en conclusies en ontving geen betaling, hoewel het werkte op apparaten van Anthropic en gratis tokens gebruikte.

De beoordeling biedt een uitgebreid extern onderzoek naar de versnelling van onderzoek door AI, maar geeft geen volledige openheid over het onderliggende bewijs. Openbare benchmarkresultaten en verklaringen van medewerkers wijzen op snellere vooruitgang, maar door de weglakkingen kunnen lezers een groot deel van de onderbouwing voor METR’s conclusies over de rol van AI en knelpunten niet zelfstandig beoordelen. Die centrale bevindingen steunen daarom in hoge mate op de synthese door de beoordelaar van bewijs dat lezers niet volledig kunnen inzien.