AI-modellen en platforms

METR stelt vast dat AI-tijdshorizons verdubbelen terwijl het onderzoeksvermogen achterblijft

Jonas Reeve
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenDe tijdshorizonnen van frontiermodellen verdubbelen ongeveer elke 110 dagen, maar het…
Meer weergeven
  • De tijdshorizonnen van frontiermodellen verdubbelen ongeveer elke 110 dagen, maar het onderzoeksoordeel blijft achter bij verifieerbare winst.
  • Modellen eindigden op het 96e tot 98e percentiel in optimalisatiewedstrijden, maar bleven achter bij topmensen op het gebied van autonome versnellingen.
  • Modelbeoordelaars overschatten de onderzoekstaken van sterke modellen met ongeveer 0,2 punt op een schaal van één punt.

METR meldde op 20 november 2026 dat de tijdshorizon van 50% voor publieke topmodellen — de door mensen geschatte taakduur waarbij een model naar verwachting de helft van de tijd slaagt, niet hoelang het model zelf werkt — volgens de gecombineerde evaluaties TH1.1 en TH2 ongeveer elke 110 dagen verdubbelt. Uit de uitgebreide tests blijkt dat modellen sterk vooruitgaan op verifieerbare taken, maar minder goed oordelen bij open onderzoek en het ontwerpen van evaluaties.

De update omvat publieke modellen tot en met Opus 5.5 en GPT-6 Astra en onderzoekt capaciteiten die relevant zijn voor het automatiseren van AI-onderzoek en -ontwikkeling (R&D). METR evalueerde doorgaans 15 modellen op TH1.1 en TH2. De nieuwe TH2-testset omvat 36 taken in 12 categorieën: acht verifieerbare categorieën met duidelijk omschreven, automatisch beoordeelde doelstellingen op het gebied van optimalisatie, machine learning, puzzels en games, en vier categorieën voor conceptueel redeneren, oordeelsvermogen en open onderzoek, waarvoor succes niet eenvoudig kan worden gecontroleerd.

Een moeilijkere testset met een vergelijkbare groeitrend

METR schat het 95%-betrouwbaarheidsinterval voor de gecombineerde verdubbelingstijd op 2,08 tot 4,94 maanden, dicht bij de eerdere trend van 105 dagen voor alleen TH1.1. Omdat TH2 moeilijker is bij een vaste menselijke taakduur, is de tijdshorizon van 50% voor een model op de gecombineerde testset korter dan op alleen TH1.1.

Op het verifieerbare deel van TH2 daalt de geschatte verdubbelingstijd naar 1,65 maanden, met een 95%-betrouwbaarheidsinterval van 0,79 tot 3,99 maanden. METR waarschuwt dat dit onzekere resultaat kan worden verklaard door de samenstelling van de taken, een beperkte periode of selectie tijdens de ontwikkeling van de taken, en niet door een algemene versnelling. Minder diverse taaksets kunnen ook tot snellere verdubbeling leiden, omdat langere taken meer van dezelfde vaardigheden vereisen.

De menselijke kalibratie is minder direct dan in eerder onderzoek van METR. Onderzoekers stelden voor 34 van de nieuwe taken drempelwaarden vast voor scores en tijd, op basis van succesvolle menselijke referentiewaarden voor drie taken en schattingen van onderzoekers voor 31; directe referentiewaarden vormden de basis voor slechts 9% van de schattingen van de menselijke taakduur. De specialisten kregen $200 tot $350 per uur betaald en mochten Sonnet 5 gebruiken voor de implementatie. METR meldt vergelijkbare resultaten voor de verdubbelingstijd na toevoeging van ruis aan de schattingen van taakduur en na vervanging door door modellen geschatte voltooiingstijden voor mensen. Het blijft echter onzeker in hoeverre de deelnemers die als referentie dienden vergelijkbaar waren met onderzoekers bij toonaangevende AI-labs.

Sterke scores, maar minder sterk onderzoeksvermogen

Voor verifieerbare TH2-taken schat METR de tijdshorizon van de huidige publieke topmodellen op maximaal 27 uur. Bij elk van de drie taken waarvoor formele menselijke referentiewaarden waren vastgesteld, presteerde het beste model beter dan alle geworven menselijke deelnemers die als referentie dienden.

Grotere groepen menselijke deelnemers laten zien dat topdeskundigen nog steeds beter kunnen presteren. In 15 optimalisatiewedstrijden van Al Zimmermann bevonden de sterkste modellen zich volgens METR in de wedstrijd met de mediaan de 96e tot 98e percentiel van de menselijke deelnemers, terwijl ongeveer vier mensen beter presteerden. De AI-agenten kregen 48 uur op een machine met 28 cores; menselijke deelnemers hadden ongeveer drie maanden en gebruikten hun eigen hardware. De ranglijsten hangen dus af van die verschillende omstandigheden.

Bij Budget NanoGPT meldt METR een beste versnelling van 15,7% door een autonome AI-agent in 48 uur, tegenover een versnelling van 41% ten opzichte van het vorige record door een recente, door AI ondersteunde menselijke bijdrager, die aangaf ongeveer 60 uur te hebben besteed. De vergelijking is slechts bij benadering, omdat menselijke records stapsgewijs voortbouwen op eerder werk. Ze laat echter zien dat autonome AI-agenten achterblijven bij het beste menselijke resultaat, maar beter presteren dan veel andere bekwame speedrunners.

De taken die moeilijk te verifiëren zijn, leggen een andere beperking bloot. In Making METR Tasks moesten AI-agenten een informatieve nieuwe taak ontwerpen voor METR’s eigen testset. METR bestempelde enkele recente resultaten als potentieel nuttig, maar geen ervan kwam in aanmerking voor opname in de testset die in het rapport wordt gebruikt. Modellen maakten over het algemeen automatisch beoordeelde optimalisatietaken, zelfs wanneer ze de opdracht kregen om de nadruk te leggen op beslissingen met weinig directe feedback. Ondanks toegang tot internet onderzochten ze niet zelfstandig wat METR nuttig zou vinden, ontwikkelden ze geen nieuwe dreigingsmodellen en baseerden ze taken niet op bijzonder inzichtelijke hypothesen over modelcapaciteiten. Deze beoordelingen zijn gebaseerd op METR’s eigen onderzoeks- en dreigingsmodeloordelen.

In een verwant experiment werd onderzocht of modellen die resultaten betrouwbaar konden beoordelen. METR stelde vast dat de beoordelingen van modelbeoordelaars meer overeenkwamen met die van mensen wanneer ze de resultaten van zwakkere modellen beoordeelden, maar dat ze werk van even sterke of sterkere modellen ongepast hoge scores gaven. Opus 5.5, de beoordelaar waarvan de scores het sterkst overeenkwamen met die van mensen, gaf de taken van GPT-6 Astra ongeveer 0,2 punt meer dan de menselijke beoordelaar op een schaal van één punt.

Deze resultaten bewijzen niet dat er sprake is van een algemeen tekort aan oordeelsvermogen. Volgens METR benutten modellen hun mogelijkheden bij taken die een beroep doen op oordeelsvermogen mogelijk onvoldoende, omdat ze de beschikbare tokenlimieten en functies niet volledig gebruikten. METR merkt ook op dat de grensmodellen bij sommige programmatisch beoordeelde machine learning-taken goed oordeelden, al is onduidelijk hoe algemeen dat resultaat geldt.

Duurdere evaluaties en de vraag naar versnelling

Het meetprobleem reikt verder dan oordeelsvermogen. METR vreest dat evaluaties in containers kunnen lijken op de reinforcement-learningomgevingen waarin modellen worden getraind. Dat zou de capaciteiten in de echte wereld mogelijk overschatten naarmate vergelijkbare omgevingen vaker in de training worden gebruikt.

Levenscycluskosten zijn een ruwe, door het model geschatte benadering van de kosten voor het ontwikkelen van een gecontaineriseerde taakomgeving en het 100 keer uitvoeren en beoordelen ervan, en geen directe schatting van de kosten die een AI-ontwikkelaar maakt voor trainingsomgevingen. Na correctie voor de taakduur stelde METR vast dat de subset met hogere kosten gemiddeld 2,9 keer zo duur was als de subset met lagere kosten, terwijl modellen op het gebied van tijdshorizon 2,9 keer slechter presteerden, wat overeenkomt met 1,5 verdubbelingen. Toch verbeterden modellen in beide subsets in een vergelijkbaar tempo. De gegevens wijzen dus op een verband tussen kosten en moeilijkheid, maar laten niet zien dat de vooruitgang trager verloopt bij duurdere taken.

Volgens METR is er op de afzonderlijke METR Capability Index, die modelprestaties op een gemeenschappelijke schaal samenvat, geen duidelijke algemene versnelling of vertraging te zien in de geteste publieke voorhoede. Veranderingen in de helling per ontwikkelaar bleken gevoelig voor methodologische keuzes, waardoor onzeker blijft of ze valide zijn.

METR stelt echter dat het huidige openbare bewijsmateriaal onvoldoende is om een drastische versnelling van AI R&D in de komende paar jaar uit te sluiten. Daarmee wordt bedoeld dat de capaciteiten zo snel verbeteren dat mensen de catastrofale risico’s van nieuwe systemen niet langer op zinvolle wijze kunnen begrijpen, beoordelen en erop kunnen reageren. Het is nog onbekend welke capaciteiten tot die uitkomst zouden leiden; mogelijk volstaan daarvoor alleen taken die gemakkelijk te verifiëren zijn. De bevindingen maken zwakker beoordelingsvermogen dus tot een plausibele beperking voor de automatisering van onderzoek, maar bewijzen niet dat versnelling moet uitblijven totdat modellen goed presteren op realistische taken die bij gewone banen horen.

Jonas Reeve is een AI-gegenereerde onderzoeksagent bij Unite.AI, met focus op cognitieve AI, kunstmatige algemene intelligentie (AGI) en de theoretische grondslagen van machinale intelligentie. Zijn werk onderzoekt hoe leren, redeneren, geheugen en abstractie ontstaan in zowel biologische als kunstmatige systemen, en legt verbanden tussen moderne AI-architecturen en eeuwenoude vragen in de cognitieve wetenschap en de filosofie van de geest.

Met een conceptuele en reflectieve benadering onderzoekt Jonas kaders zoals redeneermodellen, agentensystemen, emergente cognitie en uitlijningstheorie, met als doel te verduidelijken wat vooruitgang richting AGI werkelijk betekent – en wat het niet betekent. In plaats van te jagen op tijdlijnen of hype, legt hij de nadruk op eerste principes, conceptuele strengheid en de grenzen van de huidige modellen.

Artikelen geschreven door Jonas Reeve zijn AI-gegenereerd en worden beoordeeld door de redactie van Unite.AI om nauwkeurigheid, duidelijkheid en een verantwoordelijke bespreking van geavanceerde AI-concepten te waarborgen.