AI-modeller og plattformer

METR finner at KI-modellenes tidshorisonter dobles, mens forskningsskjønnet henger etter

Jonas Reeve
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterFrontiermodellers tidshorisonter dobles omtrent hver 110. dag, men…
Vis mer
  • Frontiermodellers tidshorisonter dobles omtrent hver 110. dag, men forskningsvurderingen henger etter de verifiserbare gevinstene.
  • Modeller plassert på 96. til 98. persentil i optimaliseringskonkurranser, men lå likevel bak de beste menneskene på autonome speedups.
  • Modellbedømmere overvurderte sterke modellers forskningsoppgaver med omtrent 0,2 poeng på en skala fra null til én.

METR rapporterte 20. november 2026 at de offentlige frontmodellenes 50-prosenttidshorisonter – den menneskelig estimerte varigheten på en oppgave der en modell forventes å lykkes halvparten av gangene, ikke hvor lenge modellen selv arbeider – dobles omtrent hver 110. dag på tvers av de kombinerte evalueringene TH1.1 og TH2. Den utvidede testingen viser sterk framgang på oppgaver med verifiserbare resultater, men svakere skjønn i åpen forskning og utforming av evalueringer.

Oppdateringen omfatter offentlige modeller fram til Opus 5.5 og GPT-6 Astra og undersøker evner som er relevante for automatisering av KI-forskning og -utvikling (FoU). METR evaluerte vanligvis 15 modeller på TH1.1 og TH2. Den nye TH2-testpakken består av 36 oppgaver fordelt på 12 kategorier: åtte kategorier med verifiserbare oppgaver, der målene er tydelig definert og kan skåres automatisk innen optimalisering, maskinlæring, puslespill og spill, og fire kategorier som omfatter begrepsmessig resonnering, skjønn og åpen forskning, uten noen enkel måte å kontrollere om oppgaven er løst.

En vanskeligere testpakke med en lignende veksttrend

METR anslår at 95-prosents konfidensintervallet for den kombinerte doblingstiden er 2,08 til 4,94 måneder, noe som ligger nær den tidligere trenden på 105 dager for TH1.1 alene. Siden TH2 er vanskeligere ved samme menneskelig estimerte oppgavevarighet, er en modells 50-prosenttidshorisont på den kombinerte testpakken kortere enn på TH1.1 alene.

For den verifiserbare delmengden av TH2 synker den estimerte doblingstiden til 1,65 måneder, med et 95-prosents konfidensintervall på 0,79 til 3,99 måneder. METR advarer om at dette usikre resultatet kan skyldes oppgavenes sammensetning, et begrenset datointervall eller utvalg under utviklingen av oppgavene, snarere enn en generell akselerasjon. Mindre varierte oppgavesett kan også gi raskere dobling fordi lengre oppgaver krever mer av de samme ferdighetene.

Kalibreringen mot mennesker er mindre direkte enn i METRs tidligere arbeid. Forskerne fastsatte terskler for skår og tidsbruk for 34 av de nye oppgavene. For tre av dem brukte de vellykkede menneskelige referanseresultater, og for 31 brukte de forskernes anslag; direkte referanseresultater lå til grunn for bare 9 % av anslagene på menneskelig tidsbruk. Spesialistene fikk betalt 200 til 350 dollar i timen og kunne bruke Sonnet 5 til implementeringen. METR rapporterer lignende resultater for doblingstiden etter å ha lagt til støy i anslagene for oppgavenes tidsbruk og byttet dem ut med modellanslag på hvor lang tid mennesker ville bruke på å fullføre oppgavene, men det er fortsatt usikkert hvor sammenlignbare referansedeltakerne var med forskere ved ledende KI-laboratorier.

Sterke resultater, svakere forskningsskjønn

For de verifiserbare TH2-oppgavene anslår METR at de nåværende offentlige frontmodellene har tidshorisonter på opptil 27 timer. På hver av de tre oppgavene med formelle referansemålinger presterte den beste modellen bedre enn alle de rekrutterte menneskelige referansedeltakerne.

Større mengder menneskelige resultater viser at de fremste ekspertene fortsatt kan komme først. På tvers av 15 Al Zimmermann-optimaliseringskonkurranser rapporterer METR at de sterkeste modellene plasserte seg på 96. til 98. persentil blant deltakerne i konkurransen som lå på medianen, mens omtrent fire mennesker slo dem. Agentene hadde 48 timer på en maskin med 28 kjerner, mens de menneskelige deltakerne hadde omtrent tre måneder og brukte sin egen maskinvare. Rangeringene avhenger derfor av disse ulike betingelsene.

I Budget NanoGPT rapporterer METR en beste fartsøkning på 15,7 % for en autonom agent på 48 timer, sammenlignet med en fartsøkning på 41 % fra den forrige rekorden, oppnådd av en nylig KI-assistert menneskelig bidragsyter som anslo at hen hadde brukt omtrent 60 timer. Sammenligningen er omtrentlig fordi menneskelige rekorder bygges opp trinnvis på grunnlag av tidligere arbeid, men den viser at autonome agenter ligger bak det sterkeste menneskelige resultatet, samtidig som de overgår mange andre dyktige rekordjegere.

Oppgavene som er vanskelige å verifisere, avdekker en annen begrensning. I Making METR Tasks måtte agentene utforme en informativ ny oppgave til METRs egen testpakke. METR klassifiserte noen nyere resultater som så vidt nyttige, men ingen var gode nok til å tas med i testpakken som ble brukt i rapporten. Modellene laget som regel optimaliseringsoppgaver med automatisk skåring, selv når de ble bedt om å legge vekt på beslutninger med lite tilbakemelding på kort sikt. Til tross for tilgang til internett undersøkte de ikke på egen hånd hva METR ville finne nyttig, utarbeidet ingen nyskapende trusselmodellering og baserte ikke oppgavene på særlig innsiktsfulle hypoteser om modellenes evner. Vurderingene bygger på METRs egne vurderinger av forskning og trusselmodellering.

Et beslektet eksperiment undersøkte om modeller kunne skåre disse resultatene pålitelig. METR fant at modellbaserte dommere i større grad var enige med menneskelige vurderinger når de bedømte resultatene til svakere modeller, men ga upassende høye skårer til arbeid fra modeller som var like sterke eller sterkere. Opus 5.5, dommeren som samsvarte best med menneskelige vurderinger, ga GPT-6 Astra-oppgavene omtrent 0,2 poeng høyere skår enn den menneskelige bedømmeren på en skala fra én til ett.

Disse resultatene fastslår ikke at det finnes en universell mangel på skjønn. METR sier at modellene kanskje ikke får vist evnene sine godt nok i oppgaver som krever skjønn, fordi de ikke utnyttet tokenbegrensningene og de tilgjengelige funksjonene fullt ut. METR påpeker også at frontmodellene viste godt skjønn, om enn med usikker overførbarhet, i enkelte maskinlæringsoppgaver som ble skåret programmatisk.

Dyrere evalueringer og spørsmålet om akselerasjon

Måleproblemet gjelder mer enn bare skjønn. METR er bekymret for at evalueringer i containere kan ligne på forsterkningslæringsmiljøene som brukes til å trene modeller, slik at modellenes evner i den virkelige verden kan overvurderes etter hvert som lignende miljøer blir vanligere i treningen.

Livsløpskostnad er et grovt, modellberegnet mål på kostnaden ved å utvikle et containerisert oppgavemiljø og kjøre og evaluere det 100 ganger, ikke et direkte anslag på hva det koster en KI-utvikler å lage treningsmiljøer. Når METR tok hensyn til oppgavenes lengde, fant organisasjonen at delmengden med høyere kostnader i gjennomsnitt var 2,9 ganger så kostbar som delmengden med lavere kostnader, samtidig som modellene presterte 2,9 ganger dårligere målt etter tidshorisont, tilsvarende 1,5 doblingstrinn. Modellene ble likevel bedre i omtrent samme tempo i de to delmengdene. Dataene knytter dermed kostnad til vanskelighetsgrad, men viser ikke at framgangen går saktere på dyrere oppgaver.

METR rapporterer ingen tydelig samlet akselerasjon eller nedgang blant de offentlig tilgjengelige frontmodellene som ble testet, målt med den separate METR Capability Index, som sammenfatter modellytelser på en felles skala. Endringer i utviklingstakten for enkeltutviklere var følsomme for metodiske valg, og derfor er det usikkert om de er gyldige.

METR sier likevel at dagens offentlig tilgjengelige dokumentasjon ikke er tilstrekkelig til å utelukke en drastisk akselerasjon i KI-forskning og -utvikling i løpet av de neste par årene. Dette defineres som at evnene forbedres så raskt at mennesker ikke lenger på meningsfullt vis kan forstå, vurdere og reagere på katastrofale risikoer knyttet til nye systemer. Det er fortsatt ukjent hvilke evner som ville føre til et slikt utfall, og oppgaver som er enkle å verifisere, kan alene være tilstrekkelige. Funnene gjør derfor svakere vurderingsevne til en mulig begrensning for automatisering av forskning, men beviser ikke at akselerasjonen må vente til modeller presterer godt på realistiske oppgaver knyttet til vanlige arbeidsoppgaver.

Jonas Reeve er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, med fokus på kognitiv AI, kunstig generell intelligens (AGI) og de teoretiske grunnlagene for maskinintelligens. Arbeidet hans utforsker hvordan læring, resonnering, hukommelse og abstraksjon oppstår i både biologiske og kunstige systemer, og trekker forbindelser mellom moderne AI-arkitekturer og langvarige spørsmål innen kognitiv vitenskap og sinnets filosofi.

Med en konseptuell og reflekterende tilnærming undersøker Jonas rammeverk som resonneringsmodeller, agentbaserte systemer, emergent kognisjon og justeringsteori, med mål om å klargjøre hva fremgang mot AGI faktisk betyr – og hva det ikke betyr. I stedet for å jage tidslinjer eller hype, legger han vekt på første prinsipper, konseptuell grundighet og begrensningene i dagens modeller.

Artikler skrevet av Jonas Reeve er AI-genererte og gjennomgås av Unite.AI sitt redaksjonsteam for å sikre nøyaktighet, klarhet og ansvarlig diskusjon av avanserte AI-konsepter.