AI-modeller och plattformar

METR konstaterar att AI-modellernas tidshorisonter fördubblas medan forskningsomdömet släpar efter

Jonas Reeve
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterFrontiermodellers tidshorisonter fördubblas ungefär var 110:e dag, men…
Visa mer
  • Frontiermodellers tidshorisonter fördubblas ungefär var 110:e dag, men forskningsbedömningen släpar efter de verifierbara vinsterna.
  • Modeller placerade sig på 96:e till 98:e percentilen i optimeringstävlingar men låg ändå efter de bästa människorna när det gällde autonoma snabbuppgifter.
  • Modellbedömare överskattade starka modellers forskningsuppgifter med cirka 0,2 poäng på en enpoängsskala.

METR rapporterade den 20 november 2026 att de offentliga frontmodellernas tidshorisonter vid 50 procents framgång – den uppskattade varaktigheten för en uppgift som en modell förväntas klara hälften av gångerna, inte hur länge modellen själv arbetar – fördubblas ungefär var 110:e dag i de samlade utvärderingarna TH1.1 och TH2. De utökade testerna visar stora framsteg inom verifierbara uppgifter, men svagare omdöme när det gäller öppen forskning och utformning av utvärderingar.

Uppdateringen omfattar offentliga modeller upp till Opus 5.5 och GPT-6 Astra och undersöker förmågor som är relevanta för att automatisera AI-forskning och -utveckling (FoU). METR utvärderade vanligtvis 15 modeller med TH1.1 och TH2. Den nya TH2-sviten innehåller 36 uppgifter i 12 kategorier: åtta verifierbara kategorier med tydligt definierade mål som poängsätts automatiskt, inom optimering, maskininlärning, pussel och spel, samt fyra kategorier som omfattar begreppsligt resonemang, omdöme och öppen forskning där det saknas ett enkelt sätt att kontrollera om uppgiften lyckats.

Svårare testsvit med liknande tillväxttrend

METR uppskattar att det kombinerade fördubblingstalet ligger inom ett 95-procentigt konfidensintervall på 2,08 till 4,94 månader, nära den tidigare trenden på 105 dagar för enbart TH1.1. Eftersom TH2 är svårare vid en given mänskligt uppskattad uppgiftslängd är modellernas tidshorisont vid 50 procents framgång kortare i den kombinerade sviten än med enbart TH1.1.

För den verifierbara delmängden av TH2 sjunker det uppskattade fördubblingstalet till 1,65 månader, med ett 95-procentigt konfidensintervall på 0,79 till 3,99 månader. METR varnar för att detta osäkra resultat kan bero på uppgifternas sammansättning, ett begränsat datumintervall eller urvalet under uppgiftsutvecklingen, snarare än på en bredare acceleration. Mindre varierade uppgiftsuppsättningar kan också ge snabbare fördubbling, eftersom längre uppgifter kräver mer av samma färdigheter.

Den mänskliga kalibreringen är mindre direkt än i METR:s tidigare arbete. Forskarna fastställde tröskelvärden för poäng och tidsåtgång för 34 av de nya uppgifterna. För tre använde de framgångsrika resultat från människor som baslinje och för 31 forskarnas uppskattningar; direkta baslinjer låg till grund för endast 9 % av uppskattningarna av hur lång tid människor skulle behöva. Specialisterna fick 200 till 350 dollar i timmen och kunde använda Sonnet 5 för implementeringen. METR rapporterar liknande resultat för fördubblingstiden efter att ha lagt till osäkerhet i uppskattningarna av uppgiftstider och ersatt dem med modellberäknade uppskattningar av hur lång tid människor skulle behöva för att slutföra uppgifterna, men det är fortfarande oklart hur jämförbara de personer som utförde baslinjetesterna var med forskare vid frontlaboratorier.

Starka resultat, svagare forskningsomdöme

För verifierbara TH2-uppgifter uppskattar METR att de offentliga frontmodellernas nuvarande tidshorisonter är upp till 27 timmar. På var och en av de tre uppgifter där baslinjer fastställdes formellt presterade den bästa modellen bättre än alla rekryterade personer som deltog i baslinjetesterna.

Större mängder mänskliga resultat visar att de främsta experterna fortfarande kan prestera bättre. I 15 optimeringstävlingar av Al Zimmermann rapporterar METR att de starkaste modellerna i median kom på en placering mellan den 96:e och 98:e percentilen bland de mänskliga deltagarna, medan ungefär fyra människor slog dem. Agenterna hade 48 timmar på en maskin med 28 kärnor; de mänskliga deltagarna hade ungefär tre månader och egen maskinvara, så placeringarna beror på dessa olika förutsättningar.

I Budget NanoGPT rapporterar METR att den bästa autonoma agenten uppnådde en hastighetsökning på 15,7 % på 48 timmar, jämfört med en hastighetsökning på 41 % utöver det tidigare rekordet som nyligen sattes av en mänsklig bidragsgivare med AI-stöd, vilken uppskattade att hen lagt ner ungefär 60 timmar. Jämförelsen är ungefärlig eftersom mänskliga rekord byggs upp stegvis med utgångspunkt i tidigare arbete, men den visar att autonoma agenter ligger efter det starkaste mänskliga resultatet samtidigt som de presterar bättre än många andra skickliga deltagare som försöker slå rekord.

De uppgifter som är svåra att verifiera visar en annan begränsning. I Making METR Tasks skulle agenter utforma en informativ ny uppgift för METR:s egen testsvit. METR bedömde att vissa nya resultat var på gränsen till användbara, men inget av dem motiverade att tas med i den svit som används i rapporten. Modellerna skapade i allmänhet optimeringsuppgifter med automatisk poängsättning, även när de fick instruktioner om att lägga tonvikten på beslut med svag återkoppling på kort sikt. Trots tillgång till internet undersökte de inte på eget initiativ vad METR skulle finna användbart, tog inte fram någon ny hotmodellering och baserade inte uppgifterna på särskilt insiktsfulla hypoteser om modellernas förmågor. Bedömningarna bygger på METR:s egna forsknings- och hotmodelleringsbedömningar.

Ett relaterat experiment undersökte om modellerna kunde poängsätta dessa resultat på ett tillförlitligt sätt. METR fann att modellbedömare i högre grad överensstämde med mänskliga bedömningar när de utvärderade resultat från svagare modeller, men gav olämpligt höga poäng till arbete från modeller som var lika starka eller starkare. Opus 5.5, den bedömare som bäst överensstämde med människorna, gav GPT-6 Astras uppgifter ungefär 0,2 poäng högre än den mänskliga bedömaren på en skala med ett poängs spann.

Resultaten visar inte att det finns en generell brist på omdöme. METR menar att modellerna kan ha fått för lite möjlighet att visa sitt omdöme i uppgifterna, eftersom de utnyttjade varken tokenbegränsningarna eller de tillgängliga verktygen fullt ut. METR noterar också att frontmodeller uppvisade gott omdöme, vars allmängiltighet är oklar, i vissa maskininlärningsuppgifter som poängsattes programmatiskt.

Dyrare utvärderingar och frågan om acceleration

Mätproblemet handlar om mer än omdöme. METR oroar sig för att utvärderingar i containeriserade miljöer kan likna de förstärkningsinlärningsmiljöer som används för att träna modellerna. När liknande miljöer blir vanliga i träningen kan det leda till att modellernas förmågor i verkliga situationer överskattas.

Livscykelkostnad är ett grovt mått baserat på modellskattningar, avsett att uppskatta kostnaden för att utveckla en containerbaserad uppgiftsmiljö och köra och poängsätta den 100 gånger. Det är inte en direkt uppskattning av AI-utvecklares kostnader för träningsmiljöer. När METR justerade för uppgifternas längd fann organisationen att delmängden med högre kostnader i genomsnitt var 2,9 gånger så dyr som delmängden med lägre kostnader, samtidigt som modellerna presterade 2,9 gånger sämre mätt i tidshorisont, motsvarande 1,5 fördubblingar. Modellerna förbättrades ändå i ungefär samma takt i de båda delmängderna. Data förknippar alltså kostnader med svårighetsgrad, men visar inte att utvecklingen går långsammare för uppgifter med högre kostnader.

METR rapporterar ingen tydlig övergripande acceleration eller inbromsning bland de testade offentligt tillgängliga modellerna i sitt separata METR Capability Index, som sammanfattar modellernas resultat på en gemensam skala. Förändringar i utvecklingstakten för enskilda utvecklare var känsliga för metodval, vilket gör det osäkert om de är giltiga.

METR säger ändå att de offentliga belägg som finns i dag inte räcker för att utesluta en dramatisk acceleration av AI-forskning och -utveckling under de närmaste åren. Med detta avses att kapaciteten förbättras så snabbt att människor inte längre på ett meningsfullt sätt kan förstå, bedöma och reagera på katastrofala risker från nya system. Det är fortfarande okänt vilka förmågor som skulle leda till ett sådant utfall, och det kan räcka med uppgifter som är lätta att verifiera. Resultaten gör därför svagare omdömesförmåga till en tänkbar begränsning för automatisering av forskning, men bevisar inte att accelerationen måste vänta tills modeller presterar väl på realistiska uppgifter som hör till vanliga yrken.

Jonas Reeve är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, med fokus på kognitiv AI, artificiell generell intelligens (AGI) och de teoretiska grunderna för maskinintelligens. Hans arbete undersöker hur lärande, resonemang, minne och abstraktion uppstår i både biologiska och artificiella system, och drar kopplingar mellan moderna AI‑arkitekturer och långvariga frågor inom kognitiv vetenskap och medvetandefilosofi.

Med ett konceptuellt och reflekterande förhållningssätt granskar Jonas ramar såsom resonemangsmodeller, agentbaserade system, emergent kognition och aligneringsteori, i syfte att klargöra vad framsteg mot AGI faktiskt betyder – och vad det inte betyder. Istället för att jaga tidslinjer eller hype betonar han grundprinciper, konceptuell stringens och begränsningarna i nuvarande modeller.

Artiklar skrivna av Jonas Reeve är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa noggrannhet, tydlighet och ett ansvarsfullt samtal om avancerade AI‑koncept.