AI-mallit ja alustat
METR: tekoälyn aikahorisontit kaksinkertaistuvat, mutta tutkimuksellinen harkintakyky laahaa

Keskeiset kohdatHuippumallien aikahorisontit kaksinkertaistuvat noin 110 päivän välein, mutta…
Näytä lisää
- Huippumallien aikahorisontit kaksinkertaistuvat noin 110 päivän välein, mutta tutkimuksellinen arviointikyky laahaa todennettavien parannusten perässä.
- Mallit sijoittuivat optimointikilpailuissa 96.–98. persentiiliin, mutta jäivät silti parhaista ihmisistä autonomisissa nopeutuksissa.
- Mallituomarit yliarvioivat vahvojen mallien tutkimustehtäviä noin 0,2 pisteellä yhden pisteen asteikolla.
METR raportoi 20. marraskuuta 2026, että julkisten eturintamamallien 50 prosentin aikahorisontit – ihmisten arvioima tehtävän kesto, jonka perusteella mallin ennustetaan onnistuvan puolet kerroista, eivät siis aika, jonka malli itse käyttää työskentelyyn – kaksinkertaistuvat noin 110 päivässä TH1.1- ja TH2-arviointien yhdistetyssä aineistossa. Laajennetut testit osoittavat vahvaa edistystä todennettavissa tehtävissä, mutta heikompaa harkintakykyä avoimessa tutkimustyössä ja arviointitehtävien suunnittelussa.
Päivitys kattaa julkiset mallit Opus 5.5:een ja GPT-6 Astraan asti sekä tarkastelee kyvykkyyksiä, joilla on merkitystä tekoälytutkimuksen ja -kehityksen (R&D) automatisoinnissa. METR arvioi TH1.1- ja TH2-testeissä tavallisesti 15 mallia. Uusi TH2-tehtäväkokonaisuus sisältää 36 tehtävää 12 aihealueelta: kahdeksan todennettavien tehtävien aihealuetta, joissa tavoitteet on määritelty selkeästi ja pisteytetään automaattisesti optimoinnin, koneoppimisen, pulmien ja pelien parissa, sekä neljä aihealuetta, jotka kattavat käsitteellisen päättelyn, harkintakyvyn ja avoimen tutkimustyön ilman helppoa tapaa varmistaa onnistuminen.
Vaativampi tehtäväkokonaisuus, samankaltainen kasvutrendi
METR arvioi yhdistetyn aineiston kaksinkertaistumisajan 95 prosentin luottamusväliksi 2,08–4,94 kuukautta. Tulos on lähellä aiempaa, pelkkää TH1.1:tä koskevaa 105 päivän trendiä. Koska TH2 on vaikeampi, kun ihmisen arvioima tehtävän kesto pidetään samana, mallin 50 prosentin aikahorisontti on yhdistetyssä tehtäväkokonaisuudessa lyhyempi kuin pelkässä TH1.1:ssä.
TH2:n todennettavissa olevien tehtävien osajoukossa arvioitu kaksinkertaistumisaika lyhenee 1,65 kuukauteen, ja 95 prosentin luottamusväli on 0,79–3,99 kuukautta. METR varoittaa, että tämä epävarma tulos voi johtua tehtävien koostumuksesta, rajatusta ajanjaksosta tai tehtävien kehitysvaiheen valikoinnista pikemmin kuin laaja-alaisesta kiihtymisestä. Myös tehtävien vähäisempi monimuotoisuus voi nopeuttaa kaksinkertaistumista, sillä pidemmät tehtävät edellyttävät useammin samoja taitoja.
Ihmisiin perustuva kalibrointi on epäsuorempaa kuin METR:n aiemmassa työssä. Tutkijat määrittelivät 34 uudelle tehtävälle piste- ja aikakynnykset: kolmessa käytettiin ihmisten onnistuneita vertailutuloksia ja 31:ssä tutkijoiden arvioita. Suorat vertailutulokset vaikuttivat vain yhdeksään prosenttiin ihmisen suoritusajasta tehdyistä arvioista. Asiantuntijoille maksettiin 200–350 dollaria tunnilta, ja he saivat käyttää toteutustyössä Sonnet 5:tä. METR:n mukaan kaksinkertaistumisajan tulokset pysyvät samankaltaisina, kun tehtävien suoritusajan arvioihin lisätään kohinaa ja ihmisten arvioitujen suoritusaikojen tilalle vaihdetaan mallien arvioimat ajat. Vertailutehtävien suorittajien ja eturintamalaboratorioiden tutkijoiden vertailukelpoisuudesta on kuitenkin edelleen epävarmuutta.
Vahvat tulokset, heikompi tutkimuksellinen harkintakyky
METR arvioi, että nykyisten julkisten eturintamamallien aikahorisontti on todennettavissa TH2-tehtävissä enimmillään 27 tuntia. Jokaisessa kolmesta tehtävästä, joille oli määritelty virallinen ihmisten vertailutaso, paras malli suoriutui paremmin kuin jokainen rekrytoitu vertailutehtävien suorittaja.
Laajemmat ihmisaineistot osoittavat, että huippuasiantuntijat voivat yhä suoriutua paremmin. METR:n mukaan vahvimmat mallit sijoittuivat 15 Al Zimmermannin optimointikilpailussa mediaanikilpailussa ihmiskilpailijoiden 96.–98. prosenttipisteeseen, ja noin neljä ihmistä päihitti ne. Agentit saivat käyttöönsä 28-ytimisen koneen 48 tunniksi, kun taas ihmiskilpailijoilla oli noin kolme kuukautta aikaa ja omat laitteistonsa. Siksi sijoitukset riippuvat näistä erilaisista olosuhteista.
Budget NanoGPT:ssä METR raportoi autonomisen agentin parhaaksi nopeutukseksi 15,7 prosenttia 48 tunnissa. Vertailun vuoksi hiljattain tekoälyn avustama ihminen paransi aiempaa ennätystä 41 prosenttia ja arvioi käyttäneensä tähän noin 60 tuntia. Vertailu on suuntaa antava, koska ihmisten ennätykset rakentuvat vaiheittain aiemman työn pohjalle. Se kuitenkin osoittaa, että autonomiset agentit jäävät jälkeen parhaasta ihmistuloksesta mutta päihittävät monet muut taitavat nopeusennätysten tavoittelijat.
Vaikeasti todennettavat tehtävät paljastavat toisenlaisen rajoitteen. Making METR Tasks -tehtävässä agenttien piti suunnitella METR:n omaan tehtäväkokonaisuuteen uusi, informatiivinen tehtävä. METR luokitteli joitakin tuoreita tuotoksia rajatapauksina hyödyllisiksi, mutta yksikään ei ollut riittävän hyvä sisällytettäväksi raportissa käytettyyn tehtäväkokonaisuuteen. Mallit loivat yleensä automaattisesti pisteytettäviä optimointitehtäviä silloinkin, kun niitä pyydettiin painottamaan päätöksiä, joiden lyhyen aikavälin palaute on heikkoa. Vaikka malleilla oli pääsy internetiin, ne eivät selvittäneet itsenäisesti, mitä METR pitäisi hyödyllisenä, tuottaneet uudenlaista uhkamallinnusta tai perustaneet tehtäviä erityisen oivaltaviin hypoteeseihin mallien kyvykkyyksistä. Arviot perustuvat METR:n omiin tutkimukseen ja uhkamallinnukseen liittyviin harkintoihin.
Aiheeseen liittyvässä kokeessa tutkittiin, pystyvätkö mallit pisteyttämään tuotoksia luotettavasti. METR havaitsi, että malliarvioijien arviot vastasivat paremmin ihmisten arvioita, kun ne arvioivat heikompien mallien tuotoksia. Samantasoisilta tai vahvemmilta malleilta peräisin olevalle työlle ne kuitenkin antoivat epäasianmukaisen korkeita pisteitä. Opus 5.5, jonka arviot vastasivat parhaiten ihmisten arvioita, antoi GPT-6 Astran tehtäville noin 0,2 pistettä ihmispisteyttäjää enemmän yhden pisteen asteikolla.
Nämä tulokset eivät osoita, että harkintakyvyssä olisi yleinen puute. METR:n mukaan mallien harkintakyky ei ehkä pääse riittävästi esiin arviointitehtävissä, sillä mallit eivät hyödyntäneet käytettävissä olevia token-rajoja ja toimintamahdollisuuksia täysimääräisesti. METR huomauttaa myös, että eturintamamallit osoittivat hyvää harkintakykyä eräissä ohjelmallisesti pisteytetyissä koneoppimistehtävissä, vaikka sen yleispätevyys on epäselvää.
Kalliimmat arvioinnit ja kysymys kehityksen kiihtymisestä
Mittausongelma ulottuu harkintakykyä laajemmalle. METR on huolissaan siitä, että kontteihin eristetyt arviointiympäristöt saattavat muistuttaa mallien koulutuksessa käytettäviä vahvistusoppimisympäristöjä. Tämä voi johtaa todellisten kyvykkyyksien yliarviointiin, jos samankaltaiset ympäristöt yleistyvät koulutuksessa.
Elinkaarikustannus on karkea, mallin avulla arvioitu mittari sille, mitä kontitetun tehtäväympäristön kehittäminen sekä sen suorittaminen ja pisteyttäminen 100 kertaa maksaisi. Se ei ole suora arvio tekoälyn kehittäjän koulutusympäristöjen kustannuksista. Tehtävien pituuden huomioituaan METR havaitsi, että kalliimman osajoukon tehtävät maksoivat keskimäärin 2,9 kertaa enemmän kuin halvemman osajoukon tehtävät, mutta mallien suorituskyky aikahorisontilla oli 2,9 kertaa heikompi eli eroa oli 1,5 kaksinkertaistumisen verran. Mallit kuitenkin kehittyivät molemmissa osajoukoissa samankaltaista vauhtia, joten aineisto yhdistää kustannukset tehtävien vaikeuteen osoittamatta, että kalliimmissa tehtävissä edistyminen olisi hitaampaa.
METR ei raportoi erillisessä METR Capability Index -indeksissään merkittävää yleistä kiihtymistä tai hidastumista testatussa julkisten huippumallien joukossa. Indeksi tiivistää mallien suorituskyvyn yhteismitalliselle asteikolle. Kehittäjäkohtaiset muutokset kehityksen nopeudessa olivat herkkiä menetelmävalinnoille, joten niiden pätevyys on epävarma.
METR kuitenkin toteaa, ettei nykyinen julkinen näyttö riitä sulkemaan pois tekoälyn T&K-toiminnan voimakasta kiihtymistä seuraavien parin vuoden aikana. Tällä tarkoitetaan valmiuksien niin nopeaa paranemista, etteivät ihmiset enää pysty mielekkäällä tavalla ymmärtämään uusiin järjestelmiin liittyviä katastrofaalisia riskejä, arvioimaan niitä ja reagoimaan niihin. Ei tiedetä, mitkä valmiudet johtaisivat tähän, ja pelkät helposti todennettavat tehtävät saattavat riittää. Tulokset viittaavat siis siihen, että heikompi harkintakyky voi rajoittaa tutkimuksen automatisointia, mutta ne eivät todista, että kiihtyminen edellyttäisi mallien suoriutuvan hyvin tavallisiin työtehtäviin liittyvistä realistisista tehtävistä.












