METR arvioi Anthropic-mallien kyvykkyyksien kehittymisen lähes kaksinkertaistuneen

METR julkaisi riippumattoman arvion 5. marraskuuta 2026. Arvion mukaan Anthropic parantaa todennäköisesti mallien kyvykkyyttä hyvin määritellyissä tehtävissä noin kaksi kertaa aiempaa nopeammin ja tekoälyn käyttö selittää todennäköisesti suurimman osan nykyisestä kiihtymisestä. Johtopäätöksiin liittyy huomattavaa epävarmuutta, ja peitetyt kohdat piilottavat suuren osan niitä tukevasta näytöstä.

Vertailutestit osoittavat kehityksen kiihtyneen

Anthropicin vertailutestien kyvykkyysindeksin AECI:n perusteella METR arvioi, että vertailutestien tulokset ovat parantuneet lokakuusta 2025 lähtien 1,9 kertaa nopeammin; 95 prosentin luottamusväli on 1,5–2,8-kertainen. Tämä vauhti vastaa suunnilleen kahden vuoden edistystä aiemmalla tahdilla yhden vuoden aikana. Laajempi arvio vertaa lokakuun 2026 tilannetta maaliskuun 2024 ja lokakuun 2025 välillä havaittuun kehitysvauhtiin.

Laskelmaan sisältyvät myös vain sisäiseen käyttöön tarkoitetut mallit, ja kunkin mallin ajankohdaksi on merkitty päivä, jolloin suurin osa Anthropicin työntekijöistä pystyi käyttämään sitä. Näin julkaistuja ja julkaisemattomia järjestelmiä voidaan vertailla samalta pohjalta. METR:n luotettavuustarkasteluissa kiihtymisarviot vaihtelivat 1,1-kertaisesta 2,9-kertaiseen vaihtoehtoisten mallinnusvalintojen mukaan. Tämä osoittaa, että tulokset riippuvat siitä, miten vertailutestien vaikeustaso ja muut analyyttiset oletukset mallinnetaan.

Näyttö tekoälyn roolista kehityksen nopeutumisessa

Näyttö vakuutti METR:n siitä, ettei koulutukseen käytetyn laskentatehon nopeampi kasvu aiheuttanut kiihtymistä, vaikka tätä tukevat yksityiskohdat oli peitetty. Tekoälystä riippumattomilla tekijöillä oli todennäköisesti suuri merkitys vuoden 2025 loppupuolella, mutta nykyisen parhaan arvion mukaan ne eivät selitä pitkään jatkunutta kehityksen nopeutumista.

Henkilöstöä koskeva näyttö viittasi samaan suuntaan, mutta oli vaihtelevaa. Tutkijoiden haastatteluissa arviot noin kaksinkertaisesta kiihtymisestä vaihtelivat suuresti. Epävirallisissa kyselyissä henkilöstön itse ilmoittama keskimääräinen tuottavuuden kasvu tehokkaimman sisäisen mallin ansiosta oli lokakuussa 2026 noin 12-kertainen. METR huomautti, että kyselyihin vastaaminen vaati vain vähän vaivaa, vastaajat eivät välttämättä edustaneet henkilöstöä laajemmin ja yksittäisten työntekijöiden tuottavuuden kasvu ei suoraan vastaa koko organisaation kyvykkyyden kasvua.

Nykyinen vaikutus syntyy pääasiassa siitä, että tekoäly avustaa tutkijoita. Tekoäly ei vielä pysty antamaan erittäin merkittäviä, täysin itsenäisiä panoksia tärkeimpään koulutustyöhön. Tutkijat kuitenkin kertoivat merkeistä, joiden perusteella tällaisia panoksia voisi syntyä pian, vaikka kehityksen kypsyysaste vaihtelee eri aloilla.

Pullonkauloihin ja mittaamiseen liittyy yhä epävarmuutta

Vakuuttavaa näyttöä ei löytynyt siitä, että algoritmien kehitys, koulutukseen tai kokeisiin käytettävä laskentateho tai data aiheuttaisi merkittäviä pullonkauloja 12 kuukauden aikajänteellä. Arvioijien tulkinta muuttui useita kertoja uuden tiedon myötä, joten he eivät olleet varmoja arviostaan. METR arvioi silti, että selvien rajoitteiden tai jyrkästi vähenevien lisähyötyjen puuttuminen aiheuttaa merkittävän riskin: kyvykkyyden lisäkasvu voi kasautua ja johtaa entistä nopeampaan kiihtymiseen. Kyse on tulevaisuuteen suuntautuvasta riskinarviosta, ei havaitusta tuloksesta.

AECI painottaa hyvin määriteltyjä ja helposti arvioitavia tehtäviä, joten vertailutestien tulosten nopeampi paraneminen ei välttämättä johda vastaaviin vaikutuksiin tosielämässä. METR:n mukaan ylioppiminen, muut kuin tekoälyyn liittyvät tekijät tai poikkeuksellisen heikko historiallinen vertailutaso voivat saada arvion näyttämään liian suurelta. Arvio voi puolestaan olla liian pieni, jos viimeaikainen kiihtyminen on jäänyt havaitsematta, ihmisten muodostamat pullonkaulat poistuvat odotettua nopeammin tai vertailutestien tulokset aliarvioivat vaikutuksia tosielämässä. Erillistä huolta herätti se, että Model 4:n tulokset ylittivät 50 prosenttia kaikissa sen arviointiin käytetyissä 15 vertailutestissä: tulosten kyllästyminen voi vaikeuttaa mittaamista jatkossa.

Laaja pääsy aineistoon, mutta julkista näyttöä rajallisesti

METR käytti 11 viikkoa kestäneeseen arviointiin 2,5 henkilötyövuoden työpanoksen 12. elokuuta 2026 ja 29. lokakuuta 2026 välisenä aikana. Se tarkasteli sisäisiä vertailutestien tuloksia, esikoulutuksen ja vahvistusoppimisen mittareita, koulutukseen käytetyn laskentatehon mittauksia, tekoälyn aiheuttamaa nopeutumista koskevia analyysejä sekä sisäisiä asiakirjoja. Lisäksi se haastatteli noin 15 keskeistä työntekijää. Ryhmä ei saanut rajoittamatonta, työntekijöiden kaltaista pääsyä aineistoon eikä päässyt testaamaan ei-julkisia malleja.

Anthropic saattoi hyväksyä tai hylätä tietopyynnöt ja peittää ei-julkista aineistoa yksipuolisesti. Sen tekemien peittojen vuoksi julkisesta raportista jäi pois suurin osa näytöstä, jota METR piti informatiivisimpana. Tähän sisältyivät yksityiskohtaiset arviot tekoälyn osuudesta, arviot algoritmien kehityksestä, tarkat analyysit pullonkauloista sekä ennusteet tulevista malleista. Anthropicin mukaan peitot suojasivat luottamuksellisia tietoja, joiden paljastuminen voisi vauhdittaa muiden tekoälykehittäjien työtä. METR päätti itse menetelmistään ja johtopäätöksistään eikä saanut maksua, vaikka se työskenteli Anthropicin laitteilla ja käytti maksuttomia tokeneita.

Arvio tarjoaa laajan ulkopuolisen tarkastelun tekoälyn vauhdittamasta tutkimustyöstä, mutta ei tuo taustalla olevaa näyttöä avoimesti esiin. Julkiset vertailutestien tulokset ja henkilöstön kertomukset tukevat käsitystä kehityksen nopeutumisesta, mutta peitot estävät lukijoita arvioimasta itsenäisesti suurta osaa METR:n tekoälyn osuutta ja pullonkauloja koskevien johtopäätösten perusteista. Siksi nämä keskeiset havainnot perustuvat pitkälti arvioijan kokoamaan näyttöön, jota lukijat eivät voi tarkastella kokonaisuudessaan.