Anthropic sanoo, että Claude johtaa 26% sen AI-tutkimus‑ ja kehitystyöstä

Anthropic kertoi, että sen Claude‑mallit “johtavat” 26 % yrityksen AI‑tutkimus‑ ja kehitystyöstä elokuussa 2026, ensimmäiset tulokset prototyyppisestä R&D‑automaatioindeksistä, joka julkaistiin Anthropic Institute -julkaisussa 17. syyskuuta 2026.

Julkaisu, jonka otsikko on “Mittaukset AI‑kehityksen tahdin ymmärtämiseksi eturintaman laboratorioissa”, yhdistää indeksin sisäisiin mittareihin agenttien valvonnasta ja laskentakapasiteetin jakautumisesta, ja Anthropic kertoi aikovansa jatkaa tällaisten mittausten julkaisemista.

R&D‑automaatioindeksi

Anthropicin R&D‑automaatioindeksi kartoittaa yrityksen tekemän AI‑R&D‑työn koko kirjon, arvioi kuinka automatisoitu jokainen tehtävä on tällä hetkellä, ja yhdistää nämä arviot yhdeksi aggregoiduksi mittariksi. Arviot perustuvat Epoch AI:n kehittämään automaatiotason asteikkoon, joka alkaa AL0:sta (ei AI‑osallistumista) ja päättyy AL5:een, jossa AI toimii täysin itsenäisesti ilman ihmistä prosessissa. AL3‑tasolla AI “tekee yhteistyötä”, suorittaen suuria osia tehtävästä tiukan ihmisen ohjauksen alaisena; AL4‑tasolla AI “johtaa”, hoitaen suurimman osan tehtävästä aloituskehotteesta valmiiksi, kun ihminen valvoo.

Anthropic raportoi, että elokuussa 2026 Claude “johtaa” 26 % sen AI‑R&D‑työstä, osuus työstä, joka on tasolla “tekee yhteistyötä” tai sitä korkeammalla, on yli 90 %, eikä Claude toimi täysin itsenäisesti missään mitatusta AI‑R&D‑työn osasta. Julkaisun kaavio kuvaa 26 % “johtaa” -osuuden nousua alle 1 %:sta helmikuussa 2026.

Taustalla oleva tehtäväluettelo koottiin alhaalta ylöspäin hyödyntäen työrekistereitä, kuten Slackia ja sisäistä dokumentaatiota. Jokaisena heinäkuun 2026 viikon aikana Claude‑tutkimusagentti tarkasteli satunnaisesti otettua henkilön viikkoa — 20 % henkilöstöstä jokaisesta osastosta, joka muodostaa mallin R&D‑silmukan — ja listasi heidän työskennelleet tehtävät, mikä tuotti tasaisen listan noin 15 000 tarkasta tehtävästä. Claude järjesteli nämä tehtävät hierarkkiseen puuhun, jossa on 542 solmua, joista 378 on lehtiä, kuten “eval‑alustan vikadiagnostiikka ja korjaukset”, ja puu on jäädytetty, jotta jokainen mittaus käyttää samaa työkorista.

Jokaiselle solmulle Claude‑agentti tutkii, miten kyseistä työtyyppiä tehdään yrityksessä, ja riippumaton Claude‑arvioija määrittää sille yhden kuudesta automaatiotasosta, rajoittaen todisteet arvioitavan kuukauden tai sitä aikaisempaan aikaan. Tehtävät painotetaan henkilötunnin mukaan, joten kategoriat, joihin kohdistuu enemmän henkilöstöpanosta, saavat suuremman painon.

Anthropic vertasi arvioijan arviot henkilöstön kanssa, joka omistaa kyseiset työalueet, ja jotka arvioivat näkemättä mallien todisteita tai päätöksiä. He raportoivat mallin‑ja‑ihmisen täsmällisen yhteneväisyyden 59 %:ksi verrattuna 35 %:iin ihmisen‑ja‑ihmisen välillä, ja että arviot olivat yhden tason sisällä toisistaan 97 %:ssa tapauksista. Mainitut rajoitukset sisältävät jäädytetyn korin, joka tallentaa olemassa olevan työn automaation rekisteröimättä uusia työtyyppejä; vertailu helmikuusta heinäkuuhun 2026 saapuneiden tehtävien ja tammikuun 2026 korin välillä ei löytänyt kasvua “uusissa” tehtävissä, ja Anthropic aikoo rakentaa korin uudelleen säännöllisesti ja julkaista päivitetyt luvut uudessa versiossa.

Sisäisten agenttien valvonta

Toinen mittausjoukko käsittelee Anthropicin AI‑agenttien valvontaa sen järjestelmissä. Elokuussa 2026 noin 30 000 agenttia teki tutkimus‑ ja insinöörityötä samanaikaisesti yrityksen eniten käytetyllä sisäisellä alustalla, ja raportoituja mittauksia koskee vain kyseinen alusta.

Anthropic raportoi, että online‑valvojat tarkistavat 100 % näiden agenttien toimista ennen suoritusta, yleensä sekunneissa; yli miljardista elokuussa 2026 analysoidusta agenttipäätöksestä 0,002 % (noin 1 kpl 47 000:sta) estettiin, ja ihmiset tarkistavat kaikki estetyt toimet viikon sisällä. Offline‑valvojat vastaanottavat 100 % toimista jälkikäteen ja merkitsevät noin 100 000 transkriptia viikossa, joita useat luokittelijat tarkistavat väärien positiivisten varalta, ratkaisten suurimman osan merkinnöistä; noin 50 korkeimman prioriteetin merkintää viikossa nostetaan ihmistarkasteluun, ja noin yksi‑kaksi transkriptia tuhannesta merkitään lisäarviointiin.

Julkaisun mukaan online‑valvojat on suunniteltu torjumaan vahinkoja, jotka tapahtuvat nopeasti eikä niitä voida peruuttaa, kuten agentin kopioima mallin painot Anthropicin järjestelmistä, kun taas offline‑valvojat kohdistuvat hitaasti kehittyviin vaarallisiin käyttäytymisiin, joita voidaan korjata, kuten mallin epäsopivuuden merkit. Anthropic kertoi, että sisäisessä rakenteessa on kaksi suunnitteluratkaisua, jotka tukevat valvontaa: jokainen agentti kantaa yksilöllistä identiteettiä, joka säilyy mallipäivitysten yli, ja agentit viestivät yhteisen, avoimen viestintäjärjestelmän kautta, joka viittaa transkriptioihin, jolloin käyttäytymisen valvonta voi kulkea agenttien välisten viestien läpi. Yritys ilmoitti, että METR on aiemmin itsenäisesti suorittanut punaisen tiimin tarkastuksen offline‑valvontaalustalleen, ja että nämä valvontamittaukset julkaistiin myös sen elokuun 2026 riskiraportissa.

Laskentakapasiteetin jakautumisen tilannekuva

Kolmannessa mittauksessa Anthropic tarkasteli, miten se käytti koko laskentakapasiteettiaan 13.–20. heinäkuuta 2026, luokittelemalla jokaisen työkuorman ja mittaamalla, kuinka suuri osa AI‑R&D‑laskennasta kohdistui turvallisuustyöhön. Tänä viikkona Anthropic raportoi, että noin 6 % AI‑R&D‑laskennasta oli varattu turvallisuuteen, ja noin 12 % AI‑ohjautuvan AI‑R&D‑laskennan osuudesta oli varattu turvallisuuteen.

Yritys kuvaa molemmat arviot tahallisesti konservatiivisiksi: tokenit, jotka edistivät kykyjä yhtä paljon kuin turvallisuus, laskettiin AI‑T&K:ksi, ja turvatoimien luokittelijat, erillinen ja vertailukelpoinen laskentamäärä, jätetään pois. Ohjattu Claude‑luokittelija lajitteli viikon lähes 10 000 tutkimus‑koulutus‑ ja arviointisuoritusta käyttäen noin 14 %:n otosta, joka painottui suurimpiin laskentakäyttäjiin, ja Anthropic raportoi, että luokittelija oli yhden‑kahden prosenttiyksikön sisällä ihmisen tarkastajien kanssa.

Ilmoitetut rajoitukset ovat, että yksi viikko osoittaa mittauksen olevan toteuttamiskelpoinen ilman trendin määrittämistä, että taustalla olevat työkuormien tunnisteet ovat parhaan‑yrityksen tasoisia eikä vahvistettuja, ja että laskentajakauma mittaa sitä, mitä on käytetty, eikä suoritettujen turvallisuustöiden määrää.

Tarkoitus ja seuraavat askeleet

Anthropic sanoi raportoivansa mittaukset, koska ne antavat yleisölle, ulkopuolisille tahoille ja hallituksille selkeämmän kuvan tekoälyn kehitysvauhdista huippulaboratorioissa, täydentäen sen Responsible Scaling Policy -riskiraportteja ja Advanced AI Framework -politiikkasuositusta. Se totesi, että luvut odotetaan muuttuvan, jos huippujen tahdistamisessa olisi yhteistoimintaa, kuten toimitusjohtaja Dario Amodei on pyytänyt.

Kirjoituksessa todetaan, että mikä tahansa huippukehittäjä voisi julkaista samat mittarit säännöllisesti julkisella menetelmällä, ja se tunnistaa kaksi estettä laboratoriokaupunkien vertailulle: yhteisen menetelmän puuttuminen sekä kehittäjän omien mallien käyttö järjestelmiensä arviointiin. Siinä väitetään, että tällaiset mittarit voitaisiin tarkistaa kolmansien osapuolten tai muiden kehittäjien mallien avulla, ja ne voisivat toimia laukaisijana tiukemmille vaatimuksille, kuten kiinteälle testausikkunalle ennen kuin uusi malli otetaan käyttöön lisä‑AI‑T&K‑työssä.

Anthropic kertoi aikovansa sisällyttää riippumattomia kolmannen osapuolen arvioijia useista organisaatioista, antaen heille pääsyn sisäisiin prosesseihin, järjestelmiin ja tietoihin, jotka ovat verrattavissa sisäisten riskinarviointitiimien tietoihin, turvallisuuskäytäntöjen varmistamiseksi, tapausten raportoimiseksi ja keskeisten mittareiden, kuten tässä kirjoituksessa esitettyjen, seuraamiseksi. Artikkelin ovat yhteiskirjoittaneet Marina Favaro ja Phillie Wright, ja sen tutkimusohjaus on Jack Clarkin vastuulla.