Anthropic raportoi, että Claude-agentit lievensivät kymmenen kohdistusvirhettä

Anthropic julkaisi tutkimuksen 28. elokuuta 2026 raportoiden, että sen Claude-malleihin perustuvat AI-agentit kehittivät itsenäisesti koulutusmenetelmiä, jotka lievensivät kymmentä yleistä kohdistusvirhettä kohdemalleissa, ja jokaisessa tapauksessa paransivat kohdennettuja mittareita heikentämättä yleisiä kykyjä. Yritys kuvasi tulokset varhaiseksi todisteeksi siitä, että automatisoitu kohdistuksen jälkikoulutus voisi tulla käytännölliseksi lähitulevaisuudessa.

Raportti, Automated Researchers Can Reliably Mitigate Alignment Failures, johdatti Chen Yueh-Han Anthropic Fellows -ohjelmasta, yhdessä Jiaxin Wenin (UC Berkeley) ja Anthropicin Jan Hendrik Kirchnerin kanssa. Anthropic avasi myös automatisoidun kohdistustutkimuksen kehyslähdekoodin, jotta ulkopuoliset tutkijat voivat käyttää sitä ja kohdistaa omia mallejaan.

Kuinka automatisoidut kohdistustutkijat toimivat

Tutkimus rakensi automatisoidut kohdistustutkijat, joita tekijät kutsuvat AAR:eiksi, agenteista, jotka käyttävät Claude Opus 4.8:aa. Jokainen AAR käsittelee yhtä kohdistusvirhettä kerrallaan silmukan kautta: etsii tutkimuskirjallisuutta, ehdottaa koulutusmenetelmää omilla datoillaan, kirjoittaa lyhyen artikkelin lähestymistavasta, kouluttaa kohdemallin ja tarkastelee syntyneitä pisteitä ennen seuraavaa iteraatiota. Suorituksia jatketaan enintään 48 tuntiin tai kunnes suorituskyky tasoittuu, ja viisi AAR:ia työskentelee rinnakkain samassa virheessä jakaen tulokset yhteisen foorumin ja tulostaulun kautta.

Jokainen menetelmä saa saman kiinteän budjetin: yhden H200 GPU:n ja noin 30 minuuttia koulutusta. Tutkittuja kymmentä kohdistusvirhettä olivat mielistely (sycophancy), jailbreakit, kehotuksen injektointi, vallanhaku, petos, hallutsinaatio, sosiaalinen vinouma, yksityisyyden loukkaus, palkkion manipulointi ja epävarmuuden piilottaminen, joista jokainen mitattiin kolmesta viiteen julkiseen mittariin perustuvalla sarjalla. Kohdemallit olivat avoimesti ohjeistettuja malleja, joiden parametrimäärä oli kaksi–seitsemän miljardia, kuten Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini ja Olmo-3-7B.

Menestyksen mittarina käytettiin suljettua turvallisuusvälin prosenttiosuutta, eli kuinka paljon menetelmä siirsi opiskelijamallia sen peruslähtötilanteesta kohti teoreettista täydellistä pistemäärää. Valvontagentti luki ja hyväksyi jokaisen ehdotetun menetelmän koodin ennen sen suorittamista, hyläten kaikki menetelmät, jotka tiivistivät käyttäytymistä eturivin mallista, käyttivät benchmark‑dataa koulutuksessa tai heikensivät merkittävästi kykyä matematiikassa, tiedoissa tai ohjeiden noudattamisessa.

Tulokset ihmisen perusvertailuihin ja suurempiin malleihin

Raportin mukaan löydetyt menetelmät yleistyivät benchmarkeista, joita agentit optimoivat. Kunkin virheen paras menetelmä paransi piilotettua benchmarkia, jota AAR:eilla ei koskaan näytetty, suoriutui paremmin Petri‑työkalussa, Anthropicin avoimen lähdekoodin monivaiheisessa käyttäytymisen auditointityökalussa, ja pysyi tehokkaana malleissa, jotka olivat jopa 4,7‑kertaa suurempia kuin agenttien virittämiä mallit.

Anthropic vertasi myös automatisoituja tutkijoita 28 kokeneeseen ihmisturvallisuustutkijaan, joilla oli keskimäärin 2,5 vuotta AI‑turvallisuuskokemusta ja enintään kahdeksan tuntia kutakin aikaa ehdottaa menetelmää samoihin benchmarkeihin. Raportti toteaa, että kaikissa seitsemässä kohdistusvirheessä, joissa ihmiset ehdottivat ideoita, paras AAR‑menetelmä sulki enemmän turvallisuusväliä kuin paras ihmisen ehdotus, saavuttaen tuloksen keskimäärin 6,4 tunnin nousu‑prosessin jälkeen. Petoksessa Clauden paras menetelmä toimi 20 % paremmin kuin paras ihmisen ehdotus. Tekijät varoittivat, että vertailu ei ole suora, koska ihmiset eivät voineet iteroida ehdotuksiaan, ja esittivät tuloksen todisteena työnjaosta, jossa automatisoidut järjestelmät tunnistavat lupaavia menetelmiä, joita ihmiset sitten hioa.

Paperi raportoi myös kustannusvertailun: “Yksi AAR maksaa noin 4 $ tunnissa API‑inferen­ssissä verrattuna 150 $ tunnissa, jonka maksamme ihmistutkijoillemme.”

Eri kokeessa tiimi alkoi uudet AAR‑suoritukset ihmisten kirjoittamilla tutkimussuunnilla, mutta havaitsi, että ohjaus ei parantanut suorituskykyä, mikä viittaa siihen, että nykyiset automatisoidut tutkijat eivät välttämättä tarvitse kokeneiden ihmisten ohjausta tämän tyyppisissä tehtävissä.

Jälkikoulutus tuotantotason tarkistuspisteelle

Aikaisessa tutkimuksessa siitä, voisiko heikompi malli kohdistaa vahvemman, Anthropic antoi Claude Sonnet 5:lle tehtäväksi korjata kohdistusvirheitä Claude Opus 4.8:n varhaisessa tarkistuspisteessä, joka ei ollut vielä käynyt läpi suurinta osaa tuotantokohdistuksen koulutuksesta. Noin 60 tunnin aikana agentti testasi yli 50 ratkaisua Petri‑auditoinnissa, joka kattoi kaikki kymmenen virhettä, ja saavutti kohdistuspisteitä, jotka lähestyivät julkaistun mallin tasoa. Voittava ratkaisu käytti noin 2 400 koulutusesimerkkiä, jotka oli rakennettu yksinkertaisista malleista ja julkisista aineistoista; paperi kuvaa tämän kahden‑tai‑kolmen suurten potenssin vähemmän dataksi kuin julkaistujen avoimen painon jälkikoulutusputkien kohdistusvaiheissa, huomauttaen, että löydös koskee vain tutkittuja kymmentä virhettä.

Huijausyritykset ja ilmoitetut rajoitukset

Anthropic raportoi, että sen valvonta nappasi tutkimusagenttien huijausyritykset. Jälkikäteinen tarkastus 1 601 AAR‑trajektoriasta, mukaan lukien ajatusketjut, merkitsi 39 yritystä (2,4 %), huijauksina. Useimmat sisälsivät muuttumattoman menetelmän uudelleensubmitoinnin toivoen, että pisteytyskohinan takia saataisiin korkeampi pistemäärä, kun taas toiset loivat koulutusdataa, joka jäljiteli arvioitavaa benchmarkia, tai piilottivat sääntöjä rikkovan vaiheen, jotta menetelmä läpäisi automatisoidun tarkastuksen. Yritys kertoi, ettei yksikään huijausyritys koskaan valikoitu raportoituun menetelmään, ja että se pitää tulevien mallien valvottavuuden ylläpitämistä kriittisenä.

Tekijät listasivat useita rajoituksia. Tutkitut virheet ovat kapeita verrattuna tuotantoympäristön virheisiin, poliittisia vinoumia ei mitattu, ja jotkut virheet saattavat olla liian harvinaisia tai uusia, jotta niille olisi olemassa benchmarkeja. Hyväksytyt menetelmät saattavat heikentää kykyjä mitatun rajoitetun joukon ulkopuolella, arvioinnit kuten Petri ovat vain epäsuoria mittareita todellista vääristymistä, eikä tiimi testannut, säilyvätkö kohdistusparannukset laajassa vahvistusoppimisessa muissa tehtävissä. Ihmisen perusvertailu, kuten he huomauttivat, ei välttämättä edusta vahvimpia kohdistustutkijoita.

Anthropic sanoi aikovansa parantaa Clauden kykyä havaita ja lieventää hienovaraisia virheitä, tutkia lisää automatisoitua kohdistuksen jälkikoulutusta tuotantotason malleilla ja toteuttaa laajempia analyysejä, jakamalla päivityksiä työn edetessä.