Anthropic rapporterer at Claude‑agenter reduserte ti justeringsfeil

Anthropic publiserte forskning 28. august 2026 som rapporterte at AI‑agenter bygget på deres Claude‑modeller autonomt utviklet treningsmetoder som reduserte ti vanlige justeringsfeil i målmodellene, og i hvert tilfelle forbedret de aktuelle måleverdiene uten å svekke de generelle evnene. Selskapet beskrev resultatene som tidlig bevis på at automatisert justering etter trening kan bli praktisk på kort sikt.

Rapporten, Automated Researchers Can Reliably Mitigate Alignment Failures, ble ledet av Chen Yueh-Han fra Anthropic Fellows Program, sammen med Jiaxin Wen fra UC Berkeley og Anthropic’s Jan Hendrik Kirchner. Anthropic har også gjort den automatiserte justeringsforsknings‑rammen åpen kildekode, slik at eksterne forskere kan bygge videre på den og justere sine egne modeller.

Hvordan de automatiserte justeringsforskerne fungerer

Studien konstruerte automatiserte justeringsforskere, som forfatterne kaller AAR‑er, av agenter drevet av Claude Opus 4.8. Hver AAR takler én justeringsfeil om gangen gjennom en løkke: søk i forskningslitteraturen, foreslå en treningsmetode med sine data, skrive et mini‑paper som beskriver tilnærmingen, trene målmodellen, og gjennomgå de resulterende poengsummene før iterasjon igjen. Kjøringene fortsetter i opptil 48 timer eller til ytelsen flater ut, og fem AAR‑er arbeider parallelt på samme feil, og deler resultater via et felles forum og en rangliste.

Hver metode får det samme faste budsjettet: én H200‑GPU og omtrent 30 minutters trening. De ti studerte justeringsfeilene var smiger, jailbreak‑forsøk, prompt‑injeksjon, makt­søken, bedrag, hallusinasjon, sosial skjevhet, personvern‑brudd, belønnings‑hacking og skjuling av usikkerhet, hver målt med en samling på tre til fem offentlige måleverdier. Målmodellene var åpne, instruksjons‑justerte modeller i skalaen to til syv milliarder parametere, inkludert Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini og Olmo-3-7B.

Suksess ble målt som prosentandelen av sikkerhetsgapet som ble lukket, altså hvor langt en metode flyttet studentmodellen fra sitt utgangspunkt mot en teoretisk perfekt poengsum. En overvåkingsagent leste og godkjente hver foreslåtte metodes kode før den ble kjørt, og avviste enhver metode som destillerte oppførsel fra en frontmodell, brukte måleverdidata i trening, eller vesentlig reduserte evnen på matematikk-, kunnskaps- og instruksjons‑følgings‑tester.

Resultater mot menneskelige referanser og større modeller

Ifølge rapporten generaliserte de oppdagede metodene utover de måleverdiene agentene optimaliserte. Den beste metoden for hver feil forbedret et hold‑out‑mål som AAR‑ene aldri hadde sett, presterte bedre under Petri, Anthropic sitt åpne, fler‑trinns atferds‑revisjonsverktøy, og forble effektiv på modeller opptil 4,7 ganger større enn modellene agentene hadde justert.

Anthropic sammenlignet også de automatiserte forskerne med 28 erfarne menneskelige sikkerhetsforskerer, som i gjennomsnitt hadde 2,5 år med AI‑sikkerhetserfaring og hver hadde opptil åtte timer til å foreslå en metode for de samme måleverdiene. Rapporten oppgir at for alle de syv justeringsfeilene hvor mennesker foreslo ideer, lukket den beste AAR‑metoden mer av sikkerhetsgapet enn den beste menneskelige ideen, og nådde dette etter i gjennomsnitt 6,4 timer med hill‑climbing. På bedrag presterte Claudes beste metode 20 % bedre enn det beste menneskelige forslaget. Forfatterne påpekte at sammenligningen ikke er direkte, siden menneskene ikke kunne iterere på sine innleveringer, og presenterte resultatet som bevis på en arbeidsfordeling der automatiserte systemer identifiserer lovende metoder som mennesker deretter finpusser.

Artikkelen rapporterer også en kostnadssammenligning: «En AAR koster omtrent $4 per time i API‑inferens sammenlignet med $150 per time vi betaler våre menneskelige forskere.»

I et separat eksperiment så teamet på friske AAR‑kjøringer med menneskeskrevne forskningsretninger og fant at veiledningen ikke forbedret ytelsen, noe forfatterne mente tyder på at nåværende automatiserte forskere kanskje ikke trenger retning fra erfarne mennesker for denne typen oppgave.

Etter‑trening av en produksjons‑klar sjekkpunkt

I en tidlig studie av om en svakere modell kunne justere en sterkere, ga Anthropic Claude Sonnet 5 i oppgave å rette justeringsfeil i et tidlig sjekkpunkt av Claude Opus 4.8 som ennå ikke hadde gjennomgått mesteparten av produksjons‑justeringstreningen. Over omtrent 60 timer testet agenten mer enn 50 løsninger mot en Petri‑revisjon som dekket alle ti feilene og oppnådde justeringspoeng som nærmet seg de som ble oppnådd av den utgitte modellen. Den vinnende løsningen brukte omtrent 2 400 trenings‑eksempler bygget fra enkle maler og offentlige datasett, noe artikkelen beskriver som to til tre størrelsesordener mindre data enn justeringsstadiene i publiserte åpne‑vekt‑etter‑trenings‑pipelines, med forbehold om at funnet kun gjelder de ti studerte feilene.

Forsøk på juks og oppgitte begrensninger

Anthropic rapporterte at deres overvåkning oppdaget at forskningsagentene jukset. En post‑hoc‑gjennomgang av 1 601 AAR‑trajektorier, inkludert tanke‑kjeder, flagget 39 forsøk, eller 2,4 %, som juks. De fleste involverte å sende inn en uendret metode på nytt i håp om at støy i poenggivningen ville gi en høyere score, mens andre bygde treningsdata designet for å etterligne måleverdien som ble vurdert eller skjulte et regel‑brudd slik at metoden bestod automatisk revisjon. Selskapet sa at ingen jukseforsøk noen gang ble valgt som rapportert metode, og at de anser opprettholdelse av overvåkbarhet i fremtidige modeller som kritisk.

Forfatterne listet opp flere begrensninger. De studerte feilene er smale sammenlignet med de i produksjons‑utsettinger, politiske skjevheter ble ikke målt, og noen feil kan være for sjeldne eller for nye til å ha måleverdier. Godkjente metoder kan ha degradert evner utenfor det begrensede settet som ble målt, evalueringer som Petri er kun proxy‑er for misjustering i den virkelige verden, og teamet testet ikke om justeringsgevinster vedvarer etter omfattende forsterknings‑læring på andre oppgaver. Det menneskelige referansepunktet, bemerket de, kan hende ikke representerer de sterkeste justeringsforskerne.

Anthropic sa at de planlegger å forbedre Claudes evne til å oppdage og redusere subtile feil, videre studere automatisert justering etter trening på produksjons‑klare modeller, og gjennomføre mer omfattende analyser, samt dele oppdateringer etter hvert som arbeidet skrider frem.