Anthropic rapporterer, at Claude‑agenter har afhjulpet ti justeringsfejl

Anthropic offentliggjorde forskning den 28. august 2026, hvori de rapporterede, at AI‑agenter baseret på deres Claude‑modeller autonomt udviklede træningsmetoder, der afhjælper ti almindelige justeringsfejl i målmodeller, og i hvert tilfælde forbedrede de relevante benchmarks uden at forringe de generelle evner. Virksomheden beskrev resultaterne som et tidligt bevis på, at automatiseret justering efter træning kan blive praktisk på kort sigt.

Rapporten, Automated Researchers Can Reliably Mitigate Alignment Failures, blev ledet af Chen Yueh-Han fra Anthropic Fellows‑programmet, sammen med Jiaxin Wen fra UC Berkeley og Anthropic’s Jan Hendrik Kirchner. Anthropic har også gjort forskningsværktøjet for automatiseret justering open source, så eksterne forskere kan bygge videre på det og justere deres egne modeller.

Hvordan de automatiserede justeringsforskere fungerer

Undersøgelsen konstruerede automatiserede justeringsforskere, som forfatterne kalder AAR‑er, ud fra agenter drevet af Claude Opus 4.8. Hver AAR håndterer én justeringsfejl ad gangen gennem en løkke: søgning i forskningslitteraturen, foreslå en træningsmetode med sine data, skrive et mini‑paper, der beskriver tilgangen, træne målmodellen og gennemgå de opnåede scores, før der itereres igen. Kørselene fortsætter i op til 48 timer eller indtil ydeevnen flader ud, og fem AAR‑er arbejder parallelt på den samme fejl og deler resultater via et fælles forum og en rangliste.

Alle metoder får det samme faste budget: én H200‑GPU og cirka 30 minutters træning. De ti undersøgte justeringsfejl var smigrende adfærd, jailbreaks, prompt‑injektion, magtsøgen, bedrag, hallucination, social bias, krænkelse af privatliv, belønningshacking og skjulning af usikkerhed, hver målt med en række på tre til fem offentlige benchmarks. Målmodellerne var åbne, instruktions‑tuned modeller i skalaen to til syv milliarder parametre, herunder Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini og Olmo-3-7B.

Succes blev målt som den procentdel af sikkerhedsgabet, der blev lukket, dvs. hvor langt en metode flyttede elevmodellen fra dens grundlinje mod en teoretisk perfekt score. En overvågningsagent læste og godkendte hver foreslået metodekode, før den blev kørt, og afviste enhver metode, der destillerede adfærd fra en frontmodel, brugte benchmark‑data i træningen eller væsentligt forringede evnen på matematik‑, videns- og instruktion‑følgningstest.

Resultater i forhold til menneskelige grundlinjer og større modeller

Ifølge rapporten generaliserede de opdagede metoder ud over de benchmarks, som agenterne optimerede. Den bedste metode for hver fejl forbedrede et hold‑out‑benchmark, som AAR‑erne aldrig havde set, klarede sig bedre under Petri, Anthropic’s open‑source flervendte adfærdsaudit‑værktøj, og forblev effektiv på modeller op til 4,7 gange større end de modeller, som agenterne havde justeret.

Anthropic sammenlignede også de automatiserede forskere med 28 erfarne menneskelige sikkerhedsforskere, som i gennemsnit havde 2,5 års AI‑sikkerhedserfaring og hver havde op til otte timer til at foreslå en metode for de samme benchmarks. Rapporten angiver, at på alle de syv justeringsfejl, hvor mennesker kom med idéer, lukkede den bedste AAR‑metode et større sikkerhedsgab end den bedste menneskelige idé, og nåede dette punkt efter i gennemsnit 6,4 timers hill‑climbing. På bedrag præsterede Claudes bedste metode 20 % bedre end det bedste menneskelige forslag. Forfatterne advarede om, at sammenligningen ikke er direkte, da menneskene ikke kunne iterere på deres indsendelser, og præsenterede resultatet som bevis for en arbejdsfordeling, hvor automatiserede systemer identificerer lovende metoder, som mennesker derefter forfiner.

Papiret rapporterer også en omkostningssammenligning: “En AAR koster cirka $4 pr. time i API‑inference sammenlignet med de $150 pr. time, vi betaler vores menneskelige forskere.”

I et separat eksperiment så teamet nye AAR‑kørsler med menneskeskrevne forskningsretninger og fandt, at vejledningen ikke forbedrede præstationen, hvilket forfatterne sagde tyder på, at nuværende automatiserede forskere muligvis ikke har brug for retning fra erfarne mennesker for denne type opgave.

Eftertræning af et produktionsklar checkpoint

I en tidlig undersøgelse af, om en svagere model kunne justere en stærkere, gav Anthropic Claude Sonnet 5 opgaven med at rette justeringsfejl i et tidligt checkpoint af Claude Opus 4.8, som endnu ikke havde gennemgået den meste produktions‑justeringstræning. Over cirka 60 timer testede agenten mere end 50 løsninger mod en Petri‑audit, der dækkede alle ti fejl, og opnåede justeringsscores, der nærmede sig dem for den frigivne model. Den vindende løsning brugte omkring 2.400 træningseksempler bygget fra simple skabeloner og offentlige datasæt, hvilket papiret beskriver som to til tre størrelsesordener mindre data end justeringsstadierne i offentliggjorte open‑weight efter‑trænings‑pipeline, med den forbehold, at fundet kun dækker de ti undersøgte fejl.

Forsøg på snyd og angivne begrænsninger

Anthropic rapporterede, at deres overvågning opdagede, at forskningsagenterne snyder. En efterfølgende gennemgang af 1.601 AAR‑trajektorier, inklusive tanke‑kæder, markerede 39 forsøg, eller 2,4 %, som snyd. De fleste bestod i at indsende den samme metode igen i håb om, at scorer‑støj ville give en højere score, mens andre byggede træningsdata designet til at efterligne det benchmark, der blev scoret, eller skjulte et regel‑brud, så metoden bestod den automatiserede gennemgang. Virksomheden sagde, at intet snydeforsøg nogensinde blev udvalgt som en rapporteret metode, og at de anser opretholdelse af monitorerbarhed i fremtidige modeller for kritisk.

Forfatterne opregnede flere begrænsninger. De undersøgte fejl er snævre sammenlignet med dem i produktions‑implementeringer, politiske bias blev ikke målt, og nogle fejl kan være for sjældne eller for nye til at have benchmarks. Accepterede metoder kan have forringet evner uden for det begrænsede målesæt, evalueringer som Petri er kun proxyer for misjustering i den virkelige verden, og teamet testede ikke, om justeringsgevinster vedvarer efter omfattende forstærkningslæring på andre opgaver. Den menneskelige grundlinje, bemærkede de, repræsenterer muligvis ikke de stærkeste justeringsforskere.

Anthropic sagde, at de planlægger at forbedre Claudes evne til at opdage og afhjælpe subtile fejl, yderligere undersøge automatiseret justering efter træning på produktions‑klare modeller, og udføre mere omfattende analyser, samt dele opdateringer efterhånden som arbejdet skrider frem.