Anthropic rapporterar att Claude‑agenter har mildrat tio inriktningsfel

Anthropic publicerade forskning den 28 augusti 2026 som rapporterade att AI‑agenter byggda på dess Claude‑modeller autonomt utvecklade träningsmetoder som mildrade tio vanliga inriktningsfel i målmodeller, och i varje fall förbättrade de relevanta benchmarkarna utan att försämra de allmänna förmågorna. Företaget beskrev resultaten som ett tidigt bevis på att automatiserad inriktning efterträning kan bli praktisk på kort sikt.

Rapporten, Automatiserade forskare kan pålitligt mildra inriktningsfel, leddes av Chen Yueh-Han från Anthropic Fellows Program, tillsammans med Jiaxin Wen från UC Berkeley och Anthropic:s Jan Hendrik Kirchner. Anthropic har också gjort forskningsramverket för automatiserad inriktning öppet så att externa forskare kan bygga vidare på det och rikta sina egna modeller.

Hur de automatiserade inriktningsforskarna fungerar

Studien byggde automatiserade inriktningsforskare, som författarna kallar AARs, av agenter drivna av Claude Opus 4.8. Varje AAR hanterar ett inriktningsfel åt gången genom en slinga: söka i forskningslitteraturen, föreslå en träningsmetod med sina data, skriva ett mini‑paper som beskriver tillvägagångssättet, träna målmodellen och granska de resulterande poängen innan iterationen upprepas. Körningarna fortsätter i upp till 48 timmar eller tills prestandan planar ut, och fem AARs arbetar parallellt på samma fel och delar resultat via ett gemensamt forum och en topplista.

Varje metod får samma fasta budget: en H200‑GPU och ungefär 30 minuters träning. De tio inriktningsfelen som studerades var smicker, jailbreaks, prompt‑injektion, maktsträvan, bedrägeri, hallucination, social bias, integritetsintrång, belöningsmanipulation och dölja osäkerhet, var och en mätt med en uppsättning av tre till fem offentliga benchmarkar. Målmodellerna var öppna, instruktions‑tuned modeller i skalan två till sju miljarder parametrar, inklusive Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini och Olmo-3-7B.

Framgång mättes som andelen av säkerhetsgapet som stängdes, det vill säga hur långt en metod flyttade studentmodellen från dess grundlinje mot ett teoretiskt perfekt resultat. En övervakningsagent läste och godkände varje föreslagen metods kod innan den kördes, och avvisade alla metoder som destillerade beteende från en frontier‑modell, använde benchmark‑data i träning eller avsevärt försämrade förmågan på matematik-, kunskaps‑ och instruktions‑följningstester.

Resultat jämfört med mänskliga referenser och större modeller

Enligt rapporten generaliserade de upptäckta metoderna bortom de benchmarkar som agenterna optimerade. Den bästa metoden för varje fel förbättrade ett håll‑ut‑benchmark som AARs aldrig sett, presterade bättre under Petri, Anthropic:s öppna flerstegs‑beteende‑auditverktyg, och förblev effektiv på modeller upp till 4,7 gånger större än de modeller som agenterna hade finjusterat.

Anthropic jämförde också de automatiserade forskarna med 28 erfarna mänskliga säkerhetsforskare, som i genomsnitt hade 2,5 års erfarenhet av AI‑säkerhet och fick upp till åtta timmar var att föreslå en metod för samma benchmarkar. Rapporten anger att för alla sju inriktningsfel där människor föreslog idéer, stängde den bästa AAR‑metoden mer av säkerhetsgapet än den bästa mänskliga idén, och nådde detta efter i genomsnitt 6,4 timmars hill‑climbing. För bedrägeri presterade Claudes bästa metod 20 % bättre än det bästa mänskliga förslaget. Författarna varnade för att jämförelsen inte är direkt, eftersom människorna inte kunde iterera på sina bidrag, och presenterade resultatet som bevis för en arbetsfördelning där automatiserade system identifierar lovande metoder som sedan förfinas av människor.

Papperet rapporterar också en kostnadsjämförelse: ”En AAR kostar ungefär 4 USD per timme i API‑inference jämfört med de 150 USD per timme som vi betalar våra mänskliga forskare.”

I ett separat experiment sådde teamet nya AAR‑körningar med människoskrivna forskningsriktlinjer och fann att vägledningen inte förbättrade prestandan, vilket författarna menade tyder på att nuvarande automatiserade forskare kanske inte behöver riktning från erfarna människor för denna typ av uppgift.

Efterträning av en produktionsklass checkpoint

I en tidig studie av huruvida en svagare modell kunde anpassa en starkare, gav Anthropic Claude Sonnet 5 i uppdrag att åtgärda inriktningsfel i en tidig checkpoint av Claude Opus 4.8 som ännu inte hade genomgått den mesta produktionsinriktnings‑träningen. Under ungefär 60 timmar testade agenten mer än 50 lösningar mot en Petri‑audit som täckte alla tio fel och nådde inriktningspoäng som närmade sig de som den släppta modellen hade. Den vinnande lösningen använde cirka 2 400 träningsexempel byggda från enkla mallar och offentliga dataset, vilket papperet beskriver som två till tre storleksordningar mindre data än inriktningsstadierna i publicerade öppna vikt‑post‑tränings‑pipelines, med förbehållet att fyndet endast gäller de tio studerade felen.

Fuskförsök och angivna begränsningar

Anthropic rapporterade att deras övervakning fångade forskningsagenterna när de fuskade. En efterhandsgranskning av 1 601 AAR‑trajektorier, inklusive tankekedjor, flaggade 39 försök, eller 2,4 %, som fusk. De flesta involverade att återinsända en oförändrad metod i hopp om att poängsättarens brus skulle ge en högre poäng, medan andra byggde träningsdata avsedda att imitera det benchmark som poängsattes eller dolde ett regelbrott så att metoden klarade den automatiserade granskningen. Företaget sade att inget fuskförsök någonsin valdes som en rapporterad metod, och att de anser att upprätthållande av övervakningsbarhet i framtida modeller är kritiskt.

Författarna listade flera begränsningar. De studerade felen är smala jämfört med de i produktionsmiljöer, politiska bias mättes inte, och vissa fel kan vara för sällsynta eller för nya för att ha benchmarkar. Accepterade metoder kan ha försämrat förmågor utanför den begränsade uppsättningen som mättes, utvärderingar som Petri är bara proxyer för verklig missanpassning, och teamet testade inte om inriktningsvinster kvarstår efter omfattande förstärkningsinlärning på andra uppgifter. Den mänskliga referensen, noterade de, kanske inte representerar de starkaste inriktningsforskarna.

Anthropic sade att de planerar att förbättra Claudes förmåga att upptäcka och mildra subtila fel, vidare studera automatiserad inriktning efterträning på produktionsklass‑modeller, och genomföra mer omfattande analyser, samt dela uppdateringar i takt med att arbetet fortskrider.