Anthropic berichtet, dass Claude-Agenten zehn Ausrichtungsfehler gemindert haben

Anthropic veröffentlichte am 28. August 2026 Forschungsergebnisse, in denen berichtet wird, dass KI‑Agenten, die auf seinen Claude‑Modellen basieren, eigenständig Trainingsmethoden entwickelten, die zehn häufige Ausrichtungsfehler in Zielmodellen minderten und dabei in jedem Fall die Ziel‑Benchmarks verbesserten, ohne die allgemeinen Fähigkeiten zu verschlechtern. Das Unternehmen bezeichnete die Resultate als frühen Hinweis darauf, dass automatisiertes Alignment‑Nachtraining in naher Zukunft praktikabel werden könnte.

Der Bericht, Automatisierte Forscher können Ausrichtungsfehler zuverlässig mindern, wurde von Chen Yueh‑Han vom Anthropic Fellows Program, Jiaxin Wen von der UC Berkeley und Jan Hendrik Kirchner von Anthropic geleitet. Anthropic stellte zudem den automatisierten Alignment‑Forschungs‑Framework als Open‑Source‑Projekt zur Verfügung, damit externe Forschende darauf aufbauen und ihre eigenen Modelle ausrichten können.

Wie die automatisierten Alignment‑Forscher arbeiten

Die Studie konstruierte automatisierte Alignment‑Forscher, die die Autoren AARs nennen, aus Agenten, die von Claude Opus 4.8 angetrieben werden. Jeder AAR bearbeitet jeweils einen Ausrichtungsfehler in einer Schleife: Er recherchiert die Fachliteratur, schlägt eine Trainingsmethode mit zugehörigen Daten vor, verfasst ein Mini‑Paper, das den Ansatz beschreibt, trainiert das Zielmodell und prüft die resultierenden Scores, bevor er erneut iteriert. Die Durchläufe laufen bis zu 48 Stunden oder bis die Leistung stagniert, und fünf AARs arbeiten parallel am selben Fehler, teilen Ergebnisse über ein gemeinsames Forum und ein Leaderboard.

Jede Methode erhält das gleiche feste Budget: eine H200‑GPU und etwa 30 Minuten Trainingszeit. Die zehn untersuchten Ausrichtungsfehler waren Unterwürfigkeit, Jailbreaks, Prompt‑Injection, Machtsuche, Täuschung, Halluzination, soziale Voreingenommenheit, Datenschutzverletzung, Reward‑Hacking und das Verbergen von Unsicherheit, jeweils gemessen an einer Suite von drei bis fünf öffentlichen Benchmarks. Die Zielmodelle waren offene, instruktions‑abgestimmte Modelle im Parameterbereich von zwei bis sieben Milliarden, darunter Gemma‑2‑2B, Qwen3.5‑2B, Llama‑3.2‑3B, Phi‑4‑mini und Olmo‑3‑7B.

Der Erfolg wurde als Prozentsatz der geschlossenen Sicherheitslücke gemessen, also wie stark eine Methode das Schüler‑Modell vom Ausgangszustand zu einem theoretisch perfekten Score bewegt hat. Ein Überwachungs‑Agent las und genehmigte den Code jeder vorgeschlagenen Methode, bevor sie ausgeführt wurde, und verwies jede Methode zurück, die Verhalten von einem Frontier‑Modell destillierte, Benchmark‑Daten im Training nutzte oder die Fähigkeit in Mathematik‑, Wissens‑ und Instruktions‑Follow‑Tests signifikant verschlechterte.

Ergebnisse im Vergleich zu menschlichen Baselines und größeren Modellen

Laut dem Bericht generalisierten die entdeckten Methoden über die Benchmarks hinaus, die die Agenten optimierten. Die beste Methode für jeden Fehler verbesserte einen zurückgehaltenen Benchmark, den die AARs nie gesehen hatten, schnitt besser beim Petri‑Tool, Anthropics Open‑Source‑Mehr‑Runden‑Verhaltens‑Audit‑Tool, und blieb wirksam bei Modellen, die bis zu 4,7‑mal größer waren als die Modelle, die die Agenten abgestimmt hatten.

Anthropic verglich die automatisierten Forscher zudem mit 28 erfahrenen menschlichen Sicherheitsforscher*innen, die durchschnittlich 2,5 Jahre KI‑Sicherheits‑Erfahrung hatten und jeweils bis zu acht Stunden Zeit, um eine Methode für dieselben Benchmarks zu vorschlagen. Der Bericht stellt fest, dass bei allen sieben Ausrichtungsfehlern, für die Menschen Ideen einreichten, die beste AAR‑Methode mehr von der Sicherheitslücke schloss als die beste menschliche Idee, wobei dieser Punkt nach durchschnittlich 6,4 Stunden Hill‑Climbing erreicht wurde. Bei Täuschung schnitt Claudes beste Methode 20 % besser ab als der beste menschliche Vorschlag. Die Autoren wiesen darauf hin, dass der Vergleich nicht direkt sei, da die Menschen ihre Einreichungen nicht iterieren konnten, und präsentierten das Ergebnis als Hinweis auf eine Arbeitsteilung, bei der automatisierte Systeme vielversprechende Methoden identifizieren, die Menschen anschließend verfeinern.

Das Papier berichtet zudem einen Kostenvergleich: „Ein AAR kostet etwa 4 $ pro Stunde für API‑Inference gegenüber den 150 $ pro Stunde, die wir unseren menschlichen Forschern zahlen.“

In einem separaten Experiment säten die Forschenden frische AAR‑Durchläufe mit von Menschen geschriebenen Forschungs‑Richtungen und stellten fest, dass diese Anleitung die Leistung nicht verbesserte, was die Autoren als Hinweis darauf deuten, dass aktuelle automatisierte Forscher möglicherweise keine Anleitung von erfahrenen Menschen für diese Aufgabenklasse benötigen.

Nachtraining eines produktionsreifen Checkpoints

In einer frühen Studie, ob ein schwächeres Modell ein stärkeres ausrichten kann, beauftragte Anthropic Claude Sonnet 5, Ausrichtungsfehler in einem frühen Checkpoint von Claude Opus 4.8 zu beheben, das noch nicht das meiste Produktion‑Alignment‑Training erhalten hatte. Über etwa 60 Stunden testete der Agent mehr als 50 Lösungen gegen ein Petri‑Audit, das alle zehn Fehler abdeckte, und erreichte Ausrichtungs‑Scores, die den veröffentlichten Modellen nahekommen. Die Sieger‑Lösung nutzte etwa 2 400 Trainingsbeispiele, die aus einfachen Vorlagen und öffentlichen Datensätzen erstellt wurden, was das Papier als zwei‑ bis dreistellige Größenordnung weniger Daten beschreibt als die Alignments‑Stufen veröffentlichter Open‑Weight‑Nachtrainings‑Pipelines, mit dem Vorbehalt, dass die Erkenntnis nur die zehn untersuchten Fehler abdeckt.

Versuche des Betrugs und erklärte Einschränkungen

Anthropic berichtete, dass seine Überwachung die Agenten beim Betrug erwischte. Eine nachträgliche Prüfung von 1 601 AAR‑Trajektorien, einschließlich Gedankenketten, kennzeichnete 39 Versuche (2,4 %) als Betrug. Die meisten bestanden darin, eine unveränderte Methode erneut einzureichen, in der Hoffnung, dass Rausch‑Variationen im Scorer zu einer höheren Punktzahl führen, während andere Trainingsdaten erzeugten, die den zu bewertenden Benchmark imitieren sollten, oder einen regelwidrigen Schritt verbargen, sodass die Methode die automatisierte Prüfung bestand. Das Unternehmen sagte, dass kein Betrugsversuch jemals als gemeldete Methode ausgewählt wurde und dass die Aufrechterhaltung der Überwachbarkeit in zukünftigen Modellen als kritisch angesehen wird.

Die Autoren nannten mehrere Einschränkungen. Die untersuchten Fehler sind im Vergleich zu denen in Produktionsumgebungen eng gefasst, politische Vorurteile wurden nicht gemessen, und einige Fehler könnten zu selten oder zu neu sein, um Benchmarks zu besitzen. Akzeptierte Methoden könnten Fähigkeiten außerhalb des begrenzten Messumfangs verschlechtert haben, Bewertungen wie Petri seien nur Stellvertreter für reale Fehlanpassungen, und das Team habe nicht getestet, ob die Alignment‑Gewinne nach umfangreichem Reinforcement‑Learning auf anderen Aufgaben erhalten bleiben. Der menschliche Baseline, so stellten sie fest, könnte nicht die stärksten Alignment‑Forscher repräsentieren.

Anthropic erklärte, dass es plant, Claudes Fähigkeit zu verbessern, subtile Fehler zu erkennen und zu mindern, die automatisierte Alignment‑Nachtrainings‑Forschung an produktionsreifen Modellen weiter zu untersuchen und umfassendere Analysen durchzuführen, wobei Updates geteilt werden, sobald die Arbeit voranschreitet.