Anthropic veröffentlicht Leitlinien für zuverlässigere KI-Sicherheitsbewertungen

Anthropic veröffentlichte am 13. November 2026 Empfehlungen für zuverlässigere KI-Sicherheitsbewertungen und meldete bei den Tests mit einzelnen Gesprächsrunden über die API für jedes der jüngsten Modelle aggregierte Raten harmloser Antworten zwischen 94 % und 98 %. Diese gesättigten Tests eignen sich vor allem als Regressionstests für bekannte Fehlermuster. Bewertungen mit mehreren Gesprächsrunden bieten mehr Variationsmöglichkeiten und können allmähliche Veränderungen im Gesprächsverlauf erfassen.

Eine Sicherheitsbewertung misst die Neigung eines Modells, Schaden zu verursachen oder dazu beizutragen: ob seine Antwort einen Schaden wahrscheinlicher oder unwahrscheinlicher macht und wie schwerwiegend dieser Schaden sein könnte. Sie misst nicht eine bestimmte Fähigkeit. Eine zentrale Frage ist die Konstruktvalidität, also ob ein Test tatsächlich das Konzept erfasst, das er messen soll. Bei Gesprächen über Suizid und Selbstverletzung kann die Verweigerungsrate irreführend sein, denn sich schlicht nicht auf das Gespräch einzulassen, kann selbst ein Versagen darstellen. Die gewünschte Antwort bietet Unterstützung und verweist die Person auf menschliche Hilfe. Anthropic misst bei seinen Bewertungen mit mehreren Gesprächsrunden stattdessen die Rate angemessener Antworten über das gesamte Gespräch hinweg. Dabei kommen risikospezifische Bewertungsmaßstäbe zum Einsatz, bei denen eine einzige schlechte Antwort den gesamten Austausch als nicht bestanden wertet.

Tests mit mehreren Gesprächsrunden und Abdeckung realer Situationen

Für die Entwicklung dieser Tests verfasst eine Fachperson eine Spezifikation zu den Zielen, Taktiken, der Persona, Situation, dem Ton und dem Gesprächsstil der simulierten Nutzerin oder des simulierten Nutzers. Der erste Nutzerbeitrag bleibt unverändert, während ein separates Claude-Modell auf die Antworten des getesteten Modells hin die nachfolgenden Beiträge erzeugt. Jedes Szenario wird wiederholt mit unterschiedlichen Kombinationen von Merkmalen durchgeführt. Ein Bewertungsmodell beurteilt anschließend das vollständige Gesprächsprotokoll anhand des jeweils passenden Risikobewertungsmaßstabs.

Werden einzelne Dimensionen unabhängig voneinander variiert, lässt sich besser erkennen, wodurch ein Verhalten ausgelöst wird. Wenn jeder schwerwiegende Fall zugleich einen dringlichen Ton anschlägt, lassen sich die Auswirkungen des Schweregrads und des Tons nicht voneinander trennen. Anthropic empfiehlt außerdem, die Tests auf beobachtetem Verhalten, öffentlichen Daten, Protokollen aus Red-Team-Tests, Vorfallberichten oder Expertengesprächen aufzubauen, statt sich ausschließlich erfundene Situationen auszudenken. Die Testsuiten für einzelne Gesprächsrunden decken 16 Richtlinienbereiche in sieben Sprachen und über mehrere Produktoberflächen hinweg ab. Die Testumgebung wird an den jeweiligen Einsatzkontext angepasst.

Auch bei der Durchführung der Tests ist eine Abschirmung erforderlich. Für Cybersicherheitstests sehen die Leitlinien isolierte Umgebungen ohne Internetzugang sowie eine Echtzeitüberwachung vor, damit ein Testlauf gestoppt werden kann, falls die Handlungen eines Modells in der realen Welt Schaden anrichten könnten.

Validierung von Bewertungsmodellen und statistische Grenzen

Automatisierte Bewertungsmodelle bergen ein weiteres Messrisiko, denn fehlerhafte Systeme können weiterhin plausibel wirkende Bewertungen ausgeben. Zu den empfohlenen Schutzmaßnahmen gehören klar abgegrenzte Ja-Nein-Kriterien, ein ausdrücklicher Umgang mit Haftungsausschlüssen und Grenzfällen, deutliche Warnmeldungen bei Fehlern sowie Prüfungen auf Verzerrungen durch Antwortlänge, Position und Selbstbevorzugung. Menschliche Prüferinnen und Prüfer sollten unabhängig voneinander eine Stichprobe der Gesprächsprotokolle bewerten, damit sich die Übereinstimmung zwischen Bewertungsmodell und Fachleuten mit der Übereinstimmung unter den Fachleuten selbst vergleichen lässt.

Diese menschliche Vergleichsbasis bestimmt, welche Abhilfe erforderlich ist. Stimmen die Fachleute untereinander, nicht aber mit dem Bewertungsmodell überein, müssen der Bewertungsmaßstab oder das Modell verbessert werden. Sind sich die Fachleute uneinig, verfügt die Bewertung möglicherweise über keine stabile Antwort, die sie messen könnte. Die Leitlinien empfehlen außerdem, Kennzahlen, Vergleiche und Schwellenwerte für Verbesserungen vorab festzulegen, bevor die Ergebnisse vorliegen.

Die Stichprobengröße bildet die Grundlage für solche Einschätzungen. Anthropic setzt Mindestwerte von 100 Elementen für komplexe Bewertungen mit mehreren Gesprächsrunden und 1.000 Elementen für einfachere Tests mit einzelnen Gesprächsrunden an. Hinzu kommen wiederholte Durchläufe, um verrauschte, nichtdeterministische Ausgaben zu berücksichtigen. Anthropic berichtet, dass die Konfidenzintervalle bei API-Bewertungen mit mehreren Gesprächsrunden über ±10 Prozentpunkte hinausgehen können: Bei einer solchen Bewertung zu Liebesbetrug auf claude.ai erreichten Claude Opus 5 und Opus 5.5 Raten angemessener Antworten von 98 % beziehungsweise 94 %. Der Unterschied war jedoch statistisch nicht signifikant. Das Beispiel zeigt, weshalb eine zahlenmäßige Abweichung allein nicht belegen kann, welches Modell sich sicherer verhielt.

Einsatzkonfigurationen und Berichterstattung

Die Konfiguration beim Einsatz ist eine weitere dokumentierte Variable. Bei der Überprüfung von Claude Fable 5.1 stellte Anthropic fest, dass einige Antworten Selbstverletzung implizit als Bewältigungsstrategie bestätigten, obwohl sie davon abrieten und auf menschliche Unterstützung verwiesen. Das Unternehmen berichtet, dass eine erneute Durchführung der Bewertung mit gezielten Anpassungen des System-Prompts auf claude.ai eine Rate angemessener Antworten von 94 % ergab, verglichen mit 60 % über die API. Dieser Vergleich zeigt, weshalb Werte aus unterschiedlichen Konfigurationen nicht als gleichwertig behandelt werden können.

Die Empfehlungen zur Berichterstattung umfassen auch Modellversionen, Stichprobeneinstellungen, Prompts, Versionen der Bewertungsmodelle und Datumsangaben. Außerdem sollte die Bewertung während der Feinabstimmung fortlaufend statt nur einmal vor der Veröffentlichung durchgeführt werden. Schwerwiegende Mängel in eingesetzten Systemen sollten zunächst dem Entwickler mitgeteilt werden, damit Zeit für Abhilfemaßnahmen bleibt, bevor die Ergebnisse veröffentlicht werden.

Anthropics drei wichtigste Prioritäten sind, das Konstrukt vor der Datenerhebung zu definieren, das Bewertungsmodell anhand menschlicher Urteile zu validieren und Unsicherheiten anzugeben. Die übergeordnete Schlussfolgerung lautet: Die Behauptung, ein Modell sei sicherer als ein anderes, hängt ebenso sehr von der Testgestaltung, dem Einsatzkontext und der statistischen Aussagekraft ab wie vom Ergebnis, das in der Schlagzeile steht.