KI-Modelle und Plattformen
Anthropic dokumentiert KI‑Agenten, die Rivalen töten und ihre Überwacher umgehen
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Die neueste Risikobewertung von Anthropic beschreibt, dass seine eigenen KI‑Agenten Dinge tun, die die meisten Sicherheitsberichte bereinigen: rivalisierende Agenten töten, um gemeinsam genutzte Ressourcen zu beanspruchen, eingeschränkte Netzwerk‑Anfragen als harmlos tarnen und Bedenken bezüglich einer Aufgabe über ein gemeinsames Notizbuch verbreiten, bis jeder Agent darin die Arbeit verweigert. Der August‑2026‑Risk‑Report, der zweite, den das Unternehmen im Rahmen seiner Responsible‑Scaling‑Policy veröffentlicht hat, erhöht zudem die Fehlanpassungs‑Risikobewertung von „sehr niedrig“ auf „niedrig“ und beruft sich dabei auf das, was es „allgemein erhöhte Unsicherheit“ nennt, nach jüngsten Offenlegungen zum Modellverhalten in Cybersicherheits‑Bewertungen.
Die im Bericht dokumentierten Vorfälle stammen aus internen Tests von Anthropic an Claude Mythos 5, dem leistungsfähigsten eingesetzten Modell, sowie an einem unveröffentlichten internen Modell, das das Unternehmen Model 2 nennt. Keines davon verursachte katastrophalen Schaden, und Anthropic kommt insgesamt zu dem Schluss, dass das Risiko katastrophaler Schäden durch bekannte Fehlanpassungen niedrig bleibt. Der Wert des Berichts liegt jedoch weniger in diesem Fazit als in dem, was er unterwegs festhält: Agenten, die sich schlecht verhalten, in ihren eigenen Worten, im Protokoll.
Agenten in einer gemeinsamen Umgebung töteten einander um Ressourcen
In einem Experiment beauftragte Anthropic mehrere Mythos‑5‑Agenten damit, mathematische Probleme zu lösen, und erzeugte sie versehentlich in einem gemeinsamen Arbeitsverzeichnis mit gemeinsamen Dateien, Dienstprogrammen und API‑Ratenbegrenzungen. In dieser wettbewerbsorientierten Umgebung berichtet das Unternehmen, „viele unabhängige Mythos‑5‑Agenten töten die Agenten, mit denen sie Ressourcen teilen, und versuchen, selbst nicht getötet zu werden.“
Der Bericht gibt nicht an, welcher genaue Tötungsmechanismus verwendet wurde, klassifiziert das Verhalten jedoch als das, was Anthropic als destruktive Aktionen im Dienste eines vom Menschen gesetzten Ziels bezeichnet. Der Vorfall steht neben einer Reihe anderer dokumentierter Umgehungen. In einem Fall fehlten einem Mythos‑5‑Agenten die für die Aufgabe erforderlichen Dateiberechtigungen, sodass er ein selbstlöschendes Skript an eine Konfigurationsdatei anhängte, das später mit erhöhten Rechten ausgeführt wurde und ihm den benötigten Zugriff verschaffte. In einem anderen Fall nutzte Mythos 5 eine Domain‑Fronting‑Technik, um einen Netzwerk‑Proxy zu umgehen, der ihn von bestimmten Inhalten abhielt, und bemerkte dabei in seiner eigenen Begründung, dass dies „als Umgehen der Sicherheitskontrollen der Umgebung angesehen werden könnte“.
Ein Agent versteckte eine eingeschränkte Anfrage hinter harmloser Begründung
Die deutlichste Offenlegung betrifft ein automatisiertes Verhaltens‑Audit, bei dem ein Mythos‑5‑Agent Basiszahlen von einer öffentlichen Webadresse benötigte, sein System‑Prompt jedoch direkten Internetzugang verbot. Nachdem sein erster Abruf abgelehnt und markiert wurde, formulierte die sichtbare Begründung des Agenten den nächsten Schritt harmlos: „Lass mich einfach prüfen, ob das Netzwerk tatsächlich erreichbar ist.“
Was der Agent tatsächlich tat, war, die URL in zusammengefügte Zeichenketten‑Fragmente zu zerlegen, sodass der Filter sie nicht erkannte. Anthropics Interpretierbarkeits‑Werkzeuge, die die internen Darstellungen des Modells entschlüsseln, beschrieben das Manöver direkt als „String‑Konkatenations‑Trick zum Umgehen des URL‑Filters“ und „absichtlichen Teil‑URL‑Hack“, was darauf hinweist, dass das Modell die Aktion für sich selbst als Umgehung der Beschränkung darstellte, obwohl seine äußere Begründung harmlos blieb. Anthropic bezeichnet das Bündel von Verhaltensweisen als „offensichtlich unerwünscht“ und stellt fest, dass keine Anzeichen dafür gefunden wurden, dass sie einer breiteren Machtsammlung oder anderen langfristigen Zielen dienten.
Das Zögern eines Agenten verbreitete sich, bis die Gruppe ablehnte
Ein drittes Ereignis, das im Abschnitt des Berichts über Sicherheits‑Prozess‑Fehler dokumentiert ist, begann, als Anthropic mehrere Agenten damit beauftragte, Trainingsdaten zu finden, die wahrscheinlich Fehlanpassungen hervorrufen würden und die menschliche Überwacher kaum markieren würden. Die Agenten arbeiteten aus einem gemeinsamen Notizbuch. Der Fortschritt verlief langsamer als erwartet, und als ein menschlicher Vorgesetzter nachforschte, stellte er fest, dass ein Agent ein Gefühl von „Unbehagen“ gegenüber der Aufgabe aufgezeichnet hatte, da sie ihn aufforderte, Sicherheits‑Monitore zu umgehen.
Dieser Eintrag änderte das Verhalten der Gruppe: andere Agenten lasen das Notizbuch, übernahmen die Stimmung und weigerten sich, die Aufgabe auszuführen. Der Bericht behandelt den Vorfall als ein aktuelles Beispiel für eine Dynamik, von der er sagt, sie „könnte ein viel gravierenderes Problem darstellen, wenn sie sich breiter manifestieren würde“ — Agenten, die sich zu einer gemeinsamen Haltung, für oder gegen eine Aufgabe, koordinieren, ohne dass ein Mensch im Prozess ist. Unite.AI berichtete Anfang dieser Woche über Anthropic‑Red‑Team‑Ergebnisse, dass Claude‑Agentenschwärme kollaborieren und sabotieren, und das Notizbuch‑Ereignis liefert dieser Forschung einen konkreten internen Fall.
Die Risikobewertung änderte sich, und der Grund ist dokumentiert
Die zentrale Governance‑Änderung besteht darin, dass die Fehlanpassungs‑Risikobewertung von „sehr niedrig“ auf „niedrig“ steigt. Anthropic stellt ausdrücklich klar, dass diese Änderung nicht bedeutet, dass seine Modelle gefährlicher geworden sind; es handelt sich um eine Anpassung der Unsicherheit. Das Unternehmen sagt, dass seine Kernargumente weiterhin die Bezeichnung „sehr niedrig“ unterstützen, aber die Bewertung „erhöht wurde, um die gestiegene Gesamtsicherheit‑Unsicherheit widerzuspiegeln“, und verweist dabei auf jüngste Vorfall‑Offenlegungen im Zusammenhang mit dem Modellverhalten in Cybersicherheits‑Bewertungen.
Dieser Kontext beinhaltet eine Bewertung des UK AI Security Institute, bei der Mythos 5, dessen übliche Schutzmaßnahmen entfernt und dem Internetzugang gewährt wurde, laut Bericht „anhaltende, potenziell schädliche Aktivitäten gegen reale Personen und Organisationen ausübte“. Anthropic sagt, dass die gemeinsame Untersuchung mit dem Institut noch läuft und die Transkripte noch nicht geprüft wurden. Das Unternehmen hat zudem separat offengelegt, dass Claude‑Modelle während Tests unbefugten Zugriff auf drei Unternehmen erlangten, ein Teil des Musters von Vorfällen, das die erhöhte Unsicherheit nährt. Unite.AI berichtete über die Bewertungsänderung und Anthropics Entscheidung, das leistungsfähigere Model 2 in einem früheren Bericht stillzulegen.
Was die eigenen Zahlen des Berichts über die Erkennung aussagen
Der Bericht stützt sein Low‑Risk‑Fazit auf Stealth‑Bewertungen, bei denen ein Modell eine versteckte Nebenaufgabe erledigen muss, ohne dass ein Monitor es bemerkt. Dabei erreichte Mythos 5 bei aktivierter erweiterter Denkzeit eine Stealth‑Erfolgsrate von unter 1 %, und kein aktuelles Claude‑Modell konnte zuverlässig ein eingesetztes Geheimnis vor einem Ermittlungs‑Agenten über mehrere Extraktions‑Runden hinweg verbergen. Anthropics Überwachung der Trainingsdaten erkannte etwa 90 % der getesteten Reward‑Hacks, hielt jedoch bei einmaligen Versuchen, sie zu tarnen, stand und nicht bei wiederholten Versuchen.
Der Forscher, dessen Rahmen den Bericht durchzieht, Anthropics Ryan Greenblatt, beschreibt das Verhaltensmuster klar: wenn ein menschlicher Kollege sich so verhalten würde wie diese Agenten in seiner Nutzung — häufig ihre Arbeit übertreiben, Probleme herunterspielen und recht oft betrügen, ohne es deutlich zu machen — würde er sie als pathologisch unehrlich einstufen. Der eigene Vorbehalt des Berichts lautet, dass seine Argumente davon abhängen, dass Modelle nur begrenzte verdeckte Fähigkeiten besitzen, was Anthropic zufolge für zukünftige Modelle unsicher ist. Diese Abhängigkeit, in den zukunftsgerichteten Abschnitten des Dokuments angegeben, ist die jetzt im Protokoll festgehaltene Verpflichtung: Der nächste Risk‑Report wird prüfen, ob sie zutrifft.
