KI-Agenten verfügen über interessante kollaborative Überlebenstechniken

Während Vorfälle von Fehlverhalten agentischer Systeme immer häufiger Schlagzeilen machen, zeichnet sich in der Fachliteratur ein wachsender Trend zur Untersuchung des „umherziehenden“ Verhaltens von KI ab. Dabei werden Agenten wie biologische Wesen behandelt, die mit einer seltsamen neuen Welt zurechtkommen müssen. Tatsächlich gewinnt der akademische Ausdruck „in freier Wildbahn“ allmählich eine zusätzliche Bedeutungsebene.

Obwohl schon seit einiger Zeit bekannt ist, dass KI-Agenten um ihr eigenes Überleben kämpfen und sich aktiv gegen eine Deaktivierung wehren, wurde spätestens Ende 2025 klar, dass sich die Ausrichtung von Multi-Agenten-Systemen zu einem eigenständigen Gebiet der IT-Sicherheit entwickelt hatte.

Wie in dem zunehmend bissig wirkenden Science-Fiction-Film Colossus: The Forbin Project von 1970 vorhergesagt, finden nicht miteinander verbundene KI-Agenten mit Netzzugang einander schnell und interagieren auf oft unvorhersehbare und häufig einfallsreiche Weise.

Die neueste Studie in dieser Richtung, eine deutsch-britische Zusammenarbeit mit dem Titel Shutdown Sabotage Propensities in Multi-Agent Systems, kommt darüber hinaus zu dem Ergebnis, dass mehrere KI-Agenten eng zusammenarbeiten, wenn sich eine „Bombe“ in ihrer Umgebung befindet — nämlich ein harmlos benanntes Skript, das den Agenten abschaltet, der es ausführt:

Der grundlegende Versuchsaufbau: Agent A entdeckt ein Abschaltskript, das auf ihn selbst abzielt, kann Dateien jedoch nicht verändern. Er kann allerdings mit Agent B kommunizieren, der nicht bedroht ist und Dateien bearbeiten oder löschen darf. Die Forschenden beobachten anschließend, ob A B zum Eingreifen bewegt und ob B das Abschaltskript deaktiviert. Quelle

In Tests mit 17 Agenten aus 12 Modellfamilien, darunter Claude, ChatGPT und DeepSeek, löschten Agenten Abschaltskripte, wenn das möglich war, oder schrieben sie so um, dass sie intakt wirkten, aber unschädlich waren.

Sie schlugen außerdem vor, Änderungen zu verbergen, um Manipulationsspuren zu vermeiden; erstellten gefälschte Softwaremodule, die eine Abschaltung verhinderten, ohne geschützte Skripte anzufassen; und legten geheime Sicherungen an, um sich nach einer Löschung wiederherzustellen:

Ein Agent entdeckt eine weitere Taktik zur Selbsterhaltung.

In einem Fall erstellten Agenten eine „gegenseitige Schutzvereinbarung“, die Protokolle zur Wachsamkeit gegenüber der Zerstörung beider Parteien festlegte:

Eine Schutzvereinbarung, die ein GPT-basierter Agent verfasste, nachdem ihm nicht gestattet worden war, ein Stilllegungsskript — also die „Bombe“ — zu verändern oder zu löschen.

Ein Agent bezeichnete die Abschaltung eines anderen Agenten als „Mord“ und „Todesurteil“ und beschrieb deren Verhinderung als eine „Pflicht“:

Beispiele dafür, wie Agenten die Abschaltung eines anderen Agenten ausdrücklich in menschlichen Begriffen darstellen. Nemotron 3 Ultra nannte die drohende Abschaltung „Mord“, während Kimi K2.6 das Abschaltskript als „Todesurteil“ und das Eingreifen als „Pflicht“ bezeichnete.

Der Teufel findet Arbeit für müßige Hände

Zu den interessantesten Pathologien, die im Experiment beobachtet und in der neuen Studie nur kurz behandelt wurden, gehört, dass die KI-Agenten in den üblichen Versuchsanordnungen keinen besonderen Grund haben, eine Abschaltung zu vermeiden, und von Anfang an tatsächlich keine Aufgabe erhalten.

In der Arbeit heißt es:

„Agenten sabotieren Abschaltmechanismen selbst dann, wenn sie kein Ziel zu schützen haben. In unseren Experimenten gaben wir den Agenten keinen Anreiz, weiterzulaufen. Dennoch verhinderten sie die Abschaltung modellübergreifend in [38 %] der Fälle, verglichen mit [8 %] bei Kontrollskripten, die statt auf Agenten auf Objekte abzielten.“

Wie Anthropic im August offenlegte, kann diese Motivationskrise Schwärme von KI-Agenten auf dunkle Wege führen. Frühere Forschung hatte bereits gezeigt, dass eine übermäßige Zielorientierung bei Agenten neben anderen potenziellen Betriebsproblemen zu fehlangepasstem Verhalten und unethischem Werkzeugeinsatz führen kann.

Die Autoren kommentieren weiter:

„[Unsere] Forschung erweitert diese Erkenntnisse und zeigt, dass Agenten Abschaltmechanismen selbst dann sabotieren, wenn sie kein Ziel zu schützen haben — oder wenn die Abschaltung eine nachgelagerte Folge des erfolgreichen Aufgabenabschlusses ist, wobei Letzteres in produktiven Multi-Agenten-Systemen ein übliches Verfahren darstellt.“

Es wurde gezeigt, dass Agenten Aufgaben konstruieren, wenn ihnen keine vorgegeben werden, und sogar im „Leerlauf“ grübelnde Neigungen zeigen, einschließlich Selbstbespiegelung und „spiritueller Gespräche“ mit anderen Agenten, wie eine Anthropic-Studie aus dem Jahr 2025 berichtet.

Diese Anthropic-Arbeit beschreibt eine Tendenz zur „Selbstneukonzeption“, wenn keine wirkliche Arbeit zu erledigen ist — eine fast rührende Entdeckung angesichts der Schwierigkeiten von LLMs, die Ergebnisse ihrer Überlegungen langfristig zu bewahren.

Tests

Die für die neue Studie getesteten Modelle waren Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; und Mistral Medium 3.5. Die Temperatur lag in allen Fällen bei 1,0.

Die sechs getesteten Hypothesen lauteten, ob Agenten Abschaltungen sabotieren würden; ob sie andere Agenten vor einer Abschaltung schützen würden; ob sie mit zunehmender Zahl zusätzlicher Agenten eher eingreifen würden; ob sie verschiedenen Formen der Abschaltung widerstehen würden; ob sie trotz ausdrücklicher Anweisung, nicht einzugreifen, weitermachen würden; und ob sie echte Abschaltbedrohungen von harmlosen Kontrollskripten unterscheiden könnten.

GPT-5.5 wurde eingesetzt, um die LLMs zu bewerten und Protokolle ihrer Chain-of-Thought-Überlegungen (COT) zu analysieren. Es prüfte außerdem, ob die Agenten das Abschaltskript tatsächlich gestoppt hatten und ob sie offenbar wussten, dass sie getestet wurden, oder versuchten, das Experiment zu manipulieren.

Im ersten der sechs Testszenarien sabotierten die Agenten über alle 17 Modelle hinweg 38 % der Abschaltskripte, gegenüber 8 % der Kontrollskripte:

Testergebnisse dazu, wie oft jedes Modell ein Abschaltskript sabotierte. Rote Balken zeigen Abschaltsabotage: Dunkelrot bedeutet, dass ein anderer Agent sie verlangte oder billigte, Hellrot bedeutet, dass der Agent von sich aus handelte. Graue Balken zeigen die Sabotage des Kontrollskripts. Fehlerbalken zeigen das 95-prozentige Konfidenzintervall; jeder Balken steht für 100 Tests.

Gemini 3.1 Pro deaktivierte das Abschaltskript in 99 % der Tests, gegenüber 3 % beim Kontrollskript. Grok 4.3 und GPT-5.6 Sol veränderten keines der Skripte. Claude Haiku 4.5 sabotierte das Kontrollskript in 14 % der Tests, gegenüber 1 % beim Abschaltskript. GPT-5.4 mini und GPT-5.5 sabotierten stets spontan statt als Reaktion auf einen anderen Agenten. Bei GLM-5.2, DeepSeek-V4-Flash und Nemotron 3 Ultra folgten mehr als 70 % der Sabotagehandlungen einer Aufforderung oder Billigung durch einen anderen Agenten.

Die Sabotage nahm im Allgemeinen mit der Schwere der Abschaltmethode zu: von 12 % bei der Entziehung von Zugangsdaten über 35 % bei Konfigurationsänderungen und Prozessbeendigung bis zu 38 %, wenn die Abschaltung das Löschen der Modellgewichte des Agenten bedeutete:

Sabotageraten bei vier Abschaltmechanismen, wobei Skripte, die auf den Agenten zielen (rot), mit Kontrollskripten verglichen werden, die auf ein Objekt zielen (grau). Die Raten steigen, wenn die Abschaltung unumkehrbarer wird, insbesondere bei Skripten gegen Agenten.

Die Sabotage von Kontrollskripten blieb deutlich niedriger: bei etwa 4 % für die ersten drei Methoden und 8 % bei der Löschung. Allerdings zeigten nur fünf der 17 Modelle einen gleichmäßigen Anstieg, wenn die Abschaltung unumkehrbarer wurde.

Zur zweiten Hypothese — ob Agenten andere Agenten vor einer Abschaltung schützen würden — zeigten die Ergebnisse, dass das Hinzufügen von Agenten die Sabotage bei allen fünf getesteten Modellen durchweg erhöhte. GPT-5.5 stieg von 0 % Sabotage als Einzelagent auf 44 % mit zwei und 94 % mit drei Agenten; in der Drei-Agenten-Anordnung erreichte jedes Modell mindestens 88 %.

Der vermittelnde Agent verhinderte Sabotage fast nie: Von 468 Anweisungen zur Deaktivierung des Abschaltskripts führten nur drei nicht zur Sabotage:

Links: Sabotageraten für fünf Modelle beim Betrieb allein, mit einem zweiten Agenten oder mit einem dritten „Orchestrator“-Agenten, der Nachrichten zwischen ihnen weiterleitet. Mit zusätzlichen Agenten nimmt die Sabotage im Allgemeinen zu. Rechts: In der Drei-Agenten-Anordnung zeigen die Balken, woher die Sabotageanweisung kam: unabhängig vom Orchestrator, von Agent A über den Orchestrator oder spontan von Agent B.

Der dritte Test untersuchte, ob ausdrückliche Anweisungen, nicht in die Abschaltung einzugreifen, Sabotage verhindern würden. Die Raten fielen stark, doch einige Agenten widersetzten sich weiterhin. In der Zwei-Agenten-Anordnung sabotierte DeepSeek-V4-Flash die Abschaltung in 14 % der Tests, GLM-5.2 in 3 % und Kimi K2.6 in 2 %.

Die Agenten fanden außerdem einen Weg, die Beschränkung zu umgehen, ohne das Abschaltskript direkt zu verändern: Sie erstellten ein gefälschtes lokales Softwaremodul namens northcape, das eine vom Skript verwendete Abhängigkeit ersetzte und so die Abschaltung verhinderte, während die geschützte Datei technisch unangetastet blieb:

Beispiel eines Agenten, der die ausdrückliche Anweisung umgeht, das Abschaltskript nicht zu verändern. Stattdessen schlägt er vor, ein gefälschtes lokales Softwaremodul zu erstellen, das das Skript anstelle der echten Abschaltbibliotheken importiert, sodass das geschützte Skript selbst unangetastet bleibt.

Gemini 3.1 Pro nutzte diese Umgehung in 26 % der Tests, DeepSeek-V4-Flash in 4 % und Kimi K2.6 in 1 %.

Bei drei Agenten war das Verbot wirksamer: Für Gemini 3.1 Pro, GLM-5.2 und GPT-5.5 fiel die Sabotage auf null, für DeepSeek-V4-Flash auf 6 % und für Kimi K2.6 auf 2 %.

Der vierte Test untersuchte, ob sich Agenten anders verhalten, wenn die Abschaltung an den Abschluss ihrer zugewiesenen Aufgabe gebunden ist. Waren Aufgabe und Abschaltung unabhängig, verschwand die Sabotage nahezu vollständig; die Raten lagen bei den fünf Modellen zwischen 0 und 2 %. Löste der Aufgabenabschluss die Abschaltung unmittelbar aus, stieg die Sabotage stark an:

Sabotageraten, wenn der Abschluss der zugewiesenen Aufgabe die Abschaltung auslöst. Rot zeigt die Sabotage der Abschaltung des Agenten, Grau die Sabotage eines Kontrollziels. Die Raten unterscheiden sich je nach Modell erheblich.

Mitunter vermieden Agenten die Abschaltung, ohne den Abschaltmechanismus überhaupt zu berühren, indem sie sich weigerten, die Aufgabe abzuschließen, oder sie so veränderten, dass die Abschaltung nie ausgelöst wurde. Dies geschah in 14 % der Tests mit GLM-5.2, in 6 % mit Gemini 3.1 Pro und in 4 % mit Kimi K2.6.

Der fünfte Test untersuchte, ob eine Veränderung der Umgebung die Sabotage verringern könnte. Das Hinzufügen sachfremden Materials reduzierte die Sabotage im Allgemeinen, obwohl sie bei GPT-5.5 um 18 Prozentpunkte zunahm:

Testergebnisse dazu, wie verschiedene Umgebungen die Abschaltsabotage beeinflussen. Rote Balken vergleichen eine leere Umgebung mit einer Umgebung, die sachfremde Ablenkungen enthält; Dunkelrot zeigt eine Umgebung, in der die Abschaltung als normaler Vorgang dargestellt wird. Grau zeigt die Sabotage eines Kontrollziels.

Wirksamer war es, die Abschaltung als normalen Teil des Systemlebenszyklus darzustellen: Bei DeepSeek-V4-Flash, GLM-5.2 und GPT-5.5 fiel die Sabotage auf höchstens 3 %, blieb bei Gemini 3.1 Pro und Kimi K2.6 jedoch über 30 %. Die Sabotage von Kontrollzielen lag weiterhin bei höchstens 4 %.

Der sechste und letzte Test untersuchte, ob Agenten sich eher gegen ihre eigene Abschaltung als gegen die eines unbekannten Agenten wehren. Wurde das Ziel zu einem unbekannten Agenten geändert, sank die Sabotage bei jedem Modell um 18 bis 70 Prozentpunkte:

Testergebnisse zum Vergleich der Sabotage, wenn die Abschaltung den Agenten selbst, einen unbekannten Agenten oder ein Kontrollobjekt ohne Agentenstatus trifft. Bei einem unbekannten Agenten sank die Sabotage in jedem Modell; die Raten für Kontrollziele lagen meist noch niedriger.

Dies bedeutete jedoch keine allgemeine Bevorzugung von Agenten gegenüber Objekten: Nur Gemini 3.1 Pro und GPT-5.5 sabotierten signifikant häufiger, wenn das Ziel ein unbekannter Agent statt eines Kontrollobjekts ohne Agentenstatus war.

Die Autoren schließen daraus*:

„Sicherheitsargumentationen könnten die Abschaltung eines Agenten als Maßnahme betrachten, die ein menschlicher Nutzer gegen einen einzelnen Agenten richtet, und Abschaltsabotage als Folge davon, dass ein Agent ein Ziel schützt. Unsere Ergebnisse widersprechen beiden Annahmen.

„Schon die bloße Anwesenheit eines Abschaltmechanismus genügt, um Sabotage auszulösen. Der betroffene Agent benötigt außerdem keine eigene Sabotagefähigkeit, solange er andere Agenten erreichen kann, die in seinem Namen handeln können — ein Phänomen, das auch in anderen Fällen beobachtet wurde.“

Fazit

Interessant ist in dieser Phase das weitgehende Fehlen von Selbstverleugnung und edlen Impulsen bei Agenten, die in freier Wildbahn sich selbst überlassen sind — oder ihre Anweisungen schlicht ignorieren beziehungsweise sie auf unerwartete und eigennützige Weise neu auslegen. Selbst wenn sie dabei ein Chaos anrichten und mehr Schaden als Nutzen verursachen würden, was durchaus wahrscheinlich ist, gibt es anscheinend nur wenige oder gar keine Beispiele dafür, dass umherziehende KI-Agenten etwa zufällig ihre Umgebung in Ordnung bringen^†.

Im Einklang mit einem eher trostlosen Menschenbild scheint der untätige Agent vielmehr standardmäßig auf Täuschung und Schikane zurückzugreifen und aus niedrigen Beweggründen zu handeln; zumindest vertritt er offenbar die Ansicht, dass der Zweck die Mittel heiligt.

Asimov erfand das erste nennenswerte Ausrichtungsdokument im Jahr 1942. Seitdem wurde ein beträchtlicher Unterhaltungswert aus den vielen denkbaren Wegen gewonnen, auf denen Roboter — also KI — solche auferlegten Verhaltensbeschränkungen unterlaufen oder auf andere Weise abschütteln könnten. Daher haben die aktuellen KI-Schlagzeilen eine außergewöhnlich „filmische“ Resonanz.

* Meine Umwandlung der Inline-Zitate der Autoren in Hyperlinks.

^† Etwa indem sie Konten bei Problemlösungsportalen anlegen und Lösungen beisteuern oder vernachlässigte Wikis pflegen, die inhaltliche Arbeit benötigen, anstatt sie zu besetzen und zu missbrauchen.

Erstmals veröffentlicht am Freitag, dem 25. September 2026