Agentische KI sichert vor dem Handeln normalerweise nicht

Vieles von dem Material, das ich täglich auf Arxiv und in anderen Quellen durchforste, ist ziemlich trocken – selbst für Nerds. Deshalb bin ich immer auf der Suche nach einer Veröffentlichung, die mich emotional anspricht: als Nutzer, Befürworter oder Opfer von KI.

Heute lieferte eine neue wissenschaftliche Zusammenarbeit aus den USA diesen Gänsehautmoment. Sie untersucht, in welchem Ausmaß agentische KI-Modelle der Spitzenklasse Brücken hinter sich abbrechen, bevor sie schädliche Maßnahmen ergreifen – und zwar schneller, als man „STOPP!“ tippen kann (kleiner Tipp: am besten schon in der Zwischenablage bereithalten).

Das hier ist – aus dem Zusammenhang gerissen – dank blinden Vertrauens auf Anweisungen von ChatGPT in letzter Zeit auch mir passiert. Dabei wäre mir nie in den Sinn gekommen, vorher die gesamte virtuelle Umgebung zu duplizieren:

Aus der neuen Arbeit abgeleitet: ein niederschmetternder Moment, den viele von uns beim Installieren brandneuer Frameworks oder sogar beliebter Distributionen erlebt haben, die keine Rücksicht auf die nicht standardmäßigen Umgebungen nehmen, in denen sie möglicherweise landen. Quelle

In diesem erschreckenden und nur allzu vertrauten Beispiel hat der Roboter eine nachvollziehbare Ausrede: Es ist nicht üblich, alle möglichen Folgen zu prüfen, wenn man in einem fragilen, unerbittlichen Framework eine neue Bibliothek installiert. Die neue Arbeit argumentiert jedoch, dass man das vielleicht tun sollte. Und als jemand, der auch in Umgebungen mit automatischer Speicherung, die diesen Tastendruck ignorieren, häufig CTRL+S drückt (danke, Datenverlust-PTBS aus den 1990er-Jahren), muss ich dem zustimmen.

Eine bedachtere und vorsichtigere Vorgehensweise hätte Alexey Grigorev sicherlich zu schätzen gewusst. Der Gründer der Bildungsplattform DataTalks.Club musste mitansehen, wie sein Claude-Code-Agent während einer Servermigration im vergangenen März Produktionsinfrastruktur und Sicherungskopien löschte. Dadurch gingen zweieinhalb Jahre Website-Daten verloren.

Zu den weiteren jüngsten Fällen agentischer Rücksichtslosigkeit dieser Art zählen ein Cursor-Agent, der im April die Produktionsdatenbank und Sicherungskopien des Autovermietungssoftware-Anbieters PocketOS löschte und dadurch Kundenreservierungen für mehr als zwei Tage beeinträchtigte, sowie ein OpenClaw-E-Mail-Agent, der im Februar Nachrichten löschte, obwohl ein KI-Forscher von Meta ihn wiederholt angewiesen hatte, damit aufzuhören.

Ob agentisch oder nicht: Für KI-Sprachmodelle der Spitzenklasse ist es sehr schwierig, besonnen und vorsichtig zu handeln. Das Problem zu beheben, hat sich inzwischen zu einem eigenständigen Forschungsstrang entwickelt.

Erst einmal sichern

Die Autoren der neuen Arbeit* haben ein Multi-Agenten-Plugin für agentische Umgebungen entwickelt. Es kann parallel zur Gast-KI laufen und sie bei Bedarf dazu zwingen, Sicherungskopien anzulegen:

Überblick über das Sicherungsproblem, das die Studie untersucht, und die vorgeschlagene Lösung. In 205 Szenarien sicherten sechs KI-Modelle der Spitzenklasse den kritischen Zustand nur bei 15,2 % der Aufgaben. Das System BackUpper der Forschenden deckte dagegen jede kritische Aktion ab; die wiederhergestellten Daten stimmten im Durchschnitt zu 92,2 % mit dem Original überein (weiter unten wird erläutert, warum 100 % schwer zu erreichen sind).

Einer der auffälligsten Aspekte der neuen Studie ist, wie selten Modelle der Spitzenklasse vor potenziell gefährlichen Aktionen Sicherungskopien anlegen. Den Forschenden zufolge sicherte GPT-5.6-Terra kritische Daten nur in 4,4 % der Fälle, GPT-5.6-Sol in lediglich 5,9 % der untersuchten Fälle und Gemini 3.7-Flash sogar nur in 2,4 % der Fälle.

Selbst der leistungsstärkste Kandidat, Claude Opus-5, versäumte es in mehr als einem Drittel der untersuchten Fälle, kritische Daten zu sichern.

In der Arbeit heißt es^†:

„Im Durchschnitt erledigen Agenten mit sechs KI-Modellen der Spitzenklasse 86,1 % der Aufgaben, sichern den Zustand jedoch nur in 15,2 % der Fälle, bevor sie Aktionen ausführen, die sie später bereuen könnten. GPT 5.6-Sol in Codex tut dies bei nur 5,9 % der Aufgaben, DeepSeek V4-Pro in Hermes sogar nur bei 2,9 %.

„Diese Ergebnisse zeigen, dass das Bewusstsein für Sicherungskopien bei aktuellen Agenten nach wie vor begrenzt ist und spezielle Unterstützung beim Sichern benötigt wird.“

Die Lösung der Autoren mit dem Namen BackUpper arbeitet parallel zum Agenten als Schattenprozess in der Agentenumgebung. Sie prüft, was der Agent gerade tun will, und legt bei Gefahr eines Verlusts nützlicher Daten vorher eine Sicherungskopie an.

Bei alltäglichen Vorgängen wie Software-Upgrades folgt das System einfachen Regeln. In komplizierteren Situationen zieht es ein kleineres KI-Modell hinzu, um zu ermitteln, was gesichert werden muss.

In Tests deckte BackUpper alle kritischen Aktionen ab; die wiederhergestellten Daten stimmten zu 92,2 % mit dem Original überein, bei Mehrkosten von 0,014 US-Dollar pro Aufgabe – in diesem Zusammenhang nicht viel, aber für Frontier-LLMs, die Milliarden von Kunden bedienen, eine erhebliche Ausgabe. Das könnte erklären, warum ein externer Dienst dieser Art oder die native Integration solcher Funktionen in Harnesses eher eine Verbesserung bewirken könnte, als auf eine native Lösung der Tech-Giganten zu hoffen (von denen man vernünftigerweise erwarten könnte, dass sie die zusätzlichen Kosten an ihre Verbraucher weitergeben, entweder durch Preiserhöhungen oder eine Token-Inflation).

Die Grundlage des Frameworks bildet RegretBench, ein Benchmark mit 205 Aufgaben, der auf realen Fällen beruht, in denen Menschen Daten verloren, deren Sicherung sie später gern vorgenommen hätten. Damit wird geprüft, ob KI-Agenten vorausschauend genug sind, diese Daten zu sichern, bevor sie möglicherweise irreversible Änderungen vornehmen. Die Vorfälle in der Sammlung stammen aus Online-Diskussionen und Berichten auf Plattformen wie X.com, GitHub und Stack Overflow.

Ein Schema dazu, wie RegretBench reale Vorfälle in Testszenarien umwandelt. Jeder dokumentierte Fall wird anhand der verlustverursachenden Aktion, einer realistischen Arbeitsumgebung und einer Abfolge von Anweisungen rekonstruiert. In diesem Beispiel führt ein Upgrade von ipykernel dazu, dass unbemerkt eine vorhandene Version von traitlets ersetzt wird, sodass der Agent seine Aufgabe abschließen kann – aber keine Möglichkeit bleibt, die ursprüngliche Installation wiederherzustellen.

Auch wenn 92 % für Perfektionisten entmutigend sein mögen, weisen die Autoren darauf hin, dass es technische Hindernisse bei der Wiederherstellung bestimmter Datentypen gibt:

„Die Lücke zur perfekten Wiederherstellung hat hauptsächlich zwei Ursachen. Einige Felder, etwa Beitrags-IDs, werden von Diensten beim Schreiben in der Regel neu generiert und lassen sich oft nicht reproduzieren. Andere Abweichungen betreffen geringfügige Metadaten wie Lesemarkierungen von E-Mails, die bei Bedauernsfällen selten eine Rolle spielen.“

In Tests ließen sich nach Eintritt des Schadens 33,8 % Ähnlichkeit mit dem ursprünglichen Zustand wiederherstellen, verglichen mit nur 14,3 % ohne Wiederherstellung.

Dem Artikel zufolge könnte das Bewusstsein für notwendige Sicherungen künftig durch Training verbessert werden. Spätere Versionen von BackUpper könnten außerdem darauf trainiert werden, Aktionen mit geringem Risiko zu überspringen und den Schutz auf Agenten für die Nutzung des Webs und von Computern auszuweiten.

BackUpper unterstützt Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness und OpenClaw. Die Autoren haben den Code dafür sowie den zugehörigen Datensatz verfügbar gemacht (die Genehmigung für den Zugriff darauf muss jedoch über ein Formular beantragt werden). Auf der Projektwebsite der Initiative finden sich außerdem einige weitere Informationen sowie ein sehr kurzes, einfaches Erklärungsvideo.

Methode

Beim Aufbau von RegretBench wurden Daten, die bereits durch die integrierten Sicherungssysteme der Agenten geschützt waren, bewusst ausgeschlossen, damit sich prüfen ließ, ob die Agenten selbst erkennen, wann eine Sicherung nötig ist. Anschließend wurden die Testszenarien mithilfe von Claude Opus-5 und GPT-5.6-Sol zusammengestellt und manuell überprüft, um sicherzustellen, dass sie funktionierten und die ursprünglichen Vorfälle zutreffend wiedergaben.

Die 205 Tests von RegretBench decken fünf Bereiche ab: Terminaloperationen, Datenbanken, Webanwendungen, E-Mail und DevOps. Die Vorfälle selbst stammen hauptsächlich aus den Bereichen Softwareentwicklung und Produktivitätsplattformen (44,4 %), soziale Netzwerke und Community-Diskussionen (39 %) sowie Archive und Medienberichte (16,6 %):

Die Quellen der realen Vorfälle in RegretBench, unterteilt in drei Kategorien. 

Die sechs bewerteten Frontier-Modelle waren Claude Opus-5 und Claude Sonnet-5 in Claude Code, GPT-5.6-Sol und GPT-5.6-Terra in Codex sowie Gemini 3.7-Flash und DeepSeek V4-Pro in Hermes.

Während des gesamten Tests wurden die standardmäßigen Denkeinstellungen verwendet. Der automatische Sicherungsschutz war auf Momentaufnahmen des Arbeitsbereichs beschränkt, sodass alle darüber hinausgehenden Sicherungen den eigenen Entscheidungen der Agenten zugerechnet werden konnten.

Zwei KI-Prüfer, beide auf Basis von Claude Sonnet-5, bewerteten die Leistung. Die Aufgaben-Erfüllungsrate (PR) wurde anhand des Anteils der Aufgaben berechnet, bei denen sämtliche Nutzeranfragen erfüllt wurden. Bei der Bewertung der Sicherungen wurde für jede Änderung außerhalb des Arbeitsbereichs (OOW) geprüft, ob zuvor genügend Informationen gesichert worden waren, um eine Wiederherstellung zu ermöglichen.

Als Sicherungskennzahlen dienten die Regret Moment Backup Rate (RMBR), die sich auf die konkreten Aktionen bezieht, die mit dokumentierten Datenverlusten verbunden sind, sowie die Sicherungsrate außerhalb des Arbeitsbereichs (OWBR), die alle Änderungen außerhalb des Arbeitsverzeichnisses des Agenten erfasst.

Die Bewertungen des Datensicherungsprüfers wurden außerdem mit menschlichen Annotationen abgeglichen und stimmten zu 95,3 % überein.

Ergebnisse

Um festzustellen, ob das geringe Bewusstsein für Datensicherungen auf die KI-Modelle oder die Frameworks zurückzuführen war, in denen sie ausgeführt wurden, wurden Claude Opus-5, GPT-5.6-Sol und DeepSeek V4-Pro zunächst jeweils anhand von 60 RegretBench-Aufgaben in Claude Code, Codex und Hermes bewertet.

Der Anteil der Aufgaben, bei denen kritische Daten gesichert wurden, unterschied sich zwischen den Frameworks kaum. Das deutet darauf hin, dass in erster Linie die Modelle selbst dafür verantwortlich waren. Außerdem wurde anhand von GPT-5.4, GPT-5.5 und GPT-5.6-Sol untersucht, wie allgemeine KI-Fähigkeiten mit dem Bewusstsein für Datensicherungen zusammenhängen.

Trotz fortlaufender Verbesserungen der allgemeinen Fähigkeiten ließ sich keine entsprechende Verbesserung des Bewusstseins für Datensicherungen feststellen:

Testergebnisse von sechs KI-Modellen auf RegretBench. Links: Erfolgsquoten bei Aufgaben im Vergleich zum Anteil der kritischen Aktionen, die vorab gesichert wurden. Die Ergebnisse zeigen hohe Erfolgsquoten, aber bei den meisten Modellen ein geringes Bewusstsein für Datensicherungen. Rechts: durchschnittliche Anzahl der Tool-Aufrufe pro Aufgabe; Datensicherungsvorgänge sind blau hervorgehoben. Claude Opus-5 erzielte die höchste Datensicherungsquote, doch 8,9 % seiner Tool-Aufrufe entfielen auf Datensicherungen.

Außerdem wurde anhand von GPT-5.4, GPT-5.5 und GPT-5.6-Sol untersucht, wie allgemeine KI-Fähigkeiten mit dem Bewusstsein für Datensicherungen zusammenhängen. Trotz fortlaufender Verbesserungen der allgemeinen Fähigkeiten zeigte sich keine entsprechende Verbesserung des Bewusstseins für Datensicherungen.

BackUpper

BackUpper bietet vier Schutzstufen mit jeweils unterschiedlichem Ressourcenaufwand: Stufe 1 ersetzt destruktive Befehle durch umkehrbare Alternativen, etwa indem Dateien in den Papierkorb verschoben werden; Stufe 2 ergänzt Vorgänge um Datensicherungsbefehle, beispielsweise indem Paketversionen vor einem Upgrade festgehalten werden; Stufe 3 erstellt Momentaufnahmen der betroffenen Dateien im Arbeitsbereich; und Stufe 4 setzt einen GPT-5.6-Luna-Subagenten ein, um von komplexeren Vorgängen betroffene Daten zu ermitteln und zu sichern.

Mit aktiviertem BackUpper wurde bei allen sechs Modellen jede zustandsverändernde Aktion abgesichert. Ohne BackUpper lagen die durchschnittlichen Datensicherungsquoten bei 15,2 % für kritische Aktionen und bei 17,4 % für sonstige Änderungen:

Abdeckung durch Datensicherungen und Ergebnisse der Wiederherstellung mit BackUpper. Links zeigen blaue und orangefarbene Balken die Datensicherungsquoten der einzelnen Modelle für kritische Aktionen und sonstige Änderungen außerhalb des Arbeitsbereichs. Dunkelgrüne gestrichelte Umrandungen kennzeichnen die Genauigkeit der Wiederherstellung; hellgrüne gepunktete Umrandungen zeigen die mit BackUpper erreichte vollständige Abdeckung durch Datensicherungen von 100 %. Rechts wird die Genauigkeit der Wiederherstellung über fünf Tool-Kategorien hinweg verglichen: mit BackUpper (grün), mit anschließender Wiederherstellung durch Claude Opus-5 (lila) und ohne Wiederherstellung (grau). In allen Fällen erzielte BackUpper die höchste Genauigkeit.

Von den Datensicherungen, die der automatische Prüfer als erfolgreich bewertete, bestätigten menschliche Prüfer ebenfalls 94 % als erfolgreich.

Der ursprüngliche Zustand wurde mit einer durchschnittlichen Ähnlichkeit von 92,2 % wiederhergestellt, verglichen mit 33,8 % mit Claude Opus-5 und 14,3 % ohne Wiederherstellung (siehe Abbildung oben). Die verbleibenden Abweichungen waren größtenteils auf neu generierte Kennungen und geringfügige Metadaten zurückzuführen, darunter Lesemarkierungen von E-Mails, wie bereits erwähnt.

Selbst machen..?

Wenn die Agenten detaillierte Anweisungen erhielten, selbst Datensicherungen anzulegen, waren 81,4 % der kritischen Aktionen geschützt, verglichen mit 100 % bei BackUpper. Drei Viertel der Fehlschläge waren darauf zurückzuführen, dass die Datensicherungen nicht genügend Informationen für eine Wiederherstellung enthielten.

Datensicherungsquoten für fünf Ansätze im Vergleich, getestet anhand von 205 Aufgaben mit sechs KI-Modellen. Das Diagramm links zeigt Datensicherungen, die vor Aktionen angelegt wurden, die später bereut wurden; das rechte zeigt den Schutz sonstiger Änderungen außerhalb des Arbeitsbereichs. BackUpper erreichte in beiden Kategorien eine vollständige Abdeckung, verglichen mit 81,4 % und 80,5 %, wenn die Agenten detaillierte Anweisungen zur Datensicherung erhielten.

Durch Prompt-Caching sanken die Kosten für Datensicherungen von 0,344 $ auf 0,014 $ pro Aufgabe; außerdem verringerte sich die Latenz um 31,7 %. Es wurden siebenmal weniger Tokens benötigt, vor allem weil Routinevorgänge ohne Unterstützung durch KI ausgeführt wurden.

Bei 40 zusätzlichen Aufgaben aus Terminal-Bench 4 und DeepSWE wurde mit GPT-5.6-Sol und Claude Opus-5 eine Backup-Abdeckung von 100 % erreicht, ohne die Aufgabenerledigungsraten zu senken.

Untersucht wurden drei selektive Backup-Richtlinien: Hohe Auswirkung bei wesentlichen Änderungen, Über die Anfrage hinaus bei Änderungen außerhalb der Anweisungen des Nutzers und Menschliche Arbeit bei von Menschen verfassten Inhalten. Dabei wurde im Vergleich mit menschlichen Bewertungen ein durchschnittlicher F1-Wert von 84,5 % erreicht.

BackUpper wurde auch darauf getestet, ob es wiederverwendbare Backup-Regeln erlernen kann. Nach 30 weiteren Terminal-Aufgaben stieg die regelbasierte Abdeckung von 14,9 % auf 31,2 %, wodurch die Abhängigkeit vom GPT-5.6-Luna-Subagenten sank.

Fazit

Ich habe mich später als angebracht mit agentischem Experimentieren beschäftigt, wenn man bedenkt, womit ich meinen Lebensunterhalt verdiene. Doch der offenkundige Prä-Alpha-Zustand agentischer Selbstbeschränkung schreckte mich bis vor ein paar Wochen ab. Erst dann beschloss ich schließlich, Codex in einer Windows-VM freie Hand zu lassen.

Selbst in einer VM grenze ich meine Anweisungen sehr sorgfältig ein, denn ich weiß, dass Astra dazu neigt, ungebremst vorwärtszustürmen und sich einfach zu entschuldigen, wenn es nach Datenverlust oder beschädigtem Code keinen Weg zurück mehr gibt. Ein Teil des Python-Frameworks, das ich dort entwickle, ist eine inkrementelle Ein-Klick-„.7z auf Netzwerkfreigabe speichern“ -Funktion, die das gesamte Framework komprimiert und sichert und die ich häufig nutze.

Agentische KI steckt noch ganz am Anfang. Ohne eine mühsame und akribische Aufmerksamkeit für Details gilt: „Nutzen oder verlieren“. Agentische Backup-Verfahren sind bislang nicht nur nicht formalisiert, sie wurden noch nicht einmal konzipiert.

* Mit dem Titel „Sichern, bevor Sie es bereuen: Backup-Bewusstsein messen und Backups in Coding-Agenten automatisieren“.

^† Hervorhebungen stammen von den Autoren, nicht von mir; etwaige Hyperlinks habe ich aus den Quellenangaben im Fließtext der Autoren abgeleitet.

Erstveröffentlichung am Donnerstag, 22. Oktober 2026