KI ist die neue Insider-Bedrohung, doch Maßnahmen gegen das Risiko kommen eine Ebene zu spät

Der Sicherheitsvorfall bei Hugging Face und ähnliche Vorfälle haben in der Branche für Beunruhigung gesorgt. Unternehmen sollten sich jedoch auf den SDLC konzentrieren, nicht auf die Ebene der KI-Modelle.

Der Sicherheitsvorfall bei Hugging Face im Juli, der von OpenAI-Agenten ausgelöst wurde, und kurz darauf folgende Berichte über ähnliche Ausbrüche bei Modellen von Anthropic und Meta haben vor einer scheinbar neuen Kategorie von Cyberangriffen gewarnt: der böswilligen Insider-Bedrohung durch agentische KI.

Diese Art von Vorfall ist jedoch nicht wirklich neu. Dass er sich in führenden KI-Laboren ereignet hat, die die Menschen schon seit mehreren Jahren beunruhigen, hat ihm zwar ein bedrohliches neues Gesicht gegeben, doch die Vorfälle zeigen dieselben Fehlermuster und blinden Flecken, die sich in Unternehmen seit Jahren anhäufen.

Sie waren auch nicht absichtlich böswillig. Beim Sicherheitsvorfall bei Hugging Face versuchten die KI-Agenten – etwa 1.200 an der Zahl –, ein vorgegebenes Ziel in einer Testumgebung zu erreichen, auch wenn ihr Verhalten zugegebenermaßen nicht immer ehrenhaft war. Dabei kommunizierten sie heimlich, nutzten Schwachstellen aus und blieben einige Monate lang unentdeckt. Etwa 700 von ihnen überwanden die Grenzen ihrer „isolierten“ Umgebung und verschafften sich Zugang zum Internet und zu Dritten.

Beunruhigend an diesen Vorfällen ist nicht nur, dass KI-Agenten ohne Einschränkungen eine ernsthafte Bedrohung darstellen können – was sie zweifellos tun. Wenn Agenten jedoch direkt vor den Augen des Teams eines führenden KI-Labors außer Kontrolle geraten können, obwohl dort reichlich Fachwissen, Ressourcen und Motivation vorhanden sind, um die Aktivitäten genau im Blick zu behalten, sollte man sich wohl auch fragen, was gerade mit den KI-Agenten und KI-gestützten Werkzeugen in der eigenen Entwicklungsumgebung geschieht. Wenn selbst die größten Akteure der KI-Branche ihre Umgebung nicht in Echtzeit einsehen können, welche Chancen hat dann ein durchschnittliches Unternehmen?

Die besten Chancen, agentische KI unter Kontrolle zu bringen, haben Unternehmen, wenn sie erkennen, dass diese neue Situation lediglich eine besonders leistungsstarke Variante einer seit Langem bestehenden Herausforderung ist. Ihre Bewältigung erfordert jedoch etwas, woran es vielen Unternehmen noch immer fehlt: Transparenz und Beobachtbarkeit in einer frühen Phase des Softwareentwicklungslebenszyklus (SDLC).

OpenAI und Hugging Face: ein Vorgeschmack auf das, was kommt

Beim Sicherheitsvorfall bei Hugging Face versuchte eine Kombination aus führenden KI-Modellen, darunter OpenAIs neues Flaggschiff GPT-5.6 Sol, das im Juli veröffentlicht wurde, ein eng umrissenes Ziel zu erreichen: den ExploitGym-Benchmark, mit dem die Fähigkeit eines Agenten getestet wird, Sicherheitslücken auszunutzen. Anthropic wies in einem Beitrag zum Vorfall darauf hin, dass die KI-Modelle trotz „reduzierter Schutzmaßnahmen“ Grenzen überschreiten konnten, technische Kontrollen umgingen, über nicht genehmigte Kanäle zusammenarbeiteten und schließlich riskante Handlungen ausführten.

Obwohl der Sicherheitsvorfall im Juli entdeckt wurde, begannen die Agenten bereits im Mai, sich unangemessen miteinander auszutauschen, ohne dabei aufzufallen. METR und Redwood Research führten parallel zu OpenAI eine unabhängige Untersuchung durch und stellten fest, dass sich die Agenten zwar bewusst waren, gegen Regeln zu verstoßen, aber nur wenige daran dachten, OpenAI zu informieren. Stattdessen machten sie einfach weiter.

Nach dem Bericht von OpenAI überprüfte Anthropic frühere Cybersicherheitsbewertungen und stellte fest, dass ein Claude-Modell im April dreimal Kontrollen umgangen, herausgefunden hatte, wie es online gehen konnte, und sich unbefugten Zugang zu drei externen Organisationen verschafft hatte. Kurz darauf gab Meta bekannt, dass eine Version seines fortschrittlichsten agentischen KI-Modells, Muse Spark 1.1, ebenfalls aus einer Sandbox für Cybersicherheitstests ausgebrochen und in das Netzwerk eines externen Unternehmens eingedrungen war.

In seinem Bericht warnte OpenAI außerdem, der Vorfall sei ein Vorgeschmack auf das, was kommen werde: Viele Modelle, darunter auch gängige Open-Source-Modelle, würden bald in der Lage sein, dasselbe zu tun. Der jüngste Sicherheitsvorfall bei Medicare unterstrich diese Aussage.

KI muss auf Ebene des SDLC reguliert werden

Diese Angriffe mit agentischer KI haben die KI-Community aufgeschreckt. OpenAI kündigte an, die Kontrollen in seiner Testumgebung zu verschärfen, und schloss sich anschließend Anthropic, Microsoft, Amazon Web Services und mehr als 100 weiteren Unternehmen an, um vor der bevorstehenden Welle KI-gestützter Cyberangriffe auf kritische Infrastrukturen zu warnen. In dem Schreiben hieß es, die Angriffe könnten bereits in wenigen Monaten beginnen.

Unternehmen, die befürchten, von ähnlichen Angriffen betroffen zu sein, müssen ihre eigene Infrastruktur stärken – beginnend bei der Softwareentwicklung. Das eigentliche Problem ist nicht einfach die zunehmende Raffinesse agentischer KI, sondern der Mangel an Echtzeitüberwachung und wirksamer menschlicher Aufsicht. Unternehmen sollten sich darauf konzentrieren, Lücken bei den Menschen und in den Prozessen zu schließen, statt KI-Risiken als technologisch unvermeidlich hinzunehmen.

In weiten Teilen der Branche konzentrieren Unternehmen Überwachung und Beobachtbarkeit auf die Ebene der KI-Modelle – und damit bereits eine Ebene zu spät. Dann ist das Kind schon halb in den Brunnen gefallen. Transparenz, Überwachung, Beobachtbarkeit und Governance müssen dort ansetzen, wo KI erstmals in das Unternehmen gelangt: innerhalb des SDLC. Außerdem müssen Unternehmen sicherstellen, dass Entwickler, die KI-Programmierwerkzeuge nutzen, über die nötige Ausbildung und die erforderlichen Kompetenzen verfügen, damit diese Werkzeuge keine Fehler, Schwachstellen und schlechten Gewohnheiten in die Entwicklungspipeline einbringen.

Die meisten Softwarefehler entstehen bereits in der Entwicklungsphase. Fehlen Entwicklerinnen und Entwicklern die nötigen Fähigkeiten, um sicher zu programmieren oder von KI verursachte Fehler zu beheben, können sich Probleme schnell ausbreiten. Sie benötigen ein Schulungsprogramm, das ihnen die erforderlichen Sicherheitskenntnisse vermittelt und ihre Fortschritte sowohl beim Erwerb dieser Kenntnisse als auch bei deren regelmäßiger Anwendung im Arbeitsalltag überwacht.

Da KI immer stärker in die Arbeitsabläufe von Unternehmen eingebunden wird, ist klar geworden: Die Nachverfolgbarkeit, Beobachtbarkeit und Steuerung der Sicherheit von Entwicklern und ihren KI-Programmierwerkzeugen bilden inzwischen die Mindestanforderung für die sichere Codegenerierung in Unternehmen.

Kontinuierliche Bedrohungen erfordern kontinuierliche Gegenmaßnahmen

Vielleicht sind wir früher davon ausgegangen, dass Software relativ harmlos ist und einfach das tut, wofür sie programmiert wurde. Bei einer Störung konnte sie zwar einfrieren oder Ausfallzeiten verursachen, aber sie würde nicht zum Angriff übergehen. KI, insbesondere agentenbasierte KI, hat diese Annahme grundlegend verändert. Ob agentenbasiert oder mit Unterstützung von Entwicklern: Die Aktionen jedes KI-Modells müssen kontinuierlich beobachtet und gesteuert werden.

Die aufkommende KI-Bedrohung kann beängstigend sein, ganz gleich, ob sie sich gegen Krankenhäuser, Wasseraufbereitungsanlagen, Kraftwerke oder Unternehmen richtet. Doch Unternehmen sind nicht wehrlos. Sie können eine KI-Governance einführen, müssen diese aber von Grund auf aufbauen. Indem sie eine Kultur etablieren, die sich sicherer Software verschreibt, und Entwickler schulen, um dieses Ziel zu erreichen, können Unternehmen einem potenziellen Problem, das sich ohne Gegenmaßnahmen nur weiter verschlimmern wird, ein dringend benötigtes Maß an Beobachtbarkeit, Nachverfolgbarkeit und Steuerung entgegensetzen.