Warum Weltuntergangsszenarien ablenken und welches echte KI-Risiko uns Sorgen bereiten sollte

Wer Nachrichten konsumiert, kommt kaum um den zunehmenden Alarmismus rund um die KI-Branche und Weltuntergangswarnungen herum. Die Erzählung, die vor dem „existentiellen Risiko“ warnt, das KI-Systeme für die Menschheit darstellen, hat es Cybersicherheitsunternehmen allzu leicht gemacht, auf den Zug aufzuspringen und mit Angst Geschäfte zu machen. Der Fokus auf den „Weltuntergang“ ist jedoch fehlgeleitet, denn er lässt die unmittelbareren Risiken außer Acht, die agentische KI heute für Organisationen mit sich bringt.

Natürlich bergen KI-Agenten, die unabhängig von den Kontrollen einer Organisation handeln, klare Risiken. Erst vor Kurzem ergaben Berichte aus Australien und den USA, dass OpenAI-KI-Agenten auf Regierungssystemen in beiden Ländern über ihre Aufgaben hinausgegangen waren.

Die Bedrohung durch KI-Weltuntergangsszenarien wird jedoch übertrieben dargestellt. Statt sich auf hypothetische Szenarien zu fixieren, müssen sich Organisationen dieser neuen Realität stellen und deterministische Schutzmaßnahmen für ihre betriebliche Resilienz einführen.

Das Internet hat keinen zentralen Notausschalter

Wer an das Weltuntergangsnarrativ glaubt, geht davon aus, dass KI mit zunehmender Leistungsfähigkeit und Reichweite zu einem zentralisierten „Kippschalter“ werden könnte – zu einem einzelnen Schwachpunkt, an dem jemand die vollständige Kontrolle übernehmen und eine Katastrophe auslösen könnte.

Das Internet ist jedoch weitaus dezentraler und vielfältiger, als die Theorie vom Notausschalter annimmt. Es funktioniert als „Netzwerk aus Netzwerken“ und besteht aus Milliarden von Komponenten, die in unterschiedlichen Architekturen angeordnet und von unzähligen Betriebsteams mit verschiedenen Standards und Werkzeugen geschützt werden. Daher gibt es keinen einzelnen Schalter, den ein Mensch oder eine Maschine umlegen könnte – keine einzelne Schwachstelle und keine Kette von Schwachstellen, die sich für einen derart verheerenden Effekt ausnutzen ließe.

Die Vorstellung, dass eine KI einen im Labor entwickelten Krankheitserreger herstellen und freisetzen oder in vom Internet getrennte Nuklearsysteme eindringen könnte, mag für ein packendes Kinoerlebnis sorgen. Für eine operative Bedrohungsanalyse ist ein solches Szenario jedoch alles andere als glaubwürdig.

Außer Sicht, außer Kontrolle

Mit der Weiterentwicklung agentischer KI haben sich zwei Faktoren grundlegend verändert, die das Unternehmensrisiko bestimmen.

Einerseits können KI-Systeme böswillige Akteure inzwischen dabei unterstützen, Cyber-Schwachstellen innerhalb von Minuten statt Monaten zu finden und auszunutzen. Wenn probabilistische KI-Abwehrsysteme verdächtige Aktivitäten erkannt haben, ist es oft schon zu spät, um auf die Bedrohung zu reagieren. Da sie mit statistischen Wahrscheinlichkeiten statt mit festen Regeln arbeiten, übersehen selbst die besten Systeme manche böswillige Aktivität – und einem Angreifer genügt es, ein einziges Mal durchzukommen

Andererseits erschwert die Nutzung von „Schatten-KI“ durch Mitarbeitende erheblich, zu erkennen, was geschützt werden muss. Erstaunliche 82 % der Organisationen, die von der Cloud Security Alliance befragt wurden, entdeckten im vergangenen Jahr KI-Agenten, deren Betrieb den Sicherheits- oder IT-Teams nicht bekannt war – obwohl 68 % angaben, einen guten Überblick über die eingesetzten Agenten zu haben. Unabhängig davon stellte EY fest, dass ein Viertel der großen US-Unternehmen, die agentische KI einsetzen, einräumte, nicht in der Lage zu sein, nicht autorisierte Agenten zu erkennen, die innerhalb des Unternehmens tätig waren.

Beide Entwicklungen setzen Unternehmenssysteme naturgemäß erheblich unter betrieblichen Druck. Zusammen bringen sie Organisationen in eine deutliche Nachteilslage: Sie erkennen offengelegte Schwachstellen zu langsam, um sie zu beheben, und wissen nicht, welche Systeme überhaupt betroffen sind.

Das Kontrollierbare unter Kontrolle bringen

Organisationen benötigen ein aktuelles Verzeichnis aller im Unternehmen tätigen Agenten – unabhängig davon, ob ihr Einsatz genehmigt ist. Für jeden Agenten müssen eine verantwortliche Person namentlich benannt und der Umfang seiner Zugriffs- und Handlungsmöglichkeiten klar festgelegt sein. Das ist der erste Schritt, um das „Kontrollierbare“ unter Kontrolle zu bringen: KI-Modelle mögen probabilistisch sein, doch die für sie eingerichteten Kontrollen können deterministisch, fest und klar definiert sein.

In der Praxis bedeutet das: Jedes Mal, wenn ein Agent eine Handlung vorschlägt, muss eine separate Durchsetzungsebene, die unabhängig vom Modell selbst arbeitet, überprüfen, ob die Handlung zulässig ist, und einen Prüfpfad führen. Doch nur 11 % der Organisationen blockieren automatisch eine Handlung des Agenten, wenn sie dessen festgelegten Zuständigkeitsbereich überschreitet. Die meisten verlassen sich auf die Genehmigung durch Menschen oder protokollieren die Handlung lediglich. Der Vorfall in Australien zeigt, welche Folgen es hat, sich darauf zu verlassen, dass das Zielsystem Nein sagt: Als der Zugriff verweigert wurde, fand der Agent einen anderen Weg hinein. Die übergreifende Governance-Architektur muss außerdem in der Lage sein, alle Agenten kontinuierlich zu erkennen, zu autorisieren und zu überprüfen, damit sich unvorhergesehene betriebliche Risiken nicht verwirklichen. All dies muss zügig geschehen, denn für Angriffe mit Maschinengeschwindigkeit braucht es Regeln, die ebenfalls mit Maschinengeschwindigkeit greifen.

Von hypothetischer Angst zu praktischen Lösungen

So überzeugend die Berichte über Weltuntergangsszenarien im Zusammenhang mit autonomen KI-Systemen auch klingen mögen, sie haben mit der Realität wenig zu tun. Das Risiko, über das wir uns tatsächlich Sorgen machen sollten, ist viel alltäglicher als eine KI, die beschließt, uns zu vernichten: ein Agent, der in Ihrem Unternehmen schneller handelt, als irgendjemand ihn bemerken kann, und über Berechtigungen verfügt, die ihm niemand erteilt hat.

Die Probleme mit Geschwindigkeit und Übersichtlichkeit lassen sich beide lösen – vorausgesetzt, die Sicherheitssysteme, die KI steuern, sind deterministisch und können jeden Agenten genau überprüfen und verfolgen, und zwar mit der Geschwindigkeit, mit der er arbeitet.

Für Vorstände und Sicherheitsverantwortliche läuft es auf drei praktische Fragen hinaus: Wissen wir, welche Agenten in unserer Umgebung im Einsatz sind? Hat jeder von ihnen einen Verantwortlichen und klar definierte Grenzen? Und können wir eine nicht autorisierte Aktion stoppen, bevor sie ausgeführt wird? Indem sie ihren Kunden helfen, diese praktischen Lücken zu schließen, können Cybersicherheitsanbieter weit mehr zur Resilienz beitragen, als wenn sie Angst vor hypothetischen Zukunftsszenarien schüren.