Die KI-Branche will unser Vertrauen, braucht aber zuerst bessere Sicherheitskontrollen

In der Sicherheit können wir nicht erst dann herausfinden, ob unsere Sicherheitskontrollen funktionieren, wenn etwas schiefgeht. Wir testen sie. Wir stellen sie auf die Probe. Wir gehen davon aus, dass irgendwann jemand die Schwachstelle findet, die uns entgangen ist.

Das ist Sicherheitsgrundwissen.

Warum sollte für fortgeschrittene KI also ein anderer Maßstab gelten?

KI-Systeme werden autonomer und erhalten zunehmend Zugriff auf Systeme der realen Welt. Dabei beobachten wir etwas, das allen Sorgen bereiten sollte, die schon einmal auf der defensiven Seite der Cybersicherheit gearbeitet haben: Die Fähigkeiten entwickeln sich schneller als die Kontrollmöglichkeiten.

Doch Schnelligkeit ist keine Entschuldigung für schwächere Sicherheit. Sie ist der Grund, warum wir stärkere Sicherheitsmaßnahmen brauchen.

Eine aktuelle Bewertung der gemeinnützigen Organisation Guidelight AI untersuchte öffentlich zugängliche Belege für KI-Kontrollpraktiken bei Anthropic, Google, Meta, OpenAI und xAI. Insgesamt erreichte keines der Unternehmen eine bessere Note als C+.

Das bedeutet nicht, dass diese Unternehmen leichtfertig handeln. Es bedeutet auch nicht, dass hinter verschlossenen Türen keine weiteren Sicherheitskontrollen zum Einsatz kommen.

Doch Sicherheit beruht nicht auf Annahmen. Wenn von uns erwartet wird, zunehmend leistungsfähigen Systemen zu vertrauen, sollten wir Belege dafür verlangen, dass die sie umgebenden Sicherheitskontrollen derselben Prüfung standhalten, die wir überall sonst fordern würden.

Hören wir auf, Ausfälle als interessante Geschichten zu behandeln

Wenn sich ein KI-Agent unerwartet verhält, unbeabsichtigt Zugriff erhält oder eine Schwachstelle aufdeckt, dreht sich die Berichterstattung meist darum, was die Technologie getan hat.

Das ist interessant.

Doch es ist nicht die wichtigste Frage.

Fachleute für Sicherheit wollen wissen: Wurde die Aktivität protokolliert? Hat jemand bemerkt, was geschah? Waren gefährliche Aktionen durch zusätzliche Freigaben abgesichert? Konnte jemand das System stoppen? Gab es einen Eindämmungsplan, und hatte ihn jemand getestet?

Diese Fragen sind nicht nur für KI relevant. In der Cybersicherheit stellen wir sie schon seit Jahren.

Dennoch scheinen Prävention und Eindämmung im sich entwickelnden Kontrollumfeld für fortgeschrittene KI weiterhin Schwachstellen zu sein. Öffentlich zugängliche Belege für freigabepflichtige Aktionen, Schutzschalter und Notfallmaßnahmen zur Eindämmung sind nach wie vor rar.

Das sollte wichtiger sein als die Neuartigkeit eines Vorfalls. Wenn etwas schiefgeht, will ich wissen, was versagt hat, was Schlimmeres verhindert hat und was sich danach geändert hat.

Transparenz ist hilfreich. Aus Fehlern zu lernen ist besser.

Das eigentliche Sicherheitsproblem bei KI ist die Geschwindigkeit

Ich glaube nicht, dass die größte kurzfristige Bedrohung darin besteht, dass KI plötzlich eine völlig neue Art von Cyberangriff erfindet. Das größere Problem ist viel praktischer: KI kann die Angriffe, die wir bereits kennen, erheblich beschleunigen.

Recherchen, für die früher Stunden nötig waren, können in wenigen Minuten stattfinden. Angriffstechniken lassen sich schneller miteinander verknüpfen. Schwachstellen können erkannt und ausgenutzt werden, bevor ein auf menschliche Beteiligung ausgerichteter Sicherheitsprozess überhaupt den ersten Eskalationsanruf hinter sich hat.

Das ist problematisch, weil ein Großteil der heutigen Sicherheitsinfrastruktur noch immer davon ausgeht, dass Zeit zum Reagieren bleibt.

Manchmal bleibt diese Zeit nicht.

Wenn sich ein Angriff schnell entfaltet, kann ein Reaktionsprozess, der auf Tickets, Besprechungen, Genehmigungen und manueller Eskalation beruht, schon überholt sein, bevor jemand den dritten Schritt erreicht.

Und genau hier muss die KI-Branche noch einiges tun.

Wenn die Entwickler fortgeschrittener KI erwarten, dass Unternehmen Transparenz, Schwachstellenmanagement, Architektur und Reaktion auf Sicherheitsvorfälle für das KI-Zeitalter neu denken, sollten sie zeigen, dass sie selbst dasselbe getan haben.

„Vertrauen Sie uns“ ist kein Kontrollkonzept

Ich habe meine berufliche Laufbahn größtenteils im Bereich Sicherheitstests verbracht, und ein Grundsatz hat sich dabei immer wieder bewährt: Gute Absichten beweisen keine Sicherheit. Das tun Belege.

• Man testet.
• Man überwacht.
• Man versucht, Dinge zum Versagen zu bringen.

Man findet heraus, was passiert, wenn die Sicherheitskontrollen nicht so funktionieren, wie es der Architekturplan vorgibt. Und man stellt sicher, dass jemand befugt ist, das System bei Bedarf zu stoppen. Für fortgeschrittene KI sollte derselbe Maßstab gelten.

Das bedeutet, die Sicherheitskontrollen durch adversariale Tests auf die Probe zu stellen, messbare Belege für ihre Wirksamkeit vorzulegen und klare Befugnisse festzulegen, um Systeme bei einem Zwischenfall abzuschalten.

Es bedeutet auch, die Eindämmung neu zu überdenken.

Entwickler fortgeschrittener KI können nicht erst dann improvisieren, wie sie einen Vorfall eindämmen, wenn ein KI-Agent seine vorgesehenen Grenzen überschreitet. Während sie immer leistungsfähigere Modelle trainieren und testen, müssen sie Verantwortung für die Handlungen übernehmen, zu denen diese Systeme fähig sind. Dafür braucht es strenge adversariale Tests, vorab autorisierte Schutzmaßnahmen, klare Grenzen für die Befugnisse der Agenten sowie bewährte Möglichkeiten, einzugreifen oder ein System abzuschalten, bevor sich ein Fehler ausbreitet.

Menschliches Urteilsvermögen bleibt wichtig. Doch die Entwickler dieser Systeme müssen die Grenzen festlegen, prüfen, ob sie eingehalten werden, und Verantwortung übernehmen, wenn dies nicht der Fall ist.

Ihre Verantwortung besteht nicht einfach darin, zu zeigen, wozu ein Agent fähig ist. Sie müssen zeigen, dass der Agent sicher arbeiten kann, sein Verhalten kontrollierbar ist und neue Fähigkeiten die Welt sicherer machen – nicht unsicherer.

Vertrauen muss man sich verdienen

Ich plädiere nicht dafür, die KI-Innovation so stark auszubremsen, dass sie kaum noch vorankommt. Ich plädiere dafür, dass die Sicherheit mit ihr Schritt hält. Wenn wir enorme Ressourcen investieren, um KI leistungsfähiger zu machen, müssen wir mit vergleichbarer Dringlichkeit daran arbeiten, sie besser abzusichern.

Doch während führende KI-Labore das Training und Testen neuer KI-Modelle mit Cyberfähigkeiten beschleunigen, müssen sie die Verteidiger im Blick behalten. Erstens, indem sie ihnen helfen, Bedrohungen schneller zu erkennen und darauf zu reagieren. Noch wichtiger ist, zu verhindern, dass diese Systeme selbst zu Bedrohungen werden. Zu dieser Verantwortung gehört auch, sich externer Prüfung zu stellen.

Unabhängige Überprüfungen dürfen nicht zu etwas werden, das Unternehmen nur dann begrüßen, wenn es die Darstellung stützt, die sie vermitteln wollen. Wenn führende KI-Systeme mächtig genug sind, die Bedrohungslage zu verändern, müssen ihre Kontrollmechanismen stark genug sein, um aussagekräftigen unabhängigen Tests standzuhalten.

Die KI-Branche will unser Vertrauen.

Als Sicherheitsexperte bin ich bereit, ihr dieses Vertrauen entgegenzubringen. Aber zuerst möchte ich die Kontrollmechanismen sehen.