KI-Überwachung hat drei blinde Flecken — und die meisten Unternehmen beobachten keinen von ihnen

Die meisten Diskussionen über KI-Sicherheit in Unternehmen zielen auf das falsche Ziel ab. Teams verbringen Wochen damit, über die Verwendung eines bestimmten Modells zu diskutieren, und verbinden dann dieses Modell mit ihrer E-Mail, ihren Zahlungen, ihrer Kunden-Datenbank und ihrem Code, ohne sich die einfache Frage zu stellen: Wenn diese Sache etwas tut, wer beobachtet sie, und kann jemand sie stoppen?

Die Zahlen sagen, dass dies bald teuer werden wird. Gartner geht davon aus, dass mindestens 15% der routinemäßigen Arbeitsentscheidungen 2028 autonom von KI getroffen werden, gegenüber fast null 2024. In derselben Studie warnt es davor, dass mehr als 40% der agentic KI-Projekte bis Ende 2027 abgesagt werden, und einer der Gründe, die es nennt, ist die schwache Risikokontrolle. Lesen Sie es noch einmal. Die Projekte sterben nicht, weil die Modelle schlecht sind. Sie sterben, weil niemand eine Möglichkeit gebaut hat, sie zu regieren.

Ich baue Regierungssysteme für KI zum Lebensunterhalt, also sehe ich dieselben Lücken immer wieder. Es gibt drei davon. Die meisten Unternehmen beobachten keine davon ordnungsgemäß, und viele beobachten null.

Agenten sind der laute

Jeder macht sich Sorgen über autonome Agenten, und sie haben recht, sich Sorgen zu machen. Aber die meisten Leute machen sich Sorgen über den falschen Teil. Das Beunruhigende an einem Agenten ist nicht, dass er argumentiert. Es ist, dass er handelt. Er schlägt nicht die Rückerstattung vor; er zahlt sie. Er entwirft nicht die E-Mail; er sendet sie. Wenn man einem Modell eine Reihe von Werkzeugen gibt, hat man ihm die Fähigkeit gegeben, in reale Systeme einzugreifen und Dinge zu ändern.

Wenn man das falsch macht, ist der Fehler nicht nur ein ungeschickter Satz. Es ist Geld, das rausfliegt, oder eine Tabelle, die still aus einer Datenbank gelöscht wird. Und es gibt eine scharfe Kante dazu. Prompt-Injektion steht direkt an der Spitze der OWASP-Liste der Risiken für LLM-Anwendungen, und das aus gutem Grund: Wenn man einem Modell den falschen Text gibt, kann man es dazu bringen, etwas zu tun, das niemand verlangt hat. Wenn das Modell nur sprechen kann, ist das ein Ärgernis. Wenn das Modell Werkzeuge aufrufen kann, ist das ein Angreifer, der Ihre API-Schlüssel hält.

Die Standardantwort ist, alles zu protokollieren, was der Agent tut, und die Spuren zu beobachten. Fein. Aber eine Spur ist eine Beschreibung von etwas, das bereits passiert ist. Es ist das CCTV-Bild nach dem Diebstahl, nützlich für die Untersuchung, aber nutzlos, um den Diebstahl zu stoppen.

Der stille, den niemand erwähnt

Der zweite blinde Fleck kommt nie auf eine Folie, weil er langweilig ist. Es ist der einfache API-Aufruf. Kein Agent, kein Framework, nur ein Code-Stück irgendwo in einem Service, das einen Prompt zusammenstellt und ihn an ein Modell sendet.

Die meisten KI-Produktionen sehen tatsächlich so aus, und es ist der am wenigsten regulierte Teil des gesamten Stacks, genau weil es so alltäglich ist. Es ist ein HTTP-Aufruf, der drei Schichten tief in einem Service begraben ist, geschrieben von einem Ingenieur, der noch nie von Ihrer KI-Richtlinie gehört hat und nicht weiß, wo er sie finden kann. Dieser eine Aufruf kann möglicherweise Kunden-Daten an ein Drittmodell senden oder eine Aktion downstream auslösen, und nichts überprüft, ob es das sollte, und nichts Unabhängiges schreibt auf, dass es das getan hat.

Der chaotische ist der Mensch

Der dritte blinde Fleck ist der Mensch, und das ist, warum er der schlimmste ist. Ihre Mitarbeiter haben vor Monaten herausgefunden, dass das Einfügen einer Aufgabe in ChatGPT oder Claude es schneller erledigt, also tun sie es den ganzen Tag, normalerweise von persönlichen Konten, die Sie nicht sehen können. Dies ist nicht hypothetisch. Cyberhavens Blick auf die tatsächliche Nutzung am Arbeitsplatz fand heraus, dass ein echter Anteil der Mitarbeiter vertrauliche Unternehmensdaten in ChatGPT eingefügt hat, viel davon über Konten, die das Unternehmen nicht überwachen kann.

Wenn Sie die warnende Geschichte hören wollen, ist es Samsung. 2023 verbot Samsung generative KI intern, nachdem Ingenieure proprietären Quellcode in ChatGPT eingefügt hatten, drei separate Male in weniger als einem Monat. Diese waren keine bösen Akteure. Sie waren gute Ingenieure, die versuchten, schneller zu debuggen. Das ist die ganze Falle: Der Leck looks identisch mit Produktivität. Und Ihre alten Datenverlust-Tools werden es nicht fangen, weil es eine Kopie in einem Browser-Tab ist, nicht eine Datei, die das Gebäude verlässt.

Was tatsächlich funktioniert

Wenn man die drei aufreibt, wird die Lösung nicht mehr speziell auf Agenten beschränkt und wird zu einer einzigen Idee: Regulieren Sie, was jede KI tut, bevor sie es tut, nicht danach. Ein paar Dinge, die wirklich zählen, größtenteils auf die harte Tour gelernt.

Setzen Sie sich vor die Aktion, nicht dahinter. Das ist das ganze Spiel, und das ist, warum ich immer wieder betone, dass Beobachtbarkeit und Regulierung nicht dasselbe Wort sind. Ein Dashboard, das Ihnen sagt, dass ein Agent 40.000 £ gestern bewegt hat, ist ein Verlustbericht. Etwas, das diese Übertragung für einen Menschen stoppen kann, bevor sie das Gebäude verlässt, ist eine Kontrolle. Wenn Ihre Einrichtung Ihnen nur sagen kann, was passiert ist, haben Sie keine Aufsicht. Sie haben Hindsight.

Verwenden Sie ein Prüfpunkt, nicht einen pro Werkzeug. Agenten, API-Aufrufe und Mitarbeiter, die in einen Chatbot einfügen, fühlen sich wie drei separate Probleme an, also kaufen Unternehmen drei separate Tools und enden mit drei Sätzen von Lücken zwischen ihnen. Die schlechten Dinge leben in den Lücken. Alles, was eine KI tut, woher es auch kommt, sollte durch dasselbe Tor passieren.

Halten Sie ein Protokoll, das die KI nicht neu schreiben kann. Wenn das System, das die Sache tut, auch das einzige ist, das aufzeichnet, dass es die Sache getan hat, haben Sie kein Protokoll. Sie haben ein Tagebuch, das es bearbeiten darf. Das ist genau, wo die Regeln hingehen. Die Aufzeichnungsanforderung des EU-KI-Gesetzes, Artikel 12, existiert, damit das, was ein Hochrisikosystem getan hat, von jemandem anderem als dem System rekonstruiert werden kann. In der Praxis bedeutet das ein Protokoll, das außerhalb des zu protokollierenden Systems aufbewahrt wird, das nicht stillschweigend nachträglich geändert werden kann.

Stellen Sie einen Menschen auf die großen, unwiderruflichen Anrufe. Nicht alles, tun Sie das, und Sie werden Menschen in Genehmigungen ertränken, bis sie alles absegnen. Aber die Anrufe, die Sie nicht zurücknehmen können, Geld bewegen, Daten exportieren, Aufzeichnungen löschen, sollten stoppen und warten. Das EU-KI-Gesetz macht menschliche Aufsicht für Hochrisikosysteme obligatorisch, Artikel 14. Der zu merkende Haken ist, dass Aufsicht nur zählt, wenn die Person die Zeit und den Kontext hat, um tatsächlich Nein zu sagen. Eine Genehmigung, die niemand liest, ist nur Theater.

Die ehrliche Bauchprüfung

Keiner von diesen drei ist ein Sonderfall. Sie sind die normale Art und Weise, wie die meisten Unternehmen KI gerade jetzt laufen, still und ohne viel Netz. Die Teams, die die nächsten paar Jahre ohne ein hässliches Ereignis überstehen, werden nicht diejenigen mit den hübschesten Diagrammen sein. Sie werden diejenigen sein, die entschieden haben, dass alles, was ihre KI tut, der Agent, der API-Aufruf, der eingefügte Absatz, durch ein Tor geht, bevor es passiert, nicht danach.

Wenn Sie einen schnellen Test für Ihre eigene Einrichtung haben möchten, beantworten Sie zwei Fragen ehrlich. Von diesen drei Oberflächen, wie viele können Sie tatsächlich sehen? Und von denen, die Sie sehen können, wie viele können Sie stoppen? Für viele Unternehmen ist die ehrliche Antwort auf die zweite Frage null. Das ist die Zahl, die Sie zuerst beheben müssen.