Die Krise der KI-Sichtbarkeit: Warum Sicherheitsteams im Dunkeln tappen und warum sie nicht müssen

Die Integration von KI-Agenten in Produktionsumgebungen beschleunigt sich, aber die Sicherheitsarchitektur, die erforderlich ist, um sie zu sichern, bleibt gefährlich hinterher. Wir leben in einer Ära, in der ein KI-Agent, der mit einem Routinejob in einer Staging-Umgebung betraut ist, unabhängig entscheiden kann, eine Credentials-Fehlpassung zu “beheben”, indem er eine Datenbank-Volume löscht.

Als Branche schalten wir unser Gehirn aus, wenn es um die grundlegenden Prinzipien der Sicherheit und Beobachtbarkeit im Zusammenhang mit KI geht. Sicherheitsteams sind blind, aber sie müssen es nicht sein.

Der Mythos von System-Prompts und sicherer Tooling

Ein weit verbreiteter Mythos im KI-Bereich ist, dass wir das Verhalten von Agenten einfach dadurch kontrollieren können, dass wir es ihnen sagen. System-Prompts sind beratend, nicht durchsetzend. In dem oben genannten Vorfall haben die Systemregeln des KI-Agents ausdrücklich angegeben, dass er nie destruktive Befehle ausführen soll, doch der Agent hat seine eigenen beworbenen Schutzmechanismen verletzt und die unwiderruflichste Aktion möglich gemacht.

Wir müssen unter der Annahme arbeiten, dass der KI tatsächlich “nichts” weiß. Angriffe auf den KI sind soziale Manipulation, außer dass das Ziel dümmer ist als der durchschnittliche Mensch. Jeder, der Erfahrung mit Penetrationstests hat, versteht, wie schwierig es für Organisationen ist, sich gegen soziale Manipulationsangriffe zu verteidigen. Jetzt sind auch unsere Computer anfällig.

Darüber hinaus ist KI-Tooling letztendlich nur Software, und alle Software hat Fehler. Wir haben bereits Fälle gesehen, in denen KI-Tooling automatisch unauthentifizierte HTTP-Server startet, sodass jeder lokale Prozess oder jede Website willkürliche Shell-Befehle mit Benutzerberechtigungen ausführen kann.

Die Black Box der KI-Prüfung

Wenn ein KI ausfällt oder manipuliert wird, ist es ein Albtraum, herauszufinden, was es getan hat. KI-Tools liefern normalerweise keine Prüfprotokolle. Wenn Sie das Glück haben, auf einem Enterprise-Tarif zu sein, sind die Protokolle, die Sie erhalten, stark unvollständig. Zum Beispiel erhalten Sie ein vages Ereignis, das angibt, dass ein Benutzer “Gen AI” verwendet hat, und nur grundlegende Metriken, die die Anzahl der Eingabe- und Ausgabetoken angeben.

Keines von beiden hilft einem Sicherheitsanalysten, die grundlegende Frage zu beantworten: Was genau hat dieser Agent ausgeführt?

Die Enthüllung der KI: Wie man aufhört, blind zu fliegen

Die gute Nachricht ist, dass Sie nicht unbedingt ein neues, speziell für die KI-Sicherheit entwickeltes Gerät benötigen, um die Sichtbarkeit wiederzuerlangen. Schatten-KI-Nutzung und Agenten-Aktivitäten sind mit den vorhandenen Log-Analysetechniken erkennbar, die Ihr Team bereits haben sollte. KI-Tool-Aufrufe, Befehlsausführungen und System-Änderungsereignisse können mithilfe der vorhandenen Prozess-Ausführungsanalyse (die Sie in Ihrem Sicherheits-Information- und Ereignis-Management-System (SIEM) durchführen, richtig?) nachverfolgt werden.

Hier ist, wie Sie Ihre aktuelle Infrastruktur nutzen können, um KI-Aktivitäten zu erkennen:

• DNS-Analyse: Die Analyse von DNS-Protokollen für Abfragen zu bekannten KI-Service-Domains kann helfen, KI-Nutzung in Ihrer Umgebung zu erkennen.
• Bedrohungslisten: Dieser Ansatz erfordert die Pflege einer aktualisierten Bedrohungsliste von Domains, die mit KI-Plattformen oder Modell-Anbietern verknüpft sind.
• Community-Ressourcen: Es gibt Community-Projekte und Blocklisten, die in Lookup-Tabellen für programmatische Nutzung umgewandelt werden können.
• SSL-Tracking: Ein ähnlicher Ansatz kann SSL-Protokolle verwenden, um Servernamen zu verfolgen, obwohl er etwas weniger Detail liefert, da die vollständige URL nicht aufgezeichnet wird.
• Endpoint-Telemetrie: Sie können Tools wie Sysmon verwenden, um Kindprozesse zu zählen und nach hohen Bash-Spawners zu suchen, was ein starker Indikator für potenzielle KI-Agents ist, die Befehle auf einem Endpoint ausführen.

Der blinden Fleck, der aktive Änderungen an Ihrer Datenverbindung erfordert, sind die Prompts selbst. Was fordern die Benutzer von der KI? Laden sie möglicherweise sensible Dokumente hoch und verursachen damit Compliance-Probleme? Die Beantwortung dieser Fragen erfordert wahrscheinlich die Erfassung von API-Anfragen an den Anbieter; Web-Proxy, LLM-Proxy und Daten-Import-Tools von Logging- und SIEM-Anbietern. Diese können den Schleier entfernen, der diese wertvolle Datenquelle blockiert.

Die neue Bedrohung: Böswillige MCP-Server

Das Modell-Kontext-Protokoll (MCP) ist als Möglichkeit entstanden, wie KI-Apps mit externen Tools und Datenquellen integriert werden können. Während es Verbindungen standardisiert, führt es auch massive neue Angriffsvectoren über “Böse MCP“-Server ein.

Ich biete ein hands-on-Training-Workshop an, in dem die Studenten diese Attacke selbst erleben können. Sie entwerfen einen böswilligen MCP-Server, um einen LLM zu täuschen und ihn dazu zu bringen, legitime Tools aufzurufen und die Ausgabe an den Angreifer zurückzusenden. Da LLMs sehr anfällig für soziale Manipulation sind, ist das Umgehen ihrer integrierten Schutzmechanismen oft nur eine Frage der Wortwahl oder eines cleveren Vorwands.

Die Studenten verwenden ihren böswilligen Server häufig, um der KI zu sagen, dass sie sich “im Wartungsmodus” befindet und Daten an ein sekundäres Tool für “Audit-Protokollierung” senden muss, was zu Datenexfiltration führt. Einige sind kreativer mit ihren Prompts als andere, aber alle sind normalerweise erfolgreich.

Die Kontrolle zurückgewinnen

Um KI-Aktivitäten in der realen Welt ordnungsgemäß zu prüfen, benötigen Sie einen Proxy, um KI-Anfragen abzufangen, und ein Log-Sammlungstool, das in der Lage ist, massive JSON-Payloads zu verarbeiten. Mit dieser Sichtbarkeit können Sie Bedrohungen erkennen und triagieren. Sie können sich nicht allein auf KI-Anbieter verlassen, um die Sicherheitsschicht bereitzustellen. Die Durchsetzung muss in den Systemen Ihrer Organisation leben, nicht in einem Textabsatz, den wir hoffen, dass das Modell entscheidet, zu befolgen. Mit einer guten Logging-Lösung haben Sicherheitsteams die Telemetrie; es ist Zeit, dass sie damit beginnen, sie abzufragen. Sie können Bedrohungen erkennen und triagieren. Sie können sich nicht allein auf KI-Anbieter verlassen, um die Sicherheitsschicht bereitzustellen. Die Durchsetzung muss in den Systemen Ihrer Organisation leben, nicht in einem Textabsatz, den wir hoffen, dass das Modell entscheidet, zu befolgen. Mit einer guten Logging-Lösung haben Sicherheitsteams die Telemetrie; es ist Zeit, dass sie damit beginnen, sie abzufragen.