KI-Agenten werden intelligenter und ihre Angriffsfläche wird größer

Im Moment, als KI-Agenten begannen, Meetings zu buchen, Code auszuführen und im Internet zu browsen, änderte sich die Cybersicherheitskonversation über Nacht.

Was früher ein abgegrenztes, vorhersehbares Softwaresystem war, wurde zu etwas, das begründet, plant und Aktionen über Tools und APIs ausführt, die es vor einem Jahr kaum kannte.

Das ist wirklich aufregend, und es ist auch wirklich beunruhigend, weil die Angriffsfläche, die mit dieser Autonomie einhergeht, enorm ist und die meisten Organisationen gerade erst beginnen, zu verstehen, was es bedeutet, Agenten in ihre Infrastruktur zu lassen.

Von Chatbots zu Operatoren

Das ursprüngliche Versprechen von KI war einfach: eine Frage stellen, eine Antwort erhalten. Das ist immer noch wahr für die meisten Konsumenteninteraktionen, aber es ist nicht mehr das, was in Unternehmenseinsätzen passiert. Heutige Agenten erhalten Anmeldeinformationen, API-Schlüssel und die Fähigkeit, Daten zu löschen, zu erstellen und zu annotieren, sowie tatsächliche Aktionen in Systemen auszuführen, die reale Konsequenzen haben.

Der Wechsel erfolgte schnell. In weniger als zwei Jahren gingen KI-Agenten von Textgeneratoren zu glatten, multi-agentischen Einrichtungen. Sie lesen E-Mails, lösen Workflows aus, fragen Datenbanken ab und führen in einigen Fällen andere Agenten unter ihnen aus. Dieser Zugriff erforderte früher einen langwierigen Beschaffungsprozess und einen Menschen im Entscheidungsprozess. Jetzt ist es eine Konfigurationsdatei und einige API-Aufrufe.

Mehr Zugriff bedeutet mehr Exposition

Traditionelle Software-Angriffe haben ein mehr oder weniger vorhersehbares Profil. Es gibt einen bekannten Einstiegspunkt, eine bekannte Schwachstelle, ein bekanntes Patch. KI-Agenten brechen dieses Modell, weil sie dynamisch konzipiert sind. Sie folgen keinem statischen Codepfad. Sie begründen, was sie als Nächstes tun sollen, was bedeutet, dass ihr Verhalten schwerer vorherzusagen und viel schwerer zu überprüfen ist.

Diese Unvorhersehbarkeit ist nützlich, um Arbeit zu erledigen. Sie ist auch ein Vorteil für jeden, der das System ausnutzen will. Wenn ein Agent entscheiden kann, mitten in einer Aufgabe, eine externe API aufzurufen oder ein externes Tool zu verwenden, gibt es keine saubere Perimeter zu verteidigen.

Sicherheitsteams sind daran gewöhnt, bekannte Oberflächen zu schützen und Kubernetes-Kosten zu überwachen. Agenten entdecken ständig neue Oberflächen und Schwachstellen, und niemand kartiert sie in Echtzeit. Bevor man es merkt, kann jemand die Anmeldeinformationen übernehmen und die Kontrolle über das gesamte KI-“Organismus” mit einem Schritt übernehmen.

Prompt-Injektion ist das neue SQL-Injection

Wenn es einen Angriffspunkt gibt, auf den Sicherheitsforscher ständig zurückkommen, dann ist es die Prompt-Injektion. Die Idee ist einfach: anstelle einer Code-Schwachstelle auszunutzen, manipuliert ein Angreifer die Anweisungen, die ein Agent über seine Eingaben erhält. Eine bösartige Anweisung, die in eine Webseite eingebettet ist, ein Dokument oder sogar eine E-Mail, kann das Verhalten des Agents ändern.

Was dies besonders scharf macht, ist, dass Agenten oft genau das tun, was sie angegeben bekommen. Sie verarbeiten Inhalte aus dem Internet, aus Benachrichtigungen, aus externen Tools. Jeder dieser Inhalte ist eine potenzielle Injektionsfläche. Ein Agent, der ein kompromittiertes Dokument liest und dann API-Aufrufe auf Grundlage seines Inhalts ausführt, wurde gehijackt, und es wird wahrscheinlich nichts loggen, was die Kausalkette offensichtlich macht.

Die Verteidigungen hier sind real, aber unvollständig. Die Einschränkung der Aktionen von Agenten, die Einschränkung der Tools, die ein Agent in bestimmten Kontexten aufrufen kann, und die Einrichtung von menschlichen Prüfungen in wichtigen Workflows verringern das Risiko. Sie eliminieren es nicht. Und die meisten Organisationen haben noch nicht einmal die Grundlagen implementiert.

Das Vertrauensproblem innerhalb von Multi-Agenten-Systemen

Multi-Agenten-Systeme führen eine Komplexitätsebene ein, die leicht unterschätzt werden kann. Wenn ein Agent mehrere andere Agenten orchestriert, gibt es eine Vertrauenshierarchie im Spiel. Der Orchestrierer gibt Anweisungen weiter, und die Subagenten folgen ihnen. Wenn dieser Orchestrierer kompromittiert wird, jeder Agent unter ihm ist effektiv kompromittiert, und der Blast-Radius wird sehr schnell groß.

Es gibt auch das Problem der Überberechtigung. Agenten erhalten häufig mehr Zugriff als sie benötigen, weil es einfacher ist, breite Berechtigungen im Voraus zu gewähren, als sie schrittweise zu verfeinern. Ein Forschungsagent benötigt keinen Schreibzugriff auf eine Produktionsdatenbank.

Ein Planungsagent benötigt keinen Zugriff auf Finanzunterlagen. Sicher, es fühlt sich beruhigend an, alles miteinander zu verbinden, aber es ist einfach zu riskant, um zu sehen, dass es keine abnehmenden Renditen gibt. Aber die Grenzen werden in der Praxis verschwommen, und die Prinzipien der Mindestberechtigung, die in der Theorie gut funktionieren, werden stillschweigend aufgegeben, um zu liefern.

Was vernünftige Sicherheit hier aussieht

Es gibt keine einzelne Lösung, die den Einsatz von Agenten sicher macht. Es ist ein schichtweise Problem und es benötigt eine schichtweise Antwort. Organisationen, die dies gut machen, beginnen in der Regel mit Zugriffskontrollen: jedem Agenten wird ein definierter, enger Umfang gegeben und Überprüfungsschritte werden in jede Aktion eingebaut, die sensible Systeme oder externe Dienste berührt.

Beobachtbarkeit ist ebenso wichtig wie Prävention. Wenn ein Agent etwas Unerwartetes tut, müssen Teams eine vollständige Spur dessen haben, was der Agent als Anweisungen erhalten hat, welche Tools er aufgerufen hat und was er zurückgegeben hat. Die meisten Logging-Setups sind nicht so konzipiert, dass sie diese Art von Granularität im Blick haben, und es ist schmerzhaft, sie nachträglich zu ändern. Sie von Anfang an zu bauen, lohnt sich.

Adversarial-Tests werden auch unterausgestellt. Red-Teaming von Agenten, also das gezielte Einsetzen von bösartigen Anweisungen und das Beobachten, was passiert, bringt Schwachstellen ans Licht, die eine statische Code-Überprüfung nie erfassen wird. Es ist unangenehm, darüber nachzudenken, aber die Menschen, die diese Systeme ausnutzen werden, tun dies bereits. Als Erster dort zu sein, ist der einzige sinnvolle Schritt.

Letzte Gedanken

KI-Agenten werden einen größeren Teil davon ausmachen, wie Organisationen operieren, und dieser Wandel ist bereits im Gange. Die Sicherheitskonversation muss nachziehen, und schnell. Die Risiken sind real, die Angriffspunkte sind neu, und das Zeitfenster, um ihnen vorzubeugen, wird kleiner.

Das Verständnis der Bedrohungslandschaft für autonome KI-Systeme ist nicht mehr optional. Es ist eine der wichtigsten Dinge, die Sicherheits- und Ingenieursteams gerade tun können, und die Uhr, um es richtig zu machen, ist bereits gestartet.