KI-Agenten werden intelligenter – und ihre Angriffsfläche wächst

In dem Moment, als KI-Agenten begannen, in Ihrem Auftrag Besprechungen zu buchen, Code auszuführen und im Internet zu surfen, änderte sich die Diskussion über Cybersicherheit. Nicht allmählich, sondern über Nacht.

Was früher ein abgegrenztes, vorhersehbares Softwaresystem war, wurde zu etwas, das nachdenkt, plant und mithilfe von Tools und APIs handelt, von deren Existenz es vor einem Jahr kaum wusste.

Das ist wirklich aufregend, und es ist auch wirklich beunruhigend, weil die Angriffsfläche, die mit dieser Autonomie einhergeht, enorm ist und die meisten Organisationen gerade erst beginnen, zu verstehen, was es bedeutet, Agenten in ihre Infrastruktur zu lassen.

Von Chatbots zu Operatoren

Das ursprüngliche Versprechen von KI war einfach: eine Frage stellen, eine Antwort erhalten. Das gilt weiterhin für die meisten Interaktionen mit Verbrauchern, aber es ist nicht mehr das, was in Unternehmenseinsätzen passiert. Heutige Agenten erhalten Anmeldeinformationen, API-Schlüssel und die Fähigkeit, Daten zu löschen, zu erstellen und zu annotieren, sowie tatsächliche Aktionen in Systemen auszuführen, die reale Konsequenzen haben.

Der Wechsel erfolgte schnell. In weniger als zwei Jahren gingen KI-Agenten von Textgeneratoren zu Systemen über, die uns den reibungslosen Betrieb von Multi-Agenten-Systemen ermöglichen. Sie lesen E-Mails, lösen Workflows aus, fragen Datenbanken ab und verwalten in einigen Fällen untergeordnete Agenten. Dieser Zugriff erforderte früher einen langwierigen Beschaffungsprozess und einen Menschen im Entscheidungsprozess. Jetzt ist es eine Konfigurationsdatei und einige API-Aufrufe.

Mehr Zugriff bedeutet mehr Exposition

Traditionelle Software-Angriffe haben ein mehr oder weniger vorhersehbares Profil. Es gibt einen bekannten Einstiegspunkt, eine bekannte Schwachstelle, einen bekannten Patch. KI-Agenten brechen dieses Modell, weil sie dynamisch konzipiert sind. Sie folgen keinem statischen Codepfad. Sie überlegen, was sie als Nächstes tun sollen, was bedeutet, dass ihr Verhalten schwerer vorherzusagen und im Nachhinein viel schwerer zu überprüfen ist.

Diese Unvorhersehbarkeit ist nützlich, um Arbeit zu erledigen. Sie ist auch ein Vorteil für jeden, der das System ausnutzen will. Wenn ein Agent entscheiden kann, mitten in einer Aufgabe, eine externe API aufzurufen oder ein Tool eines Drittanbieters einzubinden, gibt es keinen klar abgegrenzten Perimeter zu verteidigen.

Sicherheitsteams sind daran gewöhnt, bekannte Oberflächen zu schützen und Kubernetes-Kosten zu überwachen. Agenten entdecken ständig neue Angriffsflächen und Methoden zum Ausnutzen von Schwachstellen, und niemand kartiert sie in Echtzeit. Bevor man es merkt, kann jemand die Anmeldeinformationen übernehmen und die Kontrolle über Ihren gesamten KI-„Organismus“ mit einem einzigen Zug übernehmen.

Prompt-Injection ist die neue SQL-Injection

Wenn es einen Angriffsvektor gibt, auf den Sicherheitsforscher ständig zurückkommen, dann ist es die Prompt-Injection. Die Idee ist einfach: anstatt eine Schwachstelle im Code auszunutzen, manipuliert ein Angreifer die Anweisungen, die ein Agent über seine Eingaben erhält. Eine bösartige Anweisung, eingebettet in eine Webseite, ein Dokument oder sogar eine E-Mail, kann die nächsten Handlungen des Agenten umlenken.

Was dies besonders gefährlich macht, ist, dass Agenten oft genau das tun, was ihnen aufgetragen wird. Sie verarbeiten Inhalte aus dem Internet, aus Benutzernachrichten und aus Tools von Drittanbietern. All diese Inhalte können eine potenzielle Injektionsfläche sein. Ein Agent, der ein kompromittiertes Dokument liest und dann API-Aufrufe auf Grundlage seines Inhalts ausführt, wurde gehijackt, und er wird wahrscheinlich nichts protokollieren, was die Kausalkette offensichtlich macht.

Die Verteidigungen hier sind real, aber unvollständig. Die Ausführung von Agentenaktionen in einer Sandbox, die Einschränkung der Tools, die ein Agent in bestimmten Kontexten aufrufen kann, und die Einrichtung von menschlichen Prüfungen in Arbeitsabläufen mit weitreichenden Konsequenzen verringern das Risiko. Sie eliminieren es nicht. Und die meisten Organisationen haben noch nicht einmal die Grundlagen implementiert.

Das Vertrauensproblem innerhalb von Multi-Agenten-Systemen

Multi-Agenten-Systeme führen eine Komplexitätsebene ein, die leicht unterschätzt werden kann. Wenn ein Agent mehrere andere Agenten orchestriert, gibt es eine Vertrauenshierarchie im Spiel. Der Orchestrierer gibt Anweisungen weiter, und die Subagenten folgen ihnen. Wenn dieser Orchestrierer kompromittiert wird, ist jeder untergeordnete Agent faktisch ebenfalls kompromittiert, und das Ausmaß der Auswirkungen wächst sehr schnell.

Es gibt auch das Problem der Überberechtigung. Agenten erhalten häufig mehr Zugriff als sie benötigen, weil es einfacher ist, breite Berechtigungen im Voraus zu gewähren, als sie schrittweise zu verfeinern. Ein Forschungsagent benötigt keinen Schreibzugriff auf eine Produktionsdatenbank.

Ein Planungsagent benötigt keinen Zugriff auf Finanzunterlagen. Sicher, es fühlt sich beruhigend an, alles miteinander zu verbinden, aber das Risiko ist schlicht zu hoch, als dass der Nutzen ohne Einbußen erhalten bleiben könnte. Aber die Grenzen werden in der Praxis verschwommen, und die Prinzipien der Mindestberechtigung, die in der Theorie gut funktionieren, werden in der Eile, das Produkt auszuliefern, stillschweigend aufgegeben.

Wie vernünftige Sicherheit hier aussieht

Es gibt keine einzelne Lösung, die den Einsatz von Agenten sicher macht. Es ist ein vielschichtiges Problem und erfordert eine mehrschichtige Antwort. Organisationen, die dies gut machen, beginnen in der Regel mit Zugriffskontrollen: jedem Agenten wird ein klar definierter, eng begrenzter Aufgabenbereich gegeben und Überprüfungsschritte werden in jede Aktion eingebaut, die sensible Systeme oder externe Dienste berührt.

Beobachtbarkeit ist ebenso wichtig wie Prävention. Wenn ein Agent etwas Unerwartetes tut, benötigen Teams eine vollständige Aufzeichnung der Anweisungen, die er erhalten hat, welche Tools er aufgerufen hat und was er zurückgegeben hat. Die meisten Protokollierungssysteme sind nicht auf diesen Detailgrad ausgelegt, und ihn nachträglich einzubauen ist mühsam. Ihn von Anfang an vorzusehen, lohnt den zusätzlichen Aufwand.

Tests aus der Perspektive eines Angreifers werden ebenfalls zu selten eingesetzt. Red-Teaming von Agenten, insbesondere der Versuch, bösartige Anweisungen einzuschleusen, und das Beobachten, was passiert, bringt Schwachstellen ans Licht, die eine statische Code-Überprüfung nie erfassen wird. Es ist unangenehm, darüber nachzudenken, aber die Menschen, die später versuchen werden, diese Systeme auszunutzen, führen solche Tests bereits durch. Ihnen zuvorzukommen, ist der einzige sinnvolle Schritt.

Abschließende Gedanken

KI-Agenten werden einen größeren Teil davon ausmachen, wie Organisationen operieren, und dieser Wandel ist bereits weit fortgeschritten. Die Sicherheitskonversation muss nachziehen, und schnell. Die Risiken sind real, die Angriffsvektoren sind neu, und das Zeitfenster, um ihnen vorzubeugen, wird kleiner.

Das Verständnis der Bedrohungslandschaft für autonome KI-Systeme ist nicht mehr optional. Es ist eine der wichtigsten Aufgaben, die Sicherheits- und Ingenieursteams gerade wahrnehmen können, und die Zeit, es richtig zu machen, läuft bereits.