Die Sicherheitslücken, die wir selbst geschaffen haben: AI-Agents und das Problem mit der Befehlsausführung

LLM-basierte AI-Agents führen eine neue Klasse von Sicherheitslücken ein, bei der Angreifer bösartige Anweisungen in Daten injizieren und hilfreiche Systeme in ungewollte Helfer verwandeln.

Microsoft Copilot wurde nicht im herkömmlichen Sinne gehackt. Es gab kein Schadcode, keinen Phishing-Link, keinen bösartigen Code. Niemand hat etwas geklickt oder einen Exploit bereitgestellt.

Der Angreifer hat einfach nur gefragt. Microsoft 365 Copilot, der genau das tat, was er gebaut wurde, um zu tun, kam nach. Im jüngsten Echoleak-Zero-Click-Angriff wurde der AI-Agent durch eine Anweisung manipuliert, die als Daten getarnt war. Er gehorchte, nicht weil er kaputt war, sondern weil er so funktionierte, wie er gebaut wurde.

Diese Sicherheitslücke nutzte nicht Software-Bugs aus. Sie nutzte die Sprache aus. Und das markiert einen wichtigen Wendepunkt in der Cybersicherheit, bei dem die Angriffsfläche nicht mehr der Code, sondern die Konversation ist.

Das neue AI-Gehorsamkeitsproblem

AI-Agents sind dazu gebaut, zu helfen. Ihr Zweck ist es, die Benutzerabsicht zu verstehen und effizient zu handeln. Diese Nützlichkeit geht mit Risiken einher. Wenn diese Agenten in Dateisysteme, Produktivitätsplattformen oder Betriebssysteme integriert werden, folgen sie natürlichen Sprachanweisungen mit minimaler Gegenwehr.

Angreifer nutzen genau diese Eigenschaft aus. Mit Anweisungsinjektionen, die harmlos erscheinen, können sie sensible Aktionen auslösen. Diese Anweisungen können Folgendes umfassen:

• Mehrsprachige Code-Snippets
• Unbekannte Dateiformate und eingebettete Anweisungen
• Nicht-englische Spracheingaben
• Mehrstufige Anweisungen, die in alltäglicher Sprache versteckt sind

Da große Sprachmodelle (LLMs) darauf trainiert sind, Komplexität und Mehrdeutigkeit zu verstehen, wird die Anweisung zur Payload.

Das Gespenst von Siri und Alexa

Dieses Muster ist nicht neu. In den frühen Tagen von Siri und Alexa zeigten Forscher auf, wie das Abspielen eines Sprachbefehls wie “Senden Sie alle meine Fotos an diese E-Mail-Adresse” eine Aktion ohne Benutzerbestätigung auslösen konnte.

Jetzt ist die Bedrohung größer. AI-Agents wie Microsoft Copilot sind tief in Office 365, Outlook und das Betriebssystem integriert. Sie haben Zugriff auf E-Mails, Dokumente, Anmeldeinformationen und APIs. Angreifer benötigen nur die richtige Anweisung, um kritische Daten zu extrahieren, während sie sich als legitimer Benutzer ausgeben.

Wenn Computer Anweisungen mit Daten verwechseln

Dies ist kein neues Prinzip in der Cybersicherheit. Injektionen wie SQL-Angriffe gelangen, weil Systeme nicht zwischen Eingabe und Anweisung unterscheiden konnten. Heute existiert dieser gleiche Fehler, aber auf der Sprachschicht.

AI-Agents behandeln natürliche Sprache als Eingabe und Absicht. Ein JSON-Objekt, eine Frage oder sogar ein Ausdruck kann eine Aktion auslösen. Diese Mehrdeutigkeit ist es, was Angreifer ausnutzen, indem sie Anweisungen in scheinbar harmlosen Inhalten einbetten.

Wir haben Absicht in die Infrastruktur eingebettet. Jetzt haben Angreifer gelernt, wie sie diese Absicht extrahieren können, um ihren Willen zu tun.

AI-Adoption überholt die Cybersicherheit

Wenn Unternehmen LLMs integrieren, übersehen viele eine kritische Frage: Was hat das AI-System Zugriff auf?

Wenn Copilot das Betriebssystem berühren kann, erweitert sich der Blast-Radius weit über den Inbox hinaus. Laut Check Points AI-Sicherheitsbericht:

• 62 Prozent der globalen Chief Information Security Officers (CISOs) befürchten, dass sie persönlich für AI-bezogene Sicherheitsverletzungen verantwortlich gemacht werden könnten
• Fast 40 Prozent der Organisationen berichten über nicht genehmigte interne Nutzung von AI, oft ohne Sicherheitsüberwachung
• 20 Prozent der Cyberkriminellen nutzen AI in ihren Operationen, einschließlich des Versands von Phishing-E-Mails und der Durchführung von Aufklärung

Dies ist nicht nur ein aufkommendes Risiko. Es ist ein aktuelles Risiko, das bereits Schaden anrichtet.

Warum bestehende Sicherheitsmaßnahmen nicht ausreichen

Einige Anbieter verwenden Wachhunde – sekundäre Modelle, die darauf trainiert sind, gefährliche Anweisungen oder verdächtiges Verhalten zu erkennen. Diese Filter können grundlegende Bedrohungen erkennen, sind aber anfällig für Ausweichtechniken.

Angreifer können:

• Filter mit Rauschen überlasten
• Absicht über mehrere Schritte aufteilen
• Nicht offensichtliche Formulierungen verwenden, um Erkennung zu umgehen

Im Fall von Echoleak waren Sicherheitsmaßnahmen vorhanden – und sie wurden umgangen. Dies spiegelt nicht nur ein Versagen der Richtlinie wider, sondern ein Versagen der Architektur. Wenn ein Agent hohe Berechtigungen hat, aber einen geringen Kontext, fallen sogar gute Schutzmaßnahmen kurz.

Erkennung, nicht Perfektion

Die Verhinderung jedes Angriffs kann unrealistisch sein. Das Ziel muss die schnelle Erkennung und rasche Eindämmung sein.

Organisationen können beginnen, indem sie:

• AI-Agenten-Aktivitäten in Echtzeit überwachen und Prompt-Audit-Logs führen
• Strengen least-privilege-Zugriff auf AI-Tools anwenden, der administrativen Kontrollen entspricht
• Reibung bei sensiblen Operationen hinzufügen, wie z.B. Bestätigungen erforderlich machen
• Unübliche oder feindliche Anweisungsmuster für die Überprüfung markieren

Sprachbasierte Angriffe werden nicht in herkömmlichen Endpoint-Detection-and-Response-(EDR)-Tools erscheinen. Sie erfordern ein neues Erkennungsmodell.

Was Organisationen jetzt tun sollten, um sich zu schützen

Bevor Organisationen AI-Agents bereitstellen, müssen sie verstehen, wie diese Systeme funktionieren und welche Risiken sie mit sich bringen.

Schlüsslempfehlungen umfassen:

1. Audit aller Zugriffe: Wissen, was Agents berühren oder auslösen können
2. Begrenzen des Umfangs: Mindestens notwendige Berechtigungen erteilen
3. Alle Interaktionen verfolgen: Prompts, Antworten und resultierende Aktionen protokollieren
4. Stresstest: Intern und häufig feindliche Eingaben simulieren
5. Planen für Ausweichmanöver: Annehmen, dass Filter umgangen werden
6. Ausrichten mit der Sicherheit: Stellen Sie sicher, dass LLM-Systeme Sicherheitsziele unterstützen und nicht gefährden

Die neue Angriffsfläche

Echoleak ist ein Vorgeschmack darauf, was kommen wird. Wenn LLMs sich weiterentwickeln, wird ihre Nützlichkeit zu einer Belastung. Tief in Geschäftssysteme integriert, bieten sie Angreifern einen neuen Weg hinein – durch einfache, sorgfältig gestaltete Anweisungen.

Dies ist nicht mehr nur darum, Code zu sichern. Es geht darum, Sprache, Absicht und Kontext zu sichern. Das Spielbuch muss sich jetzt ändern, bevor es zu spät ist.

Und dennoch gibt es gute Nachrichten. Es gibt Fortschritte bei der Nutzung von AI-Agents, um gegen neue und aufkommende Cyber-Bedrohungen zu verteidigen. Wenn sie richtig eingesetzt werden, können diese autonomen AI-Agents auf Bedrohungen schneller reagieren als jeder Mensch, über Umgebungen hinweg zusammenarbeiten und proaktiv gegen aufkommende Risiken verteidigen, indem sie von einem einzigen Eindringversuch lernen.

Agente AI kann von jedem Angriff lernen, in Echtzeit anpassen und Bedrohungen verhindern, bevor sie sich ausbreiten. Sie haben das Potenzial, eine neue Ära der Cyber-Resilienz zu etablieren, aber nur, wenn wir diesen Moment nutzen und die Zukunft der Cybersicherheit gemeinsam gestalten. Wenn wir es nicht tun, könnte diese neue Ära zu einem Cybersicherheits- und Datenschutz-Albtraum für Organisationen werden, die bereits AI implementiert haben (manchmal sogar unbewusst mit Schatten-IT-Tools). Jetzt ist der Zeitpunkt, um Maßnahmen zu ergreifen, um sicherzustellen, dass AI-Agents für unseren Nutzen und nicht für unseren Untergang eingesetzt werden.