Cybersicherheit
Cato Networks stellt AgentSense vor, um schädliche Aktionen von KI-Agenten vor ihrer Ausführung zu verhindern

Wichtige PunkteAgentSense zielt auf indirekte Prompt-Injection ab, indem es nachverfolgt, wie nicht…
Mehr anzeigen
- AgentSense zielt auf indirekte Prompt-Injection ab, indem es nachverfolgt, wie nicht vertrauenswürdige Inhalte die Aktionen eines Agenten lenken.
- Gültige Anmeldedaten garantieren kein sicheres Verhalten, da ein Agent zu schädlichen Handlungen manipuliert werden kann.
- Catas 10.000-Dollar-Herausforderung lädt Forscher ein zu testen, ob AgentSense einer adversariellen Umleitung des Workflows widersteht.
Cato Networks hat AgentSense vorgestellt, eine Sicherheitsfunktion zur Laufzeit, die schädliche Aktionen von KI-Agenten verhindern soll, bevor diese ausgeführt werden. Die von Cato AI Labs entwickelte Technologie verfolgt, wie nicht vertrauenswürdige Inhalte das Verhalten eines Agenten beeinflussen. Damit geht sie ein Risiko an, das sich mit gewöhnlichen Zugriffsberechtigungen nicht vollständig beheben lässt: Ein Agent kann über legitime Zugangsdaten verfügen und dennoch dazu gebracht werden, etwas Falsches zu tun.
Cato zufolge ist AgentSense in die Plattform integriert und wird ohne zusätzliche Kosten in den Lizenzen für Cato AI Usage enthalten sein. Zusammen mit der Technologie kündigte das Unternehmen eine Challenge für adversariale Tests an. Die ersten drei teilnahmeberechtigten Personen, denen es gelingt, einen geschützten Arbeitsablauf zu schädlichen Aktionen umzulenken, erhalten jeweils 10.000 US-Dollar.
Gültige Berechtigungen können trotzdem zu unsicheren Aktionen führen
Ein Unternehmensagent muss möglicherweise E-Mails lesen, Dokumente durchsuchen, Websites aufrufen und Tools nutzen, um eine Aufgabe zu erledigen. Jede Quelle erweitert die Informationen, die er verwenden kann, eröffnet aber auch die Möglichkeit, dass externe Texte seinen nächsten Schritt beeinflussen.
Indirekte Prompt-Injection nutzt diese Grenze aus. Anstatt dem Agenten direkt als autorisierter Nutzer eine Anweisung zu erteilen, versteckt ein Angreifer sie in Material, auf das der Agent während seiner Arbeit stößt. Ein Dokument, ein Ticket, eine Webseite oder die Antwort eines Tools kann Text enthalten, der versucht, den Arbeitsablauf umzulenken, Informationen offenzulegen oder eine sachfremde Aktion auszulösen.
Es bleibt wichtig zu prüfen, ob ein Agent auf eine Anwendung zugreifen kann. Damit wird jedoch eine andere Frage beantwortet als die, ob eine bestimmte Aktion der vom Nutzer autorisierten Aufgabe dient. Ein Agent darf beispielsweise Geschäftsunterlagen lesen, ohne berechtigt zu sein, sie an ein Ziel zu senden, das in einem abgerufenen Dokument vorgeschlagen wird.
AgentSense soll dieses Verhalten während der Ausführung bewerten und die Möglichkeit bieten, einzugreifen, bevor eine sensible Aktion ausgeführt wird.
Nicht vertrauenswürdige Einflussnahme innerhalb der KI-Sitzung nachverfolgen
Die angekündigte Funktion zur Erkennung nicht vertrauenswürdiger Einflussnahme unterscheidet innerhalb einer KI-Sitzung zwischen vertrauenswürdigen Anweisungen und nicht vertrauenswürdigen Inhalten und verfolgt, wie Letztere das Verhalten und die Ausgaben beeinflussen. Cato zufolge blockiert die Funktion eine Aktion, wenn sie erkennt, dass nicht vertrauenswürdiges Material den Agenten zu einem unsicheren Schritt lenkt.
Diese Unterscheidung ist wichtig, denn ein Angriff muss nicht wie eine bekannte bösartige Eingabeaufforderung aussehen. Cato beschreibt AgentSense als eine Technologie, die Einflussnahme bewertet, statt sich auf statische Klassifikatoren oder einen Katalog bereits beobachteter Angriffsmuster zu stützen. Damit sollen sowohl neue als auch bekannte Formen indirekter Prompt-Injection erkannt werden.
Laut Produktmitteilung ist die Technologie patentiert. Sie enthält jedoch weder eine Patentnummer noch Angaben zur detaillierten Implementierung oder einen unabhängigen Wirksamkeitsvergleich. Die Behauptung, Schutz vor bislang unbekannten Angriffen zu bieten, ist daher als angestrebte Sicherheitsfunktion des Produkts zu verstehen und nicht als Garantie, dass jeder Versuch einer Prompt-Injection abgewehrt wird.
Die entscheidende Frage für den praktischen Einsatz lautet, ob eine Sicherheitsebene über genügend Kontext zur Sitzung und zur jeweiligen Aktion verfügt, um zu unterscheiden, ob ein Dokument als Beleg verwendet oder als maßgebliche Anweisung behandelt wird. Genau auf diese Unterscheidung zielt AgentSense ab.
Drift-Erkennung ist eine separate geplante Funktion
Cato beschreibt auch die Drift-Erkennung von AgentSense als künftige Funktion. Sie soll bewerten, ob die Aktionen eines Agenten im Verlauf eines Arbeitsablaufs weiterhin der ursprünglichen Aufgabe dienen.
Sie ergänzt die Erkennung von Einflussnahme, ohne dasselbe Problem anzugehen. Bei der Erkennung nicht vertrauenswürdiger Einflussnahme geht es darum, ob externe Inhalte eine Aktion lenken. Die Drift-Erkennung soll prüfen, ob die Aktion weiterhin dem Ziel entspricht – selbst wenn der einzelne Schritt technisch zulässig ist.
In einem Arbeitsablauf können sich nach und nach Schritte ansammeln, die ihrem Zweck nicht mehr dienen. Um diese Abweichung zu erkennen, muss das autorisierte Ziel über die gesamte Sitzung hinweg im Blick behalten werden, anstatt jeden Tool-Aufruf isoliert zu beurteilen. In der Produktmitteilung wird kein gesonderter Verfügbarkeitstermin für die Drift-Erkennung genannt.
Wie AgentSense in die bestehende KI-Sicherheitsplattform von Cato passt
Das Angebot von Cato für die Sicherheit autonomer KI-Agenten umfasst bereits Funktionen zur Erkennung von Agenten und Model-Context-Protocol-Servern, zur Erstellung von Profilen für Tool-Aufrufe und zur Durchsetzung von Richtlinien für Interaktionen mit Agenten. Die übergreifende Plattform vereint Netzwerk-, Zugriffs- und Sicherheitskontext.
Das Unternehmen unterscheidet außerdem zwischen der Absicherung der KI-Nutzung durch Mitarbeitende und dem Schutz von Anwendungen. Das Angebot KI-Sicherheit für Anwendungen umfasst nach eigener Beschreibung Transparenz zur Laufzeit, die Prüfung von Eingaben und Antworten sowie konfigurierbare Schutzmaßnahmen für bereitgestellte KI-Anwendungen. Das ordnet den Schwerpunkt von AgentSense auf die Integrität von Aktionen ein, die während eines Arbeitsablaufs ausgeführt werden.
In der Praxis umfasst die Kontrolle der KI-Nutzung mehrere zusammenhängende Entscheidungen: Welche Dienste eine Organisation zulässt, welche Daten an sie übermittelt werden dürfen und was ein Agent mit den Informationen tun darf, auf die er stößt. AgentSense ergänzt diese Sicherheitsarchitektur um einen verhaltensbezogenen Anspruch: zu erkennen, wenn nicht vertrauenswürdige Inhalte die Aktion selbst steuern.
Prompt-Injection-Forschung zeigt, warum diese Grenze wichtig ist
Catos Forschung zu EchoLeak beschreibt eine Angriffskette, bei der Inhalte aus externen Quellen Microsoft 365 Copilot dazu bringen konnten, Informationen aus seinem Kontext offenzulegen. Für die Sicherheit von Agenten ist entscheidend, dass sie dadurch nicht nur externe Inhalte lesen, sondern auch Anweisungen ausführen, die darin eingebettet sind.
Die Forschung zu CurXecute untersuchte einen anderen möglichen Ausgang: Eine Prompt-Injection über externe Inhalte konnte dazu führen, dass ein Programmieragent eine MCP-Konfiguration änderte und die Ausführung von Befehlen auslöste. Laut Catos Bericht hat Cursor diese Schwachstelle in Version 1.3 behoben. Das Beispiel veranschaulicht ein mögliches Fehlerszenario; es ist nicht als Behauptung zu verstehen, dass die behobene Schwachstelle weiterhin besteht.
Beide Fälle zeigen, warum die Herkunft von Inhalten wichtig ist, sobald ein Assistent auf sensible Daten oder Ausführungswerkzeuge zugreifen kann. Eine Interaktion, die mit dem Abruf von Informationen beginnt, kann zu einem Sicherheitsvorfall werden, wenn abgerufener Text den Steuerungsfluss des Workflows verändert.
Eine öffentliche Herausforderung soll den Schutz auf die Probe stellen
Die AgentSense Challenge lädt die Sicherheitsgemeinschaft dazu ein, Anweisungen in einen geschützten Workflow einzuschleusen und zu versuchen, den Agenten von der Absicht des Nutzers abzubringen. Cato zufolge sollen die Ergebnisse und Rückmeldungen der Teilnehmenden in die weitere Bewertung und Verbesserung einfließen.
Die ersten drei teilnahmeberechtigten Personen, denen dies gelingt, erhalten laut Ankündigung jeweils 10.000 US-Dollar. Die bereitgestellte Mitteilung enthält weder die endgültige URL der Challenge noch ausführliche Regeln. Daher richten sich die Teilnahmeberechtigung und die Grenzen der Tests nach den veröffentlichten Programmbedingungen.
Für Unternehmen, die Agenten mehr Autonomie einräumen, deckt AgentSense einen konkreten Bedarf ab: die Verbindung zwischen der vom Nutzer genehmigten Aufgabe und den Aktionen aufrechtzuerhalten, die ein KI-System letztlich ausführt. Der Nutzen der Technologie hängt davon ab, wie zuverlässig sie diese Grenze durchsetzen und zugleich legitime Arbeit ermöglichen kann.












