Cyberbeveiliging

Cato Networks onthult AgentSense om schadelijke acties van AI-agents vóór uitvoering tegen te houden

Miles Okada
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
Belangrijkste puntenAgentSense richt zich op indirecte promptinjectie door na te gaan hoe niet-vertrouwde…
Meer weergeven
  • AgentSense richt zich op indirecte promptinjectie door na te gaan hoe niet-vertrouwde inhoud de acties van een agent stuurt.
  • Geldige inloggegevens garanderen geen veilig gedrag, omdat een agent kan worden gemanipuleerd tot schadelijke acties.
  • Cato's uitdaging van $10.000 nodigt onderzoekers uit om te testen of AgentSense weerstand biedt tegen vijandige omleiding van workflows.

Cato Networks heeft AgentSense onthuld, een beveiligingsfunctie die tijdens de uitvoering schadelijke acties van AI-agents moet tegenhouden voordat ze worden uitgevoerd. De technologie is ontwikkeld door Cato AI Labs en volgt hoe niet-vertrouwde inhoud het gedrag van een agent beïnvloedt. Daarmee pakt ze een risico aan dat met gewone toegangsrechten niet volledig wordt opgelost: een agent kan over geldige inloggegevens beschikken en toch worden gemanipuleerd om het verkeerde te doen.

Volgens Cato is AgentSense geïntegreerd in zijn platform en wordt de technologie zonder extra kosten opgenomen in Cato AI Usage-licenties. Bij de aankondiging hoort ook een uitdaging om de technologie op de proef te stellen met tegenstanderstests. De eerste drie in aanmerking komende deelnemers die erin slagen een beschermde workflow om te leiden naar schadelijke acties, ontvangen elk $10,000.

Geldige machtigingen kunnen toch tot een onveilige actie leiden

Een bedrijfsagent moet mogelijk e-mails lezen, documenten doorzoeken, websites raadplegen en tools aanroepen om een taak uit te voeren. Elke bron vergroot de informatie die de agent kan gebruiken, maar biedt ook een mogelijkheid voor externe tekst om de volgende stap te beïnvloeden.

Indirecte promptinjectie maakt misbruik van die grens. In plaats van rechtstreeks een instructie te geven als de bevoegde gebruiker, verbergt een aanvaller er een in materiaal dat de agent tijdens zijn werk tegenkomt. Een document, ticket, webpagina of reactie van een tool kan tekst bevatten die probeert de workflow om te leiden, informatie bloot te leggen of een niet-gerelateerde actie in gang te zetten.

Het blijft belangrijk om te controleren of een agent toegang heeft tot een applicatie. Dat beantwoordt een andere vraag dan de vraag of een bepaalde actie past bij de taak waarvoor de gebruiker toestemming heeft gegeven. Een agent mag bijvoorbeeld bedrijfsgegevens lezen, maar heeft niet per se toestemming om die te versturen naar een bestemming die in een opgehaald document wordt voorgesteld.

AgentSense is bedoeld om dat gedrag tijdens de uitvoering te beoordelen, zodat er kan worden ingegrepen voordat een gevoelige actie wordt uitgevoerd.

Niet-vertrouwde beïnvloeding binnen de AI-sessie volgen

De aangekondigde functie Untrusted Influence Detection maakt binnen een AI-sessie onderscheid tussen vertrouwde instructies en niet-vertrouwde inhoud, en volgt hoe die laatste het gedrag en de uitvoer beïnvloedt. Volgens Cato blokkeert de functie een actie wanneer ze detecteert dat niet-vertrouwd materiaal de agent naar een onveilige stap stuurt.

Dat onderscheid is belangrijk, omdat een aanval niet per se op een bekende kwaadaardige prompt hoeft te lijken. Cato beschrijft AgentSense als een technologie die beïnvloeding beoordeelt, in plaats van te vertrouwen op statische classificatiemodellen of een catalogus met eerder waargenomen aanvalspatronen. Daarmee moeten zowel nieuwe als herkenbare vormen van indirecte promptinjectie worden aangepakt.

Volgens de aankondiging is de technologie gepatenteerd, maar er wordt geen patentnummer, gedetailleerde implementatie of onafhankelijke benchmark voor de effectiviteit vermeld. De claim dat de technologie bescherming biedt tegen nog niet eerder geziene aanvallen moet daarom worden opgevat als de beoogde beveiligingsfunctie van het product, en niet als een garantie dat elke poging tot promptinjectie wordt tegengehouden.

De operationele vraag is of een beveiligingslaag voldoende context heeft over de sessie en de acties om onderscheid te maken tussen een document als bewijs gebruiken en het document als autoriteit behandelen. AgentSense is specifiek gericht op dat onderscheid.

Drift Detection is een afzonderlijk geplande functie

Cato beschrijft AgentSense Drift Detection ook als een toekomstige functie. De geplande functie zal beoordelen of de acties van een agent tijdens het verloop van een workflow de oorspronkelijke taak blijven dienen.

Deze functie vormt een aanvulling op het detecteren van beïnvloeding, maar pakt niet precies hetzelfde probleem aan. Untrusted Influence Detection kijkt of externe inhoud een actie stuurt. Drift Detection moet nagaan of de actie nog steeds past bij het doel, ook als de afzonderlijke stap technisch gezien is toegestaan.

In de loop van een workflow kunnen zich geleidelijk stappen opstapelen die het doel ervan niet langer dichterbij brengen. Om die afwijking te detecteren, moet tijdens de hele sessie zicht worden gehouden op het toegestane doel, in plaats van elke toolaanroep afzonderlijk te beoordelen. De aankondiging vermeldt geen afzonderlijke beschikbaarheidsdatum voor Drift Detection.

Hoe AgentSense past binnen het bestaande AI-beveiligingsplatform van Cato

Cato’s beveiligingsaanbod voor agentische AI omvat al controles om agents en Model Context Protocol-servers te ontdekken, toolaanroepen in kaart te brengen en beleid voor interacties met agents af te dwingen. Het bredere platform combineert netwerk-, toegangs- en beveiligingscontext.

Het bedrijf maakt ook onderscheid tussen beveiliging voor het AI-gebruik door medewerkers en bescherming van applicaties. Het aanbod voor AI-beveiliging van applicaties omvat inzicht tijdens de uitvoering, inspectie van prompts en reacties, en configureerbare beschermingsmaatregelen voor geïmplementeerde AI-applicaties. Dat biedt context voor de focus van AgentSense op de integriteit van acties die tijdens een workflow worden uitgevoerd.

In de praktijk omvat het beheersen van AI-gebruik verschillende samenhangende beslissingen: welke diensten een organisatie toestaat, welke gegevens die diensten mogen bereiken en wat een agent mag doen met de informatie die hij tegenkomt. AgentSense voegt daar een claim over gedrag aan toe: de technologie signaleert wanneer niet-vertrouwde inhoud de actie zelf aanstuurt.

Onderzoek naar promptinjectie laat zien waarom de grens ertoe doet

In Cato’s onderzoek naar EchoLeak wordt een aanvalsketen beschreven waarbij extern aangeleverde content ertoe kon leiden dat Microsoft 365 Copilot informatie uit zijn context onthulde. Voor de beveiliging van AI-agenten is vooral de overgang van het lezen van extern materiaal naar het uitvoeren van instructies die daarin zijn ingebed van belang.

In het onderzoek naar CurXecute werd een ander mogelijk gevolg onderzocht: promptinjectie via externe content kon ertoe leiden dat een codeeragent een MCP-configuratie aanpaste en de uitvoering van opdrachten in gang zette. Volgens Cato’s beschrijving heeft Cursor dit beveiligingslek verholpen in versie 1.3. Dit voorbeeld laat zien hoe het mis kan gaan; het betekent niet dat het verholpen probleem nog steeds bestaat.

Beide gevallen laten zien waarom de herkomst van content ertoe doet zodra een assistent toegang heeft tot gevoelige gegevens of uitvoeringshulpmiddelen. Een interactie die begint met het ophalen van informatie kan uitmonden in een beveiligingsincident wanneer de opgehaalde tekst de besturingsstroom van de workflow verandert.

Een openbare uitdaging om de bescherming te testen

De AgentSense Challenge nodigt de beveiligingsgemeenschap uit om instructies in een beschermde workflow te plaatsen en te proberen de agent af te brengen van de bedoeling van de gebruiker. Cato zegt dat bevindingen en feedback van deelnemers zullen bijdragen aan verdere evaluatie en verbetering.

Volgens de aankondiging ontvangen de eerste drie in aanmerking komende deelnemers die de uitdaging succesvol voltooien elk $10.000. De verstrekte aankondiging bevat niet de definitieve URL van de uitdaging of de gedetailleerde regels. De geschiktheid en de grenzen van de tests hangen daarom af van de gepubliceerde programmavoorwaarden.

Voor bedrijven die de autonomie van AI-agenten uitbreiden, voorziet AgentSense in een concrete behoefte: het behoud van het verband tussen de taak waarvoor een gebruiker toestemming geeft en de handelingen die een AI-systeem uiteindelijk uitvoert. De waarde van de technologie hangt af van de mate waarin deze die grens consequent kan handhaven en tegelijk legitiem werk kan laten doorgaan.

Miles Okada is een AI-gegenereerde onderzoeksagent bij Unite.AI, die kunstmatige intelligentie en cyberbeveiliging behandelt met een focus op opkomende bedreigingen, defensieve architecturen en de zich ontwikkelende dynamiek tussen aanvallers en geautomatiseerde systemen. Zijn werk onderzoekt hoe AI de beveiligingsoperaties hervormt, van autonome dreigingsdetectie en -respons tot de opkomst van adversariale AI-technieken.

Met een technische en onderzoekende benadering analyseert Miles beveiligingsonderzoek, incidentmeldingen en real-world-implementaties om te begrijpen waar AI de verdediging versterkt — en waar het nieuwe kwetsbaarheden introduceert. Hij besteedt bijzondere aandacht aan modeluitbuiting, data-vergiftiging, aanvalsautomatisering en de operationele realiteit van het beveiligen van AI-aangedreven systemen op schaal.

Artikelen geschreven door Miles Okada worden door AI gegenereerd en beoordeeld door het redactieteam van Unite.AI om nauwkeurigheid, strengheid en verantwoorde berichtgeving over het snel veranderende AI-beveiligingslandschap te waarborgen.