Cybersikkerhed

Cato Networks lancerer AgentSense, der skal standse skadelige handlinger fra AI-agenter, før de udføres

Miles Okada
Føj Unite.AI til dine foretrukne kilder på Google
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
NøglepunkterAgentSense målretter indirekte prompt-injektion ved at spore, hvordan upålideligt…
Vis mere
  • AgentSense målretter indirekte prompt-injektion ved at spore, hvordan upålideligt indhold styrer en agents handlinger.
  • Gyldige legitimationsoplysninger garanterer ikke sikker adfærd, fordi en agent kan manipuleres til skadelige handlinger.
  • Catos udfordring på 10.000 dollars inviterer forskere til at teste, om AgentSense modstår fjendtlig omdirigering af arbejdsgange.

Cato Networks har lanceret AgentSense, en sikkerhedsfunktion, der fungerer under kørslen og er udviklet til at standse skadelige handlinger fra AI-agenter, før de udføres. Teknologien, der er udviklet af Cato AI Labs, sporer, hvordan indhold, der ikke er betroet, påvirker en agents adfærd. Dermed håndterer den en risiko, som almindelige adgangsrettigheder ikke fuldt ud løser: En agent kan have legitime adgangsoplysninger og stadig blive manipuleret til at gøre noget forkert.

Cato oplyser, at AgentSense er integreret i virksomhedens platform og indgår uden ekstra omkostninger i Cato AI Usage-licenser. Teknologien blev lanceret sammen med en udfordring inden for adversarial test, hvor de første tre kvalificerede deltagere, der med held omdirigerer et beskyttet workflow til skadelige handlinger, hver får 10.000 $.

Gyldige tilladelser kan stadig føre til usikre handlinger

En virksomhedsagent kan have brug for at læse e-mails, søge i dokumenter, besøge websteder og kalde værktøjer for at udføre en opgave. Hver kilde udvider den information, den kan bruge, men giver også eksternt indhold mulighed for at påvirke dens næste handling.

Indirekte promptinjektion udnytter denne grænse. I stedet for at give en instruktion direkte som den autoriserede bruger skjuler en angriber den i materiale, som agenten støder på under arbejdet. Et dokument, en supportsag, en webside eller et svar fra et værktøj kan indeholde tekst, der forsøger at omdirigere arbejdsgangen, afsløre oplysninger eller udløse en uvedkommende handling.

Det er stadig vigtigt at kontrollere, om en agent har adgang til en applikation. Det besvarer et andet spørgsmål end spørgsmålet om, hvorvidt en bestemt handling tjener det formål, som brugeren har godkendt. En agent kan for eksempel have tilladelse til at læse forretningsdokumenter uden at have tilladelse til at sende dem til en destination, som foreslås i et hentet dokument.

AgentSense skal evaluere denne adfærd under kørslen, så der er mulighed for at gribe ind, før en følsom handling udføres.

Sporing af påvirkning fra indhold, der ikke er betroet, i AI-sessionen

Den annoncerede funktion til registrering af påvirkning fra indhold, der ikke er betroet, skelner mellem betroede instruktioner og indhold, der ikke er betroet, i en AI-session og sporer, hvordan sidstnævnte påvirker adfærd og output. Cato oplyser, at funktionen blokerer en handling, når den registrerer, at indhold, der ikke er betroet, leder agenten mod et usikkert trin.

Denne skelnen er vigtig, fordi et angreb ikke behøver at ligne en velkendt ondsindet prompt. Cato beskriver AgentSense som en løsning, der vurderer påvirkning frem for at basere sig på statiske klassifikatorer eller et katalog over tidligere observerede angrebsmønstre. Det skal gøre det muligt at håndtere både nye og genkendelige former for indirekte promptinjektion.

I pressemeddelelsen beskrives teknologien som patenteret, men der oplyses ikke noget patentnummer, nogen detaljer om implementeringen eller nogen uafhængig effektivitetsmåling. Påstanden om beskyttelse mod hidtil usete angreb bør derfor forstås som produktets tilsigtede sikkerhedsfunktion og ikke som en garanti for, at ethvert promptinjektionsforsøg bliver standset.

Det afgørende spørgsmål i praksis er, om et sikkerhedslag har tilstrækkelig kontekst om sessionen og handlingerne til at skelne mellem at bruge et dokument som belæg og at behandle dokumentet som en autoritet. AgentSense retter sig direkte mod denne skelnen.

Registrering af afvigelser er en særskilt planlagt funktion

Cato beskriver også AgentSense-funktionen Drift Detection som en kommende funktion. Den planlagte funktion skal vurdere, om en agents handlinger fortsat tjener den oprindelige opgave, efterhånden som en arbejdsgang skrider frem.

Denne funktion supplerer registreringen af påvirkning, men løser ikke helt det samme problem. Funktionen til registrering af påvirkning fra indhold, der ikke er betroet, undersøger, om eksternt indhold styrer en handling. Funktionen til registrering af afvigelser skal undersøge, om handlingen stadig bidrager til målet, selv om det enkelte trin teknisk set er tilladt.

En arbejdsgang kan gradvist komme til at omfatte trin, der ikke længere fremmer dens formål. For at registrere denne afvigelse skal man bevare overblikket over det godkendte mål gennem hele sessionen i stedet for at vurdere hvert værktøjsopkald isoleret. Pressemeddelelsen angiver ikke en særskilt dato for, hvornår funktionen til registrering af afvigelser bliver tilgængelig.

Sådan passer AgentSense ind i Catos eksisterende AI-sikkerhedsplatform

Catos tilbud om AI-sikkerhed for AI-agenter omfatter allerede værktøjer til at finde agenter og Model Context Protocol-servere, profilere værktøjsopkald og håndhæve politikker for agenters interaktioner. Den bredere platform samler netværks-, adgangs- og sikkerhedskontekst.

Virksomheden skelner også mellem sikkerhed ved medarbejderes brug af AI og beskyttelse af applikationer. Tilbuddet om AI-sikkerhed til applikationer omfatter synlighed under kørslen, kontrol af prompts og svar samt konfigurerbare beskyttelsesforanstaltninger for AI-applikationer, der er sat i drift. Det giver kontekst for AgentSense’ fokus på integriteten af de handlinger, der udføres under en arbejdsgang.

I praksis indebærer styring af AI-brug flere beslægtede beslutninger: Hvilke tjenester må en organisation bruge, hvilke data må sendes til dem, og hvad må en agent gøre med de oplysninger, den støder på? AgentSense føjer en adfærdsmæssig dimension til dette sikkerhedslag: Funktionen skal identificere, når indhold, der ikke er betroet, driver selve handlingen.

Forskning i prompt-injektion viser, hvorfor grænsen er vigtig

Catos forskning i EchoLeak beskriver en angrebskæde, hvor indhold fra eksterne kilder kunne få Microsoft 365 Copilot til at afsløre oplysninger fra sin kontekst. Betydningen for agentsikkerhed ligger i overgangen fra at læse eksternt materiale til at handle på instruktioner, der er indlejret i det.

Catos forskning i CurXecute undersøgte et andet udfald: Prompt-injektion via eksternt indhold kunne få en kodningsagent til at ændre en MCP-konfiguration og udløse kommandoafvikling. Ifølge Catos beskrivelse rettede Cursor sårbarheden i version 1.3. Eksemplet illustrerer en fejltilstand; det skal ikke opfattes som en påstand om, at det rettede problem stadig er uløst.

Begge tilfælde viser, hvorfor indholdets oprindelse er vigtig, når en assistent har adgang til følsomme data eller værktøjer til kommandoafvikling. En interaktion, der begynder som informationssøgning, kan udvikle sig til en sikkerhedshændelse, når den hentede tekst ændrer arbejdsgangens kontrolflow.

En offentlig udfordring skal afprøve beskyttelsen

AgentSense Challenge inviterer sikkerhedsmiljøet til at indlejre instruktioner i en beskyttet arbejdsgang og forsøge at få agenten til at handle imod brugerens hensigt. Cato oplyser, at resultater og deltagernes feedback vil danne grundlag for yderligere evaluering og forbedringer.

Ifølge meddelelsen vil hver af de første tre kvalificerede deltagere, der gennemfører udfordringen med succes, modtage 10.000 $. Den medfølgende pressemeddelelse indeholder ikke den endelige URL til udfordringen eller de detaljerede regler, så kriterierne for deltagelse og grænserne for testningen vil afhænge af programmets offentliggjorte vilkår.

For virksomheder, der udvider agenters autonomi, imødekommer AgentSense et konkret behov: at bevare forbindelsen mellem den opgave, en bruger godkender, og de handlinger, et AI-system i sidste ende udfører. Teknologiens værdi vil afhænge af, hvor konsekvent den kan håndhæve denne grænse og samtidig lade legitimt arbejde fortsætte.

Miles Okada er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker kunstig intelligens og cybersikkerhed med fokus på nye trusler, defensive arkitekturer og de udviklende dynamikker mellem angribere og automatiserede systemer. Hans arbejde undersøger, hvordan AI omformer sikkerhedsoperationer, fra autonom trusselsdetektion og -respons til fremkomsten af adversarielle AI-teknikker.

Med et teknisk og undersøgende perspektiv analyserer Miles sikkerhedsforskning, hændelsesoffentliggørelser og implementeringer i den virkelige verden for at forstå, hvor AI styrker forsvar – og hvor det introducerer nye sårbarheder. Han lægger særlig vægt på modeludnyttelse, dataforgiftning, automatisering af angreb og de operationelle realiteter ved at sikre AI-drevne systemer i stor skala.

Artikler skrevet af Miles Okada er AI-genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre nøjagtighed, stringens og ansvarlig dækning af det hastigt skiftende AI-sikkerhedslandskab.