AI-agenter bliver klogere, og deres angrebsflade bliver større

Øjeblikket, da AI-agenter begyndte at booke møder, udføre kode og browse på nettet på dine vegne, skiftede sikkerhedsdiskussionen. Ikke langsomt, men omgående.

Det, der tidligere var et indhegnet, forudsigeligt software-system, blev til noget, der resonnerer, planlægger og tager handlinger på tværs af værktøjer og API’er, som det knapt kendte eksistensen af for et år siden.

Det er virkelig spændende, og det er også virkelig skræmmende, fordi angrebsfladen, der følger med den selvstændighed, er enorm, og de fleste organisationer er kun lige begyndt at forstå, hvad det betyder at lade agenter ind i deres infrastruktur.

Fra Chatbots til Operatører

Det oprindelige løfte om AI var enkelt: stille et spørgsmål, få et svar. Det er stadig sandt for de fleste forbrugerinteraktioner, men det er ikke, hvad der sker i virksomhedsinstallationer længere. I dag bliver agenternes håndtering af legitimationsoplysninger, API-nøgler og evnen til at slette, oprette og annotere data, samt tage virkelige handlinger inden for systemer, der har virkelige konsekvenser.

Skiftet skete hurtigt. På mindre end to år gik AI-agenter fra at være tekstgenereringsværktøjer til at tillade os at køre glatte, multi-agente installationer. De læser e-mails, udløser arbejdsgange, forespørger databaser og i visse tilfælde styrer andre agenter under dem. Den niveau af adgang krævede tidligere en længerevarende indkøbsproces og en menneskelig faktor. Nu er det en konfigurationsfil og nogle få API-kald.

Mere Adgang betyder mere Udsættelse

Traditionelle software-angreb har en ret forudsigelig profil. Der er en kendt indgangspunkt, en kendt sårbarhed, en kendt patch. AI-agenter bryder denne model, fordi de er dynamiske af design. De følger ikke en statisk kodevej. De resonnerer om, hvad de skal gøre herefter, hvilket gør deres adfærd sværere at forudsige og meget sværere at gennemgå efterfølgende.

Denne uforudsigelighed er nyttig til at få arbejdet gjort. Det er også en fordel for enhver, der forsøger at udnytte systemet. Når en agent kan beslutte, midt i en opgave, at ringe til en ekstern API eller trække en tredjeparts-værktøj ind, er der ingen ren periferi at forsvare.

Sikkerhedsteams er vant til at beskytte kendte overflader og overvåge Kubernetes-omkostninger. Agenter opdager nye overflader og udnytter dem, og ingen kortlægger dem i realtid. Før man ved det, kan nogen kapre legitimationsoplysningerne og få kontrol over hele din AI-“organisme” med ét træk.

Prompt Injection er det nye SQL Injection

Hvis der er én angrebsvektor, som sikkerhedsforskere konstant vender tilbage til, er det prompt injection. Idéen er enkel: i stedet for at udnytte en kode-sårbarhed, manipulerer en angriber de instruktioner, en agent modtager gennem sine input. En ondsindet instruktion indlejret i en webside, et dokument eller endda en e-mail kan omdirigere, hvad agenten gør herefter.

Det, der gør dette særligt skarpt, er, at agenter ofte gør præcis, hvad de bliver bedt om. De behandler indhold fra nettet, fra brugermeddelelser, fra tredjeparts-værktøjer. Ethvert af dette indhold er en potentiel injektionsoverflade. En agent, der læser et kompromitteret dokument og derefter foretager API-kald baseret på dets indhold, er blevet kapret, og det logger sandsynligvis ikke noget, der gør årsagskæden åbenbar.

Forsvarsmekanismerne her er reelle, men ufuldstændige. At isolere agent-handlinger, begrænse, hvilke værktøjer en agent kan ringe til i bestemte sammenhænge, og bygge menneskelige checkpoints ind i højrisk-arbejdsgange reducerer risikoen. De eliminerer den ikke. Og de fleste organisationer har endnu ikke implementeret grundlæggende forsvar endnu.

Tillidsproblemet inden for Multi-Agent-Systemer

Multi-agent-systemer introducerer et lag af kompleksitet, der er let at undervurdere. Når en agent koordinerer flere andre, er der en tillidshierarki på spil. Koordinatoren passerer instruktioner ned, og underagenter følger dem. Hvis koordinatoren bliver kompromitteret, bliver hver agent under den også kompromitteret, og skadens omfang bliver stor meget hurtigt.

Der er også problemet med over-tildelesning. Agenter får ofte tildelt mere adgang, end de behøver, fordi det er nemmere at give bred adgang fra starten end at finjustere dem iterativt. En forskningsagent har ikke brug for skriveadgang til en produktionsdatabase.

En planlægningsagent har ikke brug for adgang til finansielle optegnelser. Ja, det føles beroligende at have alt sammenkoblet, men det er simpelthen for risikabelt at se nogen form for afkast, der ikke aftrappes. Men grænserne bliver uklare i praksis, og minimaltilladelsesprincipper, der fungerer fint i teorien, bliver stille og roligt opgivet i hasten for at lancere.

Hvad rimelig Sikkerhed ser ud til her

Der er ingen enkelt løsning, der gør agent-implementationer sikre. Det er et lagdelt problem, og det kræver en lagdelt respons. Organisationer, der gør det godt, starter ofte med adgangskontrol: give hver agent en defineret, snæver omfang og bygge gennemgangstrin ind i enhver handling, der berører følsomme systemer eller eksterne tjenester.

Overvågning er lige så vigtig som forebyggelse. Hvis en agent gør noget uventet, holdene har brug for en fuld spor af, hvilke instruktioner den modtog, hvilke værktøjer den ringede til, og hvad den returnerede. De fleste logningsopsætninger er ikke bygget med den slags granularitet i mente, og at tilføje det efterfølgende er smertefuldt. At bygge det ind fra starten er værd at kæmpe for.

Fjendtlig testning er også underudnyttet. At teste agenter, specifikt forsøge at injicere ondsindede instruktioner og se, hvad der sker, afslører sårbarheder, som statisk kodegennemgang aldrig vil fange. Det er ubehageligt at tænke på, men de mennesker, der til sidst vil forsøge at udnytte disse systemer, gør det allerede. At komme først er den eneste fornuftige beslutning.

Endelige tanker

AI-agenter vil blive en større del af, hvordan organisationer opererer, og den skift er allerede godt i gang. Sikkerhedsdiskussionen må indhente, og hurtigt. Risikoen er reel, angrebsvektorerne er nye, og vinduet for at komme foran dem er smallende.

At forstå trusselslandskabet for autonome AI-systemer er ikke længere valgfrit. Det er en af de vigtigste ting, sikkerheds- og ingeniørhold kan lave lige nu, og uret på at få det rigtigt er allerede startet.