Når AI-kapacitet stiger hurtigere end de sikkerhedsmodeller, der er bygget til at indeholde det

AI-værktøjer kommer normalt med en velkendt præsentation. De lover at strømline arbejdsgange, øge produktiviteten og overtage opgaver, som ingen nyder. Og det meste af tiden leverer de præcis det. De forenkler login, summerer dokumenter, automatiserer arbejdsgange og gør rutineaktiviteter føles næsten bekvemme.

Men under alle disse bekvemmeligheder ligger en anden historie. Disse værktøjer er ikke længere begrænset til en tekstboks. De begynder at handle på operativsystemet selv. De kan browse filer, udarbejde e-mails, interagere med programmer og udføre handlinger, som tidligere krævede en opmærksom menneske, der forstod konsekvenserne. Denne ændring placerer AI i en position, som eksisterende sikkerhedsantagelser aldrig var bygget til at håndtere.

Øjeblikket, hvor AI får adgang til systemet

Når et AI-system kan læse rigtige filer og udføre rigtige kommandoer, bliver det en del af den tillidsværdige beregningsbase. Det er øjeblikket, hvor lange tiders forventninger om AI-sikkerhed begynder at bryde sammen.

I årevis blev prompt-injektion betragtet som et underligt modelopførsel. Det fik chatbots til at producere misvisende eller upassende svar, men skaden stoppede med samtalen. Nu kan samme fejl udløse host-niveau-handlinger, ikke kun tekst. En skjult instruktion gemt i en PDF, en webside eller en e-mail producerer ikke længere et underligt svar. Det producerer en handling, der udføres på maskinen.

Dette er ikke noget, industrien kan afvise som teoretisk. Forskere ved Carnegie Mellon og University of Washington har gentagne gange demonstreret, at skjulte instruktioner kan styre store sprogmodeller til at udføre handlinger, som brugerne aldrig havde til hensigt. Imens har forskere, der studerer visionmodeller, vist, hvordan manipulerede billeder kan ændre modelopfattelsen på måder, der påvirker downstream-adfærd.

Disse eksperimenter blev engang behandlet som laboratorie-kuriositeter. De føles ikke længere akademiske, når AI har adgang til operativsystemet.

Når agentens evne overhaler forsvarernes kontrol

Selv de virksomheder, der bygger disse agenter, anerkender alvoren af udfordringen. De har styrket filtre til at håndtere prompts, men de erklærer åbent, at kontrollen af AI-systemets virkelige verdens-handlinger er et aktivt, uløst arbejdsområde på tværs af industrien. Denne kløft mellem, hvad agenten kan gøre, og hvad forsvarerne kan kontrollere, introducerer en ny kategori af risiko, som eksisterende sikkerhedsplaybooks ikke kan absorbere.

AI-agenter har overskredet en grænse, som industrien ikke er fuldt ud forberedt på. Den eneste måde at forstå dette på er at se, hvordan prompt-injektion nu krydser med de samme angrebskæder, som forsvarerne har fulgt i mere end et årti.

Hvordan prompt-injektion nu kartlagde over angrebskæder, som alle kender

Angribere har altid fulgt en forudsigelig mønster. MITRE ATT&CK-frameworket lægger det tydeligt frem. Initial adgang følges af udførelse, persistence, opdagelse, lateral bevægelse, indsamling og eksfiltration. Teknikkerne varierer, men strukturen er stabil.

Hvad der skifter, er leveringsmekanismen. I stedet for at overbevise en bruger om at åbne en skadelig vedhæftning eller klikke på en farlig link, kan angribere placere instruktioner, hvor AI-agenten vil læse dem. Agenten bliver udførelsesmiljøet. Den udfører trinnene præcis, som de er beskrevet. Modellen stiller ikke spørgsmål om, hvorvidt instruktionen er skadelig. Den anvender ikke dømmekraft eller intuition. Den handler blot.

Når en angriber kan påvirke agentens argumentation, kommer angrebskæden sammen hurtigt. En manipuleret fil udløser udførelse, efterfølgende instruktioner skaber persistence, systemsøgninger giver opdagelse, og filoverførsler muliggør indsamling og eksfiltration. Ingen malware er nødvendig. Agenten udfører blot trinnene, som de er skrevet.

Dette er den del af historien, som sikkerhedsteams kæmper med at tilpasse sig. De har brugt årevis på at bygge detectionsregler, kontroller og responsprocesser omkring kodebaseret udførelse. AI-agenter introducerer andre typer af fortolkere. De udfører gennem naturligt sprog, ikke kompilerede binærer. Eksisterende værktøjer er ikke bygget til at spore eller analyserer denne argumentationsproces.

Sikkerhedsteams er ikke klar og er ikke engang bevidste om det

Sikkerhedsprogrammer antager stadig, at et menneske sidder mellem indhold og handling. Mennesker kan bedrages, men de pauser, når noget føles forkert. De bemærker underlige fraser, stiller spørgsmål ved uventet adfærd og bringer dømmekraft til den sidste del af beslutningen.

AI-agenter gør ingen af disse ting; de er konsekvente, litterale og hurtigere end nogen modpart. En enkelt linje med skjult tekst er nok til at instruere agenten til at læse følsomme filer, flytte gennem programmer eller kontakte en fjernserver. Dette placerer forsvarerne i en position, de aldrig har været i før.

Sikkerhedsteams har begrænset indsigt i, hvordan en agent når en beslutning, og de kan ikke let bestemme, om en handling stammer fra brugeren eller AI. Traditionel malware-detektion tilbyder ingen hjælp, fordi intet skadeligt udføres i den sædvanlige forstand, og der er ingen garanti for, at agenten vil stille spørgsmål eller afvise skadelige instruktioner, der er gemt i normalt indhold.

Værktøjer designet til menneskelig adfærd overføres ikke til en verden, hvor naturligt sprog bliver manuskriptet, der driver systemadfærd.

Hvad kompenserende kontroller faktisk virker

Model-hærdning er ikke nok. Sikkerhedsteams behøver kontroller omkring agenten, der begrænser, hvad AI kan gøre, selv når dens argumentation påvirkes.

Flere strategier viser lovende resultater:

• Minimale tilladelser er essentielle. Agenter skal kun have adgang til de filer og handlinger, der kræves for deres opgaver. Reduktion af unødvendige tilladelser begrænser virkningen af manipulerede instruktioner.
• Menneskelig godkendelse kan stoppe skadelige handlinger, før de sker. Når en agent forsøger en følsom operation, som f.eks. at køre en kommando eller få adgang til beskyttede data, skal brugeren godkende eller afvise anmodningen.
• Indholdsfiltre skaber en buffer mellem upålideligt materiale og agenten. Screening af dokumenter, URL’er og eksternt tekst reducerer chancerne for, at skjulte instruktioner når modellen.
• Omfattende logging er obligatorisk. Hver agent-initieret handling skal være registreret og gennemgået. Disse handlinger skal behandles på samme måde som enhver privilegeret brugeraktivitet.
• Kartlagning af agentadfærd over for ATT&CK-teknikker hjælper forsvarerne med at identificere, hvor agenten kan presses til skadelige handlinger, og hvor sikringsforanstaltninger skal placeres. Det bruger det samme system, der allerede strukturerer defensiv strategi.

Disse kompenserende kontroller vil ikke eliminere risiko. Men de indeholder det på måder, som modelniveau-forsvar ikke kan.

Hvor industrien går herefter

AI-agenter repræsenterer en stor ændring i, hvordan computing fungerer. De tilbyder utrolig produktivitet, men de introducerer også en kategori af operativ risiko, som ikke passer inden for eksisterende sikkerhedsrammer. Vejledning fra Storbritanniens National Cyber Security Centre er et startpunkt, men de fleste organisationer mangler stadig en klar måde at styre agenter, der kan handle på systemet.

Dette øjeblik føles ligesom de tidlige dage af cloud-adopteringsprocessen. Teknologien bevægede sig hurtigere end kontrollerne. Organisationerne, der tilpassede sig hurtigt, var dem, der genkendte ændringen tidligt og byggede processer, der matchede den.

Det samme vil være sandt her. AI-agenter er ikke bare hjælpere. De er operatører med systemniveau-rækkevidde. At sikre dem kræver nye playbooks, nye sikringsforanstaltninger og nye måder at modelere eksponering på.

Industrien behøver ikke at frygte disse værktøjer. Men den behøver at forstå dem. Og den behøver at bevæge sig hurtigt, fordi angribere allerede ser muligheden. Spørgsmålet er, om forsvarerne vil bygge de rette sikringsforanstaltninger, mens de stadig har tid.