Den kommende bølge af multimodale angreb: Når AI-værktøjer bliver det nye udnyttelsesområde

Som store sprogmodeller (LLM’er) udvikler sig til multimodale systemer, der kan håndtere tekst, billeder, lyd og kode, bliver de også kraftfulde orkestratorer for eksterne værktøjer og tilkoblinger. Med denne udvikling kommer der en udvidet angrebsflade, som organisationer må være opmærksomme på.

Et godt eksempel på dette er social manipulation, som agenter kan falde for, fordi de er trænet til at opføre sig som mennesker og har endnu mindre skepsis. En agent er fx ikke i stand til at afgøre, om en email er en spoof eller kommer fra en ægte detailhandler.

Konvergen af multimodalitet og værktøjsadgang transformerer AI fra assistent til et medium for angreb. Angribere kan nu bruge simple tekstprompt til at udløse værktøjsmisbrug, udføre ikke-autoriserede handlinger eller eksfiltrere følsomme data gennem legitime kanaler. Fordi disse funktioner er designet til tilgængelighed og ikke forsvar, kan selv lav-uddannede modstandere udnytte AI-systemer til at udføre komplekse operationer uden at skrive en enkelt linje kode.

Hvordan multimodal AI bliver en udnyttelseskæde

LLM’er er i stigende grad blevet orkestratorer for eksterne systemer, med tilkoblinger, der i dag omfatter alt fra API’er til email, cloud-lagring og kodekørselsværktøjer. Disse tilkoblinger er ofte bygget til tilgængelighed, ikke forsvar.

Det negative ved dette er, at det kan føre til en bølge af nye udnyttelser.

En af dem er prompt-drevet værktøjsmisbrug. Fx kunne en angriber bruge et billede med prompt-injektionsinstruktioner indssat i en email. Et optisk tegnkendelsesværktøj (OCR) er nødvendigt for at udtrække teksten fra billedet. Agenten bliver instrueret til at svare på emailen og vedhæfte en Google-kort til hjemadressen på målet, hvilket de-anonymiserer offerets placering.

En anden mekanisme er tværgående sikkerhedsforanstaltninger. Dette relaterer til sikkerhedsforanstaltninger, der sidder mellem indgangs- og udgangspunkterne for værktøjer. Fx kan analyse af output fra en OCR-udtrækker ikke have en tilstrækkelig sikkerhedsforanstaltning omkring prompt-injektioner, der er opdaget fra dens output.

Der er også strukturelle svagheder, der kan udnyttes. Et sådant problem er de løse, for løse bindinger mellem modellen og de eksterne værktøjer, den kan kalde—hvad betyder, at en simpel natur-sprogsprompt kan udløse virkelige handlinger som kørsel af kode, adgang til filer eller interaktion med email. Oven i det mangler mange af disse systemer strenge adgangskontroller, så AI’en måske har mulighed for at skrive, slette eller ændre data langt ud over, hvad et menneske nogensinde ville autorisere. Problemet bliver endnu mere alvorligt, når man ser på tilkoblinger og MCP-stil-udvidelser, der ofte kommer med næsten ingen sikkerhedsforanstaltninger; når de er tilkoblet, udvider de AI’ens rækkevidde til personlig lagring, indbakker og cloud-platforme med meget lidt tilsyn. Sammen skaber disse strukturelle svagheder en situation, hvor klassiske sikkerhedsproblemer—eksfiltration, sandbox-undgåelse og endda hukommelsesforgiftning—kan udløses gennem ikke andet end en intelligent konstrueret prompt.

Fremvoksende trusler: Hvad kommer næste?

I denne nye norm er AI-aktiverede email- og social manipulation-angreb nært forestående. Phishing-mængden vil øge på grund af brugen af LLM’er af angriberen; knægten er at omgå normale spam-filtre fra email-udbydere som Google. Inbox-tilkoblet AI-agenter øger sandsynligheden for, at phishing-angreb lykkes. Der vil sandsynligvis være en stigning i email-baserede trusler, da brugere tilkobler agenter til Gmail eller Outlook.

Angribere kan instruere AI’en til at køre hele spam- eller spear-phishing-kampagner. I denne situation

bliver AI-til-AI-phishing plausibelt.

Multimodale systemer tilbyder i stigende grad kodekørselsfunktioner. Undgåelsesveje giver angribere mulighed for at bryde igennem den underliggende infrastruktur. Og sandbox-undgåelse repræsenterer den største reputationsmæssige mareridt for udbydere.

Langtidshukommelsesforgiftning og forsinkede udløsere repræsenterer yderligere trusler. Varig hukommelse giver skjulte nyttelaster mulighed for at aktivere på fremtidige prompt’er. Tværgående udløsere (fx billeder eller tekststykker) kunne udløse tidsbombe-adfærd.

Hvorfor multimodale angreb er så tilgængelige og så farlige

AI har demokratiseret angrebsfunktioner. Brugere har ikke længere brug for kodnings- eller malware-udviklingsfærdigheder; natur-sprog bliver grænsefladen for malware-oprettelse eller data-eksfiltration. Dette betyder, at selv ikke-tekniske personer kan generere malware eller køre kampagner via prompt’er.

AI muliggør også acceleration og skala af skadelige operationer. Multimodale agenter kan automatisere arbejde, der tidligere krævede ekspertindsats. Kode, email, forskning og rekognoscering kan produceres øjeblikkeligt.

Brugerens over-tillid og utilsigtet eksponering bidrager til AI’ens skade-potentiale. Brugere forstår ofte ikke, hvad AI’en kan få adgang til, og standardindstillinger aktiverer ofte AI-integrationer automatisk. Mange mennesker er ikke klar over, at de har givet AI’en for megen adgang til email eller dokumenter.

Principper og kontroller for multimodal sikkerhed

Organisationer må implementere sikkerhedsforanstaltninger mod multimodale angreb. Sikkerhedsteams må begrænse værktøjsadgang som standard. Opt-in-kontroller skal erstatte automatisk aktiverede integrationer. De skal også anvende mindst-privilegeret adgang til alle AI-tilkoblede systemer og fjerne skrive/slette-adgang. Dette skal inkludere tværgående regler og domæne-hvidlistning (infrastruktur-hvidlistning og ikke LLM-niveau-hvidlistning).

En anden vigtig skridt er at opbygge eksplicitte sikkerhedsforanstaltninger for værktøjsaktivering. Erstat natur-sprogstrigger med struktureret, typet kommandovalidering. Sikkerhedsforanstaltninger skal være både indgangs- og udgangspunkter.

Yderligere vigtige principper og kontroller inkluderer:

• Gennemfør stærke godkendelsesarbejdsgange for følsomme operationer.
• Undgå at placere brugerdata i varig modelhukommelse. Anvend automatisk hukommelsessanering og herkomstkontrol.
• Hærd og isolér kodekørselsmiljøer.
• Overvåg efter mistænkelige adfærd og undgåelsesforsøg.
• Styrk brugeruddannelse og gennemsigtighed.
• Tilføj mere brugerbekræftelse, når agenten udfører risikofyldte opgaver.
• Gør det klart, når AI-værktøjer får adgang til email, filer eller cloud-resourcer.
• Advar brugere om høj-risiko-tilkoblinger.

At lykkes mod multimodale angreb

AI-teknologier er hurtigt blevet til agenter for forretningsoperationer, hvilket skaber en situation, hvor natur-sprog selv bliver en form for udnyttelse. Konvergen af multimodalitet og værktøjsadgang åbner op for angrebsfladen, hvilket transformerer AI fra assistent til et medium for angreb. Multimodale angreb udnytter den løse integration mellem LLM’er og de eksterne systemer, de kontrollerer, såsom API’er, fil-lagring og automatiseringsplatforme.

Som trusler udvikler sig, må organisationer adoptere strategier, der eksplicit tager hensyn til multimodale angrebsveje. At styrke forsvaret ved hjælp af de bedste praksis ovenfor er afgørende for at forhindre, at AI-værktøjer ufrivilligt fungerer som led i en angribers udnyttelseskæde.