Den kommende bølgen av multimodale angrep: Når AI-verktøy blir det nye utnyttelsesområdet

Siden store språkmodeller (LLM) utvikler seg til multimodale systemer som kan håndtere tekst, bilder, stemme og kode, blir de også kraftfulle orkestratorer av eksterne verktøy og koblinger. Med denne utviklingen kommer et utvidet angrepsområde som organisasjoner må være bevisste på.

Et eksempel på dette er sosial manipulasjon, som agenter kan bli offer for fordi de ble trent til å oppføre seg som mennesker gjør, og de har enda mindre skepsis. En agent er for eksempel lite sannsynlig til å kunne skille mellom en forfalsket e-post og en ekte e-post fra en legitim forhandler.

Konvergens av multimodalitet og verktøytilgang transformerer AI fra assistent til et medium for angrep. Angripere kan nå bruke enkle tekstpromter til å utløse verktøymisbruk, utføre uautoriserte handlinger eller eksfiltrere sensitive data gjennom legitime kanaler. Fordi disse kapasitetene er designet for tilgjengelighet, ikke forsvar, kan selv lav-kompetente motstandere bruke AI-systemer til å utføre komplekse operasjoner uten å skrive en enkelt linje med kode.

Hvordan multimodal AI blir en utnyttelseskjede

LLM er i økende grad blitt orkestratorer av eksterne systemer, med integrasjoner som i dag inkluderer alt fra API-er til e-post, skytjening og kodekøringverktøy. Disse koblingene er ofte bygget for tilgjengelighet, ikke forsvar.

Ulemper ved dette er at det kan føre til en bølge av nye utnyttelser.

En av dem er prompt-drevet verktøymisbruk. For eksempel kunne en angriper bruke et bilde med prompt-injeksjonsinstruksjoner innfelt i en e-post. Et optisk tegnkjenning (OCR)-verktøy er nødvendig for å trekke ut teksten fra et bilde. Agenten blir instruert til å svare på e-posten og vedlegge en Google-kart til hjemmeadressen til målet, og dermed av-anonymisere offerets plassering.

En annen mekanisme er tverr-modus-vakt-evasjon. Dette handler om vakter som sitter mellom inngangs- og utgangspunktene for verktøy. For eksempel, ved å analysere utgangen av en OCR-uttrekker, kan det ikke være sterke nok vakter rundt prompt-injeksjoner funnet fra utgangen.

Det finnes også strukturelle svakheter som kan utnyttes. Et slikt problem er de løse, for permissive bindinger mellom modellen og de eksterne verktøyene den kan kalle—det betyr at en enkel naturlig-språklig prompt kan utløse reelle handlinger som å kjøre kode, aksessere filer eller interagere med e-post. I tillegg mangler mange av disse systemene strenge tilgangskontroller, så AI-en kan ha mulighet til å skrive, slette eller modifisere data langt utenfor hva et menneske noen gang ville autorisere. Problemet blir enda mer alvorlig når du ser på koblinger og MCP-stil-utvidelser, som ofte kommer med nesten ingen vakter; en gang koblet, utvider de AI-ens rekkevidde inn i personlig lagring, innboks og skyplattformer med svært liten tilsyn. Sammen skaper disse strukturelle svakhetene en situasjon der klassiske sikkerhetsproblemer—eksfiltrering, sandkasse-escapes og selv minneforgiftning—kan utløses gjennom ikke mer enn en smart konstruert prompt.

Fremvoksende trusler: Hva kommer neste?

I denne nye normalen er AI-aktiverede e-post- og sosiale manipulasjonsangrep nært forestående. Phishing-volumet vil øke på grunn av bruk av LLM-er av angriperen; chokepunktet er å bypass normalt spamfilter fra e-posttjenere som Google. Innboks-koblede AI-agenter øker sannsynligheten for at phishing-angrep lykkes. Det vil sannsynligvis være en økning i e-post-baserte trusler når brukerne kobler agenter til Gmail eller Outlook.

Angripere kan instruere AI-en til å kjøre hele spam- eller spear-phishing-kampanjer. I denne scenariot,

AI-til-AI-phishing blir plausibelt.

Multimodale systemer tilbyr i økende grad kodekøring-kapasiteter. Fluktmuligheter lar angripere bryte gjennom den underliggende infrastrukturen. Og sandkasse-escapes representerer den største omdømmesmørke for leverandører.

Langsiktige minneforgiftning og forsinkede utløsere representerer ytterligere trusler. Varig minne lar skjulte nyttelaster aktivere på fremtidige promter. Tverr-modus-utløsere (f.eks. bilder eller tekstutklipp) kunne utløse tidsbombe-adferd.

Hvorfor multimodale angrep er så tilgjengelige og så farlige

AI har demokratisert angrepskapasiteter. Brukere trenger ikke lenger kode- eller malware-utviklingsferdigheter; naturlig språk blir grensesnittet for malware-oppbygging eller data-eksfiltrering. Dette betyr at selv ikke-tekniske personer kan generere malware eller kjøre kampanjer via promter.

AI muliggjør også akselerasjon og skala av skadelige operasjoner. Multimodale agenter kan automatisere arbeid som tidligere krevde ekspertinnsats. Kode, e-post, forskning og rekognosering kan produseres øyeblikkelig.

Bruker-over-tillit og uforvarende eksponering bidrar til AI-ens skade-potensiale. Brukere forstår ofte ikke hva AI-en kan aksessere, og standardinnstillinger aktiverer stadig AI-integrasjoner. Mange mennesker innser ikke at de har gitt AI-en for mye tilgang til e-post eller dokumenter.

Prinsipper og kontroller for multimodal sikkerhet

Organisasjoner må sette sikkerhetstiltak mot multimodale angrep på plass. Sikkerhetsteamene må begrense verktøytilgang som standard. Opt-in-kontroller skal erstatte auto-aktiverede integrasjoner. De skal også anvende minst-privilegie-tilgang til alle AI-koblede systemer og fjerne skrive/slette-tilgang. Dette skal inkludere tverr-origo-regler og domene-hvitlisting (infrastruktur-hvitlisting og ikke LLM-nivå-hvitlisting).

En annen viktig skritt er å bygge eksplisitte vakter for verktøy-utløsning. Erstatt naturlig-språklig utløsning med strukturert, typet kommandovalidering. Vakter skal være både inngangs- og utgangs-chokepunkter.

Andre viktige prinsipper og kontroller inkluderer:

• Ikraftsett sterke godkjenningsarbeidsflyter for sensitive operasjoner.
• Unngå å plassere brukerdata i varig modellminne. Anvend automatisk minnesanitering og provenienssjekker.
• Forsterk og isoler kodekøring-miljøer.
• Overvåk etter mistenkelige atferd og fluktforsøk.
• Styrk brukeropplæring og gjennomsiktighet.
• Legg til mer bruker-bekreftelse når agenten utfører risikable oppgaver.
• Gjør det klart når AI-verktøy aksesserer e-post, filer eller skytjenester.
• Advar brukere om høy-risiko-koblinger.

Å lykkes mot multimodale angrep

AI-teknologier har raskt utviklet seg til agenter for bedriftsoperasjoner, og skapt en situasjon der naturlig språk selv blir en form for utnyttelse. Konvergens av multimodalitet og verktøytilgang åpner opp angrepsområdet, og gjør AI til et medium for angrep. Multimodale angrep utnytter de løse koblingene mellom LLM-er og de eksterne systemene de kontrollerer, som API-er, fil-lagring og automatiseringsplattformer.

Som truslene utvikler seg, må organisasjoner adoptere strategier som uttrykkelig tar hensyn til multimodale angrepsveier. Å styrke forsvaret ved å bruke de beste praksisene ovenfor er essensielt for å forhindre at AI-verktøy uforvarende fungerer som lenker i en angripers utnyttelseskjede.