Tankeledere

Den kommende bølgen av multimodale angrep: Når AI-verktøy blir det nye utnyttelsesområdet

Amanda Rousseau
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterFlerspråklige AI-agenter kan utføre reelle angrep som datadraning gjennom enkle…
Vis mer
  • Flerspråklige AI-agenter kan utføre reelle angrep som datadraning gjennom enkle naturlige språkprompter.
  • AI demokratiserer cyberangrep ved å gjøre det mulig for ikke-tekniske brukere å iverksette komplekse kampanjer uten kodeferdigheter.
  • Løse integrasjoner og overdrevne standardtillatelser gjør AI-verktøy til store nye sikkerhetssårbarheter.

Siden store språkmodeller (LLM) utvikler seg til multimodale systemer som kan håndtere tekst, bilder, stemme og kode, blir de også kraftfulle orkestratorer av eksterne verktøy og koblinger. Med denne utviklingen kommer et utvidet angrepsområde som organisasjoner må være bevisste på.

Et eksempel på dette er sosial manipulasjon, som agenter kan bli offer for fordi de ble trent til å oppføre seg som mennesker gjør, og de har enda mindre skepsis. En agent er for eksempel lite sannsynlig til å kunne skille mellom en forfalsket e-post og en ekte e-post fra en legitim forhandler.

Konvergens av multimodalitet og verktøytilgang transformerer AI fra assistent til et medium for angrep. Angripere kan nå bruke enkle tekstpromter til å utløse verktøymisbruk, utføre uautoriserte handlinger eller eksfiltrere sensitive data gjennom legitime kanaler. Fordi disse kapasitetene er designet for tilgjengelighet, ikke forsvar, kan selv lav-kompetente motstandere bruke AI-systemer til å utføre komplekse operasjoner uten å skrive en enkelt linje med kode.

Hvordan multimodal AI blir en utnyttelseskjede

LLM er i økende grad blitt orkestratorer av eksterne systemer, med integrasjoner som i dag inkluderer alt fra API-er til e-post, skylagring og verktøy for kjøring av kode. Disse koblingene er ofte bygget for tilgjengelighet, ikke forsvar.

Ulemper ved dette er at det kan føre til en bølge av nye utnyttelser.

En av dem er prompt-drevet verktøymisbruk. For eksempel kunne en angriper bruke et bilde med prompt-injeksjonsinstruksjoner innfelt i en e-post. Et optisk tegnkjenning (OCR)-verktøy er nødvendig for å trekke ut teksten fra et bilde. Agenten blir instruert til å svare på e-posten og vedlegge et Google-kart til hjemmeadressen til målet, og dermed av-anonymisere offerets plassering.

En annen mekanisme er omgåelse av sikkerhetsmekanismer på tvers av modaliteter. Dette handler om sikkerhetsmekanismer som sitter mellom inngangs- og utgangspunktene for verktøy. For eksempel, ved å analysere utgangen av en OCR-uttrekker, kan det mangle sterke nok sikkerhetsmekanismer rundt prompt-injeksjoner funnet fra utgangen.

Det finnes også strukturelle svakheter som kan utnyttes. Et slikt problem er de løse, for tillatende bindingene mellom modellen og de eksterne verktøyene den kan kalle—det betyr at en enkel naturlig-språklig prompt kan utløse reelle handlinger som å kjøre kode, aksessere filer eller interagere med e-post. I tillegg mangler mange av disse systemene strenge tilgangskontroller, så AI-en kan ha mulighet til å skrive, slette eller modifisere data langt utenfor hva et menneske noen gang ville autorisere. Problemet blir enda mer alvorlig når du ser på koblinger og MCP-stil-utvidelser, som ofte kommer med nesten ingen sikkerhetsmekanismer; en gang koblet, utvider de AI-ens rekkevidde inn i personlig lagring, innboks og skyplattformer med svært lite tilsyn. Sammen skaper disse strukturelle svakhetene en situasjon der klassiske sikkerhetsproblemer—eksfiltrering, sandkasse-escapes og selv minneforgiftning—kan utløses gjennom ikke mer enn en smart konstruert prompt.

Fremvoksende trusler: Hva kommer neste?

I denne nye normalen er AI-aktiverede e-post- og sosiale manipulasjonsangrep nært forestående. Phishing-volumet vil øke på grunn av bruk av LLM-er av angriperen; flaskehalsen er å omgå vanlige spamfiltre fra e-posttjenere som Google. Innboks-koblede AI-agenter øker sannsynligheten for at phishing-angrep lykkes. Det vil sannsynligvis være en økning i e-post-baserte trusler når brukerne kobler agenter til Gmail eller Outlook.

Angripere kan instruere AI-en til å kjøre hele spam- eller spear-phishing-kampanjer. I dette scenarioet,

AI-til-AI-phishing blir plausibelt.

Multimodale systemer tilbyr i økende grad kodekjøring-kapasiteter. Fluktmuligheter lar angripere bryte gjennom den underliggende infrastrukturen. Og sandkasse-escapes representerer det største omdømmemarerittet for leverandører.

Langsiktige minneforgiftning og forsinkede utløsere representerer ytterligere trusler. Varig minne lar skjulte nyttelaster aktivere på fremtidige promter. Tverr-modus-utløsere (f.eks. bilder eller tekstutklipp) kunne utløse tidsbombe-adferd.

Hvorfor multimodale angrep er så tilgjengelige og så farlige

AI har demokratisert angrepskapasiteter. Brukere trenger ikke lenger kode- eller malware-utviklingsferdigheter; naturlig språk blir grensesnittet for malware-oppbygging eller data-eksfiltrering. Dette betyr at selv ikke-tekniske personer kan generere malware eller kjøre kampanjer via promter.

AI muliggjør også akselerasjon og skala av skadelige operasjoner. Multimodale agenter kan automatisere arbeid som tidligere krevde ekspertinnsats. Kode, e-post, forskning og rekognosering kan produseres øyeblikkelig.

Bruker-over-tillit og uforvarende eksponering bidrar til AI-ens skade-potensiale. Brukere forstår ofte ikke hva AI-en kan aksessere, og standardinnstillinger aktiverer stadig AI-integrasjoner. Mange mennesker innser ikke at de har gitt AI-en for mye tilgang til e-post eller dokumenter.

Prinsipper og kontroller for multimodal sikkerhet

Organisasjoner må sette sikkerhetstiltak mot multimodale angrep på plass. Sikkerhetsteamene må begrense verktøytilgang som standard. Opt-in-kontroller skal erstatte auto-aktiverede integrasjoner. De skal også anvende minst-privilegie-tilgang til alle AI-koblede systemer og fjerne skrive/slette-tilgang. Dette skal inkludere tverr-origo-regler og domene-hvitlisting (infrastruktur-hvitlisting og ikke LLM-nivå-hvitlisting).

Et annet viktig skritt er å bygge eksplisitte sikkerhetsmekanismer for verktøy-utløsning. Erstatt naturlig-språklig utløsning med strukturert, typet kommandovalidering. Sikkerhetsmekanismer skal være kontrollpunkter for både inn- og utdata.

Andre viktige prinsipper og kontroller inkluderer:

  • Ikraftsett sterke godkjenningsarbeidsflyter for sensitive operasjoner.
  • Unngå å plassere brukerdata i varig modellminne. Anvend automatisk minnesanitering og provenienssjekker.
  • Forsterk og isoler kodekjøring-miljøer.
  • Overvåk mistenkelig atferd og fluktforsøk.
  • Styrk brukeropplæring og gjennomsiktighet.
  • Legg til mer bruker-bekreftelse når agenten utfører risikable oppgaver.
  • Gjør det klart når AI-verktøy aksesserer e-post, filer eller skytjenester.
  • Advar brukere om høy-risiko-koblinger.

Å lykkes mot multimodale angrep

AI-teknologier har raskt utviklet seg til agenter for bedriftsoperasjoner, og skapt en situasjon der naturlig språk selv blir en form for utnyttelse. Konvergens av multimodalitet og verktøytilgang åpner opp angrepsområdet, og gjør AI til et medium for angrep. Multimodale angrep utnytter de løse koblingene mellom LLM-er og de eksterne systemene de kontrollerer, som API-er, fil-lagring og automatiseringsplattformer.

Som truslene utvikler seg, må organisasjoner adoptere strategier som uttrykkelig tar hensyn til multimodale angrepsveier. Å styrke forsvaret ved å bruke de beste praksisene ovenfor er essensielt for å forhindre at AI-verktøy uforvarende fungerer som lenker i en angripers utnyttelseskjede.

Amanda Rousseau er en Principal AI-sikkerhetsforsker i Straiker og en erfaren ingeniør med spesialisering i reversanalyse av skadevare som tidligere tjenestegjorde i Facebooks Red Team og Microsofts Offensive Research & Security Engineering (MORSE) team, etter tidligere roller i Endgame, FireEye og USAs DoD Cyber Crime Center.