Lideri de opinie

Valul următor de atacuri multimodale: Când uneltele AI devin o nouă suprafață de exploatare

Amanda Rousseau
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieAgenții AI multimodali pot executa atacuri reale, precum exfiltrarea de date, prin…
Vezi mai mult
  • Agenții AI multimodali pot executa atacuri reale, precum exfiltrarea de date, prin prompturi simple în limbaj natural.
  • AI democratizează atacurile cibernetice, permițând utilizatorilor ne-tehnici să orchestreze campanii complexe fără abilități de programare.
  • Integrările slabe și permisiunile implicite excesive transformă instrumentele AI în vulnerabilități de securitate majore și noi.

Pe măsură ce modelele lingvistice mari (LLM) evoluează în sisteme multimodale care pot gestiona text, imagini, voce și cod, ele devin și orchestratori puternici ai uneltelor și conectorilor externi. Odată cu această evoluție, vine și o suprafață extinsă de atac, pe care organizațiile trebuie să o aibă în vedere.

Un exemplu primar al acestui fenomen este ingineria socială, la care agenții pot cădea victimă, deoarece au fost antrenați să acționeze ca oamenii și au și mai puțin scepticism. Un agent, de exemplu, este puțin probabil să poată determina diferența dintre un e-mail falsificat și unul de la un retailer legitim.

Convergența multimodalității și a accesului la unelte transformă AI-ul dintr-un asistent într-un mediu pentru atacuri. Atacatorii pot utiliza acum prompturi simple de text pentru a declanșa abuzul de unelte, a executa acțiuni neautorizate sau a extrage date sensibile prin canale legitime. Deoarece aceste capacități sunt proiectate pentru accesibilitate, nu pentru apărare, chiar și adversarii cu abilități scăzute pot utiliza sistemele AI pentru a efectua operațiuni complexe fără a scrie o singură linie de cod.

Cum devine AI-ul multimodal un lanț de exploatare

LLM-urile devin din ce în ce mai mult orchestratori ai sistemelor externe, cu integrări care includ astăzi totul, de la API-uri la e-mail, stocare în cloud și unelte de execuție de cod. Acești conectori sunt adesea construiți pentru accesibilitate, nu pentru apărare.

Partea negativă a acestui fapt este că poate duce la un nou val de exploatări.

Un exemplu este abuzul de unelte bazat pe prompt. De exemplu, un atacator poate utiliza o imagine cu instrucțiuni de injecție de prompt inserate într-un e-mail. Un instrument de recunoaștere optică a caracterelor (OCR) este necesar pentru a extrage textul din imagine. Agentul este instruit să răspundă la e-mail și să atașeze o hartă Google la adresa de acasă a țintei, astfel dezanonimizând locația victimei.

Un alt mecanism este evaziunea gardurilor de protecție transmodale. Acest lucru se referă la gardurile care se află între punctele de intrare și ieșire ale uneltelor. De exemplu, analizând ieșirea unui extractor OCR, s-ar putea să nu existe o protecție suficient de puternică în jurul injecțiilor de prompt descoperite din ieșirea sa.

Există și slăbiciuni structurale care pot fi exploatate. Una dintre acestea este legătura laxă și prea permisivă între model și uneltele externe pe care le poate apela – ceea ce înseamnă că un prompt de limbaj natural simplu poate declanșa acțiuni reale, cum ar fi rularea codului, accesarea fișierelor sau interacțiunea cu e-mailul. În plus, multe dintre aceste sisteme nu dispun de controale stricte ale accesului, astfel încât AI-ul poate avea capacitatea de a scrie, șterge sau modifica date mult dincolo de ceea ce ar autoriza un om. Problema devine și mai gravă atunci când se examinează conectorii și extensiile de tip MCP, care adesea vin cu garduri de protecție aproape inexistente; odată atașate, ele extind raza de acțiune a AI-ului în stocarea personală, cutii poștale și platforme de cloud cu supraveghere foarte mică. Împreună, aceste slăbiciuni structurale creează un mediu în care problemele de securitate clasice – extragerea, evaziunea sandbox-ului și chiar otrăvirea memoriei – pot fi declanșate prin nimic mai mult decât un prompt ingenios.

Amenințări emergente: Ce urmează?

În această nouă normalitate, atacurile de inginerie socială și e-mail bazate pe AI sunt iminente. Atacurile de phishing vor crește ca urmare a utilizării LLM-urilor de către atacatori; punctul de strangulare este ocolirea filtrelor normale de spam de la furnizorii de e-mail, cum ar fi Google. Agenții de e-mail conectați la cutia poștală cresc probabilitatea de succes a atacurilor de phishing. Va exista, probabil, o creștere a amenințărilor bazate pe e-mail, pe măsură ce utilizatorii conectează agenți la Gmail sau Outlook.

Atacatorii pot direcționa AI-ul să ruleze întregi campanii de spam sau phishing țintit. În acest scenariu,

atacurile de phishing de la AI la AI devin plauzibile.

Sistemele multimodale oferă din ce în ce mai mult capacități de execuție de cod. Căile de evaziune permit atacatorilor să încalce infrastructura subiacentă. Evaziunile sandbox-ului reprezintă cel mai mare coșmar de reputație pentru furnizori.

Otrăvirea memoriei pe termen lung și declanșatoarele amânate reprezintă amenințări suplimentare. Memoria persistentă permite activarea încărcăturilor ascunse pe prompturi viitoare. Declanșatoarele transmodale (de exemplu, imagini sau fragmente de text) ar putea declanșa comportamente de bombă cu ceas.

De ce atacurile multimodale sunt atât de accesibile și de periculoase

AI-ul a democratizat capacitățile de atac. Utilizatorii nu mai au nevoie de abilități de programare sau de dezvoltare de malware; limbajul natural devine interfața pentru crearea de malware sau extragerea de date. Acest lucru înseamnă că chiar și persoanele ne-tehnice pot genera malware sau rula campanii prin prompturi.

AI-ul permite, de asemenea, accelerarea și scalarea operațiunilor dăunătoare. Agenții multimodali pot automatiza munca care anterior necesita eforturi de specialitate. Codul, e-mailurile, cercetarea și recunoașterea pot fi produse instantaneu.

Supraîncrederea utilizatorilor și expunerea neintenționată contribuie la potențialul de rău al AI-ului. Utilizatorii adesea nu înțeleg ce poate accesa AI-ul, iar setările implicite permit din ce în ce mai mult integrările AI. Mulți oameni nu realizează că au acordat AI-ului acces excesiv la e-mail sau documente.

Principii și controale pentru securitatea multimodală

Organizațiile trebuie să pună în aplicare măsuri de securitate împotriva atacurilor multimodale. Echipele de securitate vor trebui să restricționeze accesul la unelte în mod implicit. Controalele de opt-in ar trebui să înlocuiască integrările activate în mod automat. De asemenea, ar trebui să aplice accesul cu privilegii minime la toate sistemele conectate la AI și să elimine accesul de scriere/ștergere. Acest lucru ar trebui să includă reguli între origini diferite și liste de domenii permise (liste de permisiuni la nivel de infrastructură, nu la nivel de LLM).

Un alt pas important este construirea de garduri explicite pentru invocarea uneltelor. Înlocuiți declanșatoarele de limbaj natural cu validarea comenzilor structurate și tipizate. Mecanismele de protecție ar trebui să constituie puncte de control atât la intrare, cât și la ieșire.

Principii și controale importante suplimentare includ:

  • Impuneți fluxuri solide de aprobare pentru operațiuni sensibile.
  • Evitați plasarea datelor utilizatorului în memoria persistentă a modelului. Aplicați sanitizarea automată a memoriei și verificarea provenienței.
  • Întăriți și izolați mediile de execuție de cod.
  • Monitorizați comportamentele suspecte și încercările de evaziune.
  • Consolidați educația utilizatorilor și transparența.
  • Adăugați confirmarea utilizatorului atunci când agentul efectuează sarcini riscante.
  • Faceți clar atunci când uneltele AI accesează e-mailuri, fișiere sau resurse de cloud.
  • Avertizați utilizatorii despre conectori de risc ridicat.

Reușita împotriva atacurilor multimodale

Tehnologiile AI s-au transformat rapid în agenți ai operațiunilor comerciale, creând o situație în care limbajul natural însuși devine o formă de exploatare. Convergența multimodalității și a accesului la unelte deschide suprafața de atac, transformând AI-ul dintr-un asistent într-un mediu pentru atacuri. Atacurile multimodale exploatează integrarea laxă dintre LLM-urile și sistemele externe pe care le controlează, cum ar fi API-urile, stocarea fișierelor și platformele de automatizare.

Pe măsură ce amenințările evoluează, organizațiile trebuie să adopte strategii care să țină cont în mod explicit de căile de atac multimodale. Consolidarea apărării utilizând cele mai bune practici de mai sus este esențială pentru a preveni ca uneltele AI să servească involuntar ca legături în lanțul de exploatare al unui atacator.

Amanda Rousseau este o cercetătoare principală de securitate AI la Straiker și o ingineră experimentată în ingineria inversă a programelor malware, care a lucrat anterior în echipa Red Team a Facebook și echipa de cercetare ofensivă și inginerie de securitate (MORSE) a Microsoft, după roluri anterioare la Endgame, FireEye și Centrul de Crime Cibernetică al Departamentului Apărării SUA.