Valul următor de atacuri multimodale: Când uneltele AI devin o nouă suprafață de exploatare

Pe măsură ce modelele de limbaj mare (LLM) evoluează în sisteme multimodale care pot gestiona text, imagini, voce și cod, ele devin și orchestratori puternici ai uneltelor și connectorilor externi. Odată cu această evoluție, vine și o suprafață extinsă de atac, pe care organizațiile trebuie să o aibă în vedere.

Un exemplu primar al acestui fenomen este ingineria socială, la care agenții pot cădea victimă, deoarece au fost antrenați să acționeze ca oamenii și au și mai puțină scepticism. Un agent, de exemplu, este puțin probabil să poată determina diferența dintre un e-mail falsificat și unul de la un retailer legitim.

Convergența multimodalității și a accesului la unelte transformă AI-ul dintr-un asistent într-un mediu pentru atacuri. Atacatorii pot utiliza acum prompturi simple de text pentru a declanșa abuzul de unelte, a executa acțiuni neautorizate sau a extrage date sensibile prin canale legitime. Deoarece aceste capacități sunt proiectate pentru accesibilitate, nu pentru apărare, chiar și adversarii cu abilități scăzute pot utiliza sistemele AI pentru a efectua operațiuni complexe fără a scrie o singură linie de cod.

Cum devine AI-ul multimodal o lanț de exploatare

LLM-urile devin din ce în ce mai mult orchestratori ai sistemelor externe, cu integrări care includ astăzi totul, de la API-uri la e-mail, stocare în cloud și unelte de execuție de cod. Acești conectori sunt adesea construiți pentru accesibilitate, nu pentru apărare.

Partea negativă a acestui fapt este că poate duce la o nouă val de exploatare.

Un exemplu este abuzul de unelte bazat pe prompt. De exemplu, un atacator poate utiliza o imagine cu instrucțiuni de injecție de prompt inserate într-un e-mail. Unelte de recunoaștere optică a caracterelor (OCR) sunt necesare pentru a extrage textul din imagine. Agentul este instruit să răspundă la e-mail și să atașeze o hartă Google la adresa de acasă a țintei, astfel dezanonimizând locația victimei.

Un alt mecanism este evaziunea gardurilor de protecție transmodale. Acest lucru se referă la gardurile care se află între punctele de intrare și ieșire ale uneltelor. De exemplu, analizând ieșirea unui extractor OCR, nu ar putea exista o gardă suficient de puternică în jurul injecțiilor de prompt descoperite din ieșirea sa.

Există și slăbiciuni structurale care pot fi exploatate. Una dintre acestea este legătura laxă și prea permisivă între model și uneltele externe pe care le poate apela – ceea ce înseamnă că un prompt de limbaj natural simplu poate declanșa acțiuni reale, cum ar fi rularea codului, accesarea fișierelor sau interacțiunea cu e-mailul. În plus, multe dintre aceste sisteme lipsesc controlul strict al accesului, astfel încât AI-ul poate avea capacitatea de a scrie, șterge sau modifica date mult dincolo de ceea ce ar autoriza un om. Problema devine și mai gravă atunci când se examinează conectorii și extensiile de tip MCP, care adesea vin cu garduri de protecție aproape inexistente; odată atașate, ele extind ajungerea AI-ului în stocarea personală, cutii poștale și platforme de cloud cu supraveghere foarte mică. Împreună, aceste slăbiciuni structurale creează un mediu în care problemele de securitate clasice – extragerea, evaziunea sandbox-ului și chiar otrăvirea memoriei – pot fi declanșate prin nimic mai mult decât un prompt ingenios.

Amenințări emergente: Ce urmează?

În această nouă normalitate, atacurile de inginerie socială și e-mail bazate pe AI sunt iminente. Atacurile de phishing vor crește ca urmare a utilizării LLM-urilor de către atacatori; punctul de strangulare este ocolirea filtrelor normale de spam de la furnizorii de e-mail, cum ar fi Google. Agenții de e-mail conectați la cutia poștală cresc probabilitatea de succes a atacurilor de phishing. Va exista, probabil, o creștere a amenințărilor bazate pe e-mail, pe măsură ce utilizatorii conectează agenți la Gmail sau Outlook.

Atacatorii pot direcționa AI-ul să ruleze întregi campanii de spam sau phishing. În acest scenariu,

atacurile de phishing de la AI la AI devin plauzibile.

Sistemele multimodale oferă din ce în ce mai mult capacități de execuție de cod. Căile de evaziune permit atacatorilor să încalce infrastructura subiacentă. Evaziunile sandbox-ului reprezintă cea mai mare coșmar de reputație pentru furnizori.

Otrăvirea memoriei pe termen lung și declanșatoarele amânate reprezintă amenințări suplimentare. Memoria persistentă permite activarea încărcăturilor ascunse pe prompturi viitoare. Declanșatoarele transmodale (de exemplu, imagini sau fragmente de text) ar putea declanșa comportamente de bombă cu ceas.

De ce atacurile multimodale sunt atât de accesibile și de periculoase

AI-ul a democratizat capacitățile de atac. Utilizatorii nu mai au nevoie de abilități de programare sau de dezvoltare de malware; limbajul natural devine interfața pentru crearea de malware sau extragerea de date. Acest lucru înseamnă că chiar și persoanele ne-tehnice pot genera malware sau rula campanii prin prompturi.

AI-ul permite, de asemenea, accelerarea și scalarea operațiunilor dăunătoare. Agenții multimodali pot automatiza munca care anterior necesita eforturi expert. Codul, e-mailurile, cercetarea și recunoașterea pot fi produse instantaneu.

Supraîncrederea utilizatorilor și expunerea neintenționată contribuie la potențialul de rău al AI-ului. Utilizatorii adesea nu înțeleg ce poate accesa AI-ul, iar setările implicite permit din ce în ce mai mult integrările AI. Mulți oameni nu realizează că au acordat AI-ului acces excesiv la e-mail sau documente.

Principii și controale pentru securitatea multimodală

Organizațiile trebuie să pună în aplicare măsuri de securitate împotriva atacurilor multimodale. Echipele de securitate vor trebui să restricționeze accesul la unelte în mod implicit. Controalele de opt-in ar trebui să înlocuiască integrările activate în mod automat. De asemenea, ar trebui să aplice accesul cu privilegii minime la toate sistemele conectate la AI și să elimine accesul de scriere/ștergere. Acest lucru ar trebui să includă reguli de origine și listări albe de domenii (listări albe de infrastructură și nu de nivel LLM).

Un alt pas important este construirea de garduri explicite pentru invocarea uneltelor. Înlocuiți declanșatoarele de limbaj natural cu validarea comenzilor structurate și tipizate. Gardurile ar trebui să fie atât puncte de intrare, cât și de ieșire.

Principii și controale importante suplimentare includ:

• Apus controale de aprobare puternice pentru operațiuni sensibile.
• Evitați plasarea datelor utilizatorului în memoria modelului persistent. Aplicați sanitizarea automată a memoriei și verificarea provenienței.
• Întăriți și izolați mediile de execuție de cod.
• Monitorizați comportamentele suspecte și încercările de evaziune.
• Consolidați educația utilizatorilor și transparența.
• Adăugați confirmarea utilizatorului atunci când agentul efectuează sarcini riscante.
• Faceți clar atunci când uneltele AI accesează e-mailuri, fișiere sau resurse de cloud.
• Avertizați utilizatorii despre conectori de risc ridicat.

Reușita împotriva atacurilor multimodale

Tehnologiile AI s-au transformat rapid în agenți ai operațiunilor comerciale, creând o situație în care limbajul natural însuși devine o formă de exploatare. Convergența multimodalității și a accesului la unelte deschide suprafața de atac, transformând AI-ul dintr-un asistent într-un mediu pentru atacuri. Atacurile multimodale exploatează integrarea laxă dintre LLM-urile și sistemele externe pe care le controlează, cum ar fi API-urile, stocarea fișierelor și platformele de automatizare.

Pe măsură ce amenințările evoluează, organizațiile trebuie să adopte strategii care să țină cont în mod explicit de căile de atac multimodale. Consolidarea apărării utilizând cele mai bune practici de mai sus este esențială pentru a preveni ca uneltele AI să servească involuntar ca legături în lanțul de exploatare al unui atacator.