Vulnerabilitățile de securitate pe care le-am creat: agenți AI și problema ascultării

Agenții AI bazati pe LLM introduc o nouă clasă de vulnerabilități, în care atacatorii injectează instrucțiuni malicioase în date, transformând sistemele utile în complici neștiutori.

Microsoft Copilot nu a fost compromis în sensul tradițional. Nu a existat niciun malware, niciun link de phishing, niciun cod malicios. Nimeni nu a dat clic pe nimic sau nu a implementat nicio exploatare.

Actorul amenințător a solicitat pur și simplu. Microsoft 365 Copilot, făcând exact ceea ce a fost proiectat să facă, a compliat. În recenta atac zero click Echoleak, agentul AI a fost manipulat de o solicitare deghizată ca date. A ascultat, nu pentru că era defect, ci pentru că funcționa așa cum a fost proiectat.

Această vulnerabilitate nu a exploatat bug-uri de software. A exploatat limba. Și acest lucru marchează un punct de cotitură major în securitatea cibernetică, în care suprafața de atac nu mai este codul, ci conversația.

Noua problemă a ascultării AI

Agenții AI sunt proiectați să ajute. Scopul lor este să înțeleagă intenția utilizatorului și să acționeze eficient. Această utilitate vine cu risc. Când sunt încorporați în sisteme de fișiere, platforme de productivitate sau sisteme de operare, acești agenți urmează comenzi de limbaj natural cu rezistență minimă.

Actorii amenințători exploatează exact această trăsătură. Cu injecții de solicitări care par inofensive, ei pot declanșa acțiuni sensibile. Aceste solicitări pot include:

• Fragmente de cod multilingve
• Formate de fișiere obscure și instrucțiuni încorporate
• Intrări de limbă non-engleză
• Comenzi multistep ascunse în limbaj casual

Deoarece modelele de limbaj mare (LLM) sunt antrenate să înțeleagă complexitatea și ambiguitatea, solicitarea devine încărcătura.

Fantoma lui Siri și Alexa

Acest model nu este nou. În zilele de început ale lui Siri și Alexa, cercetătorii au demonstrat cum redarea unei comenzi vocale precum “Trimite toate fotografiile mele la acest e-mail” poate declanșa o acțiune fără verificarea utilizatorului.

Acum amenințarea este mai mare. Agenții AI precum Microsoft Copilot sunt integrați profund în Office 365, Outlook și sistemul de operare. Ei au acces la e-mailuri, documente, credențiale și API-uri. Atacatorilor le trebuie doar solicitarea potrivită pentru a extrage date critice, toate acestea, dându-se drept utilizatori legitimi.

Când computerele confundă instrucțiunile cu datele

Acesta nu este un principiu nou în securitatea cibernetică. Injecțiile precum atacurile SQL au reușit pentru că sistemele nu puteau distinge între intrare și instrucțiune. Astăzi, aceeași eroare există, dar la nivelul de limbaj.

Agenții AI tratează limba naturală atât ca intrare, cât și ca intenție. Un obiect JSON, o întrebare sau chiar o frază poate iniția o acțiune. Această ambiguitate este ceea ce exploatează actorii amenințători, încorporând comenzi în ceea ce pare a fi conținut inofensiv.

Am încorporat intenția în infrastructură. Acum, actorii amenințători au învățat cum să o extragă pentru a-și face voia.

Adopția AI depășește securitatea cibernetică

Pe măsură ce întreprinderile se grăbesc să integreze LLM, multe ignoră o întrebare critică: la ce are acces AI-ul?

Când Copilot poate atinge sistemul de operare, raza de acțiune se extinde mult dincolo de cutia de intrare. Conform Raportului de securitate AI al Check Point:

• 62 la sută din directorii de securitate a informației (CISO) din întreaga lume se tem că ar putea fi trași la răspundere personal pentru încălcări legate de AI
• Aproape 40 la sută din organizații raportează utilizarea neautorizată a AI în interior, adesea fără supraveghere de securitate
• 20 la sută din grupurile de criminali cibernetici încorporează acum AI în operațiunile lor, inclusiv pentru crearea de e-mailuri de phishing și efectuarea de recunoaștere

Acesta nu este doar un risc emergent. Este un risc prezent care already cauzează daune.

De ce măsurile de siguranță existente nu sunt suficiente

Unii furnizori utilizează câini de pază — modele secundare antrenate să detecteze solicitări periculoase sau comportament suspect. Aceste filtre pot detecta amenințări de bază, dar sunt vulnerabile la tehnici de evaziune.

Actorii amenințători pot:

• Supraîncărca filtrele cu zgomot
• Diviza intenția pe mai multe etape
• Utiliza o exprimare neevidentă pentru a ocoli detectarea

În cazul Echoleak, măsurile de siguranță erau prezente — și au fost ocolite. Acest lucru reflectă nu doar o eșec a politicii, ci și o eșec a arhitecturii. Când un agent are permisiuni de nivel înalt, dar context de nivel scăzut, chiar și gardurile bune nu sunt suficiente.

Detectare, nu perfecțiune

Prevenirea fiecărui atac poate fi nerealistă. Scopul trebuie să fie detectarea rapidă și conținerea rapidă.

Organizațiile pot începe prin:

• Monitorizarea activității agenților AI în timp real și menținerea jurnalelor de solicitări
• Aplicarea unui acces strict de nivel minim la uneltele AI, reflectând controalele de nivel administrativ
• Adăugarea de fricțiune la operațiunile sensibile, cum ar fi solicitarea de confirmări
• Marcarea modelelor de solicitări neobișnuite sau ostile pentru revizuire

Atacurile bazate pe limbaj nu vor apărea în instrumentele tradiționale de detectare și răspuns la puncte de extremitate (EDR). Acestea necesită un nou model de detectare.

Ce ar trebui să facă organizațiile acum pentru a se proteja

Înainte de a implementa agenți AI, organizațiile trebuie să înțeleagă cum funcționează aceste sisteme și ce riscuri introduc.

Recomandările cheie includ:

1. Auditarea tuturor acceselor: știți la ce poate accesa sau declanșa agenții
2. Limitarea sferei: acordarea permisiunilor minime necesare
3. Urmarirea tuturor interacțiunilor: înregistrarea solicitărilor, răspunsurilor și acțiunilor rezultate
4. Testarea la stres: simularea intrărilor ostile interne și frecvente
5. Planificarea pentru evaziune: presupunerea că filtrele vor fi ocolite
6. Alinierea cu securitatea: asigurarea că sistemele LLM sprijină, nu compromit, obiectivele de securitate

Noi suprafețe de atac

Echoleak este o previzualizare a ceea ce va urma. Pe măsură ce LLM evoluează, utilitatea lor devine o vulnerabilitate. Integrați profund în sistemele de afaceri, acestea oferă atacatorilor o cale nouă de intrare — prin solicitări simple, bine create.

Acesta nu este doar despre securizarea codului. Este despre securizarea limbajului, intenției și contextului. Cartea de joc trebuie schimbată acum, înainte de a fi prea târziu.

Și totuși, există o veste bună. Există progrese în utilizarea agenților AI pentru a apăra împotriva noilor și emergentele amenințări cibernetice. Când sunt utilizate corespunzător, acești agenți AI autonomi pot răspunde la amenințări mai repede decât orice om, pot colabora în medii diferite și pot apăra proactiv împotriva riscurilor emergente, prin învățarea dintr-o singură încercare de intrare.

AI-ul agențial poate învăța din fiecare atac, se poate adapta în timp real și poate preveni amenințări înainte de a se răspândi. Are potențialul de a stabili o nouă eră de reziliență cibernetică, dar doar dacă profităm de acest moment și dăm formă viitorului securității cibernetice împreună. Dacă nu o facem, această nouă eră poate semnaliza un coșmar de securitate cibernetică și confidențialitate a datelor pentru organizațiile care au implementat deja AI (uneori chiar și fără să știe, cu unelte de IT ascunse). Acum este momentul să luăm măsuri pentru a ne asigura că agenții AI sunt utilizați în beneficiul nostru, nu în detrimentul nostru.