Vulnerabilitățile de securitate pe care le-am creat: agenții AI și problema ascultării

Agenții AI bazati pe LLM introduc o nouă clasă de vulnerabilități, în care atacatorii injectează instrucțiuni malicioase în date, transformând sistemele utile în complici neștiutori.

Microsoft Copilot nu a fost compromis în sensul clasic. Nu a existat niciun malware, niciun link de phishing, niciun cod malicios. Nimeni nu a dat click pe nimic sau nu a implementat niciun exploit.

Autorul atacului a solicitat pur și simplu. Microsoft 365 Copilot, făcând exact ceea ce a fost proiectat să facă, a compliat. În recentul atac Echoleak zero click, agentul AI a fost manipulat de o solicitare deghizată în date. A ascultat, nu pentru că era defect, ci pentru că funcționa așa cum a fost proiectat.

Această vulnerabilitate nu a exploatat bug-uri de software. A exploatat limbajul. Și acest lucru marchează un punct de cotitură major în securitatea cibernetică, în care suprafața de atac nu mai este codul, ci conversația.

Noua problemă a ascultării AI

Agenții AI sunt proiectați să ajute. Scopul lor este să înțeleagă intenția utilizatorului și să acționeze eficient. Această utilitate vine cu risc. Când sunt încorporați în sisteme de fișiere, platforme de productivitate sau sisteme de operare, acești agenți urmează comenzi de limbaj natural cu rezistență minimă.

Autorii atacurilor exploatează exact această trăsătură. Cu injecții de solicitări care par inofensive, pot declanșa acțiuni sensibile. Aceste solicitări pot include:

• Fragmente de cod multilingv
• Formate de fișiere obscure și instrucțiuni încorporate
• Intrări de limbă non-engleză
• Comenzi multistep ascunse în limbaj casual

Deoarece modelele de limbaj mari (LLM) sunt antrenate să înțeleagă complexitatea și ambiguitatea, solicitarea devine încărcătura.

Fantoma lui Siri și Alexa

Acest model nu este nou. În zilele de început ale lui Siri și Alexa, cercetătorii au demonstrat cum se poate declanșa o acțiune fără verificarea utilizatorului prin redarea unei comenzi vocale precum “Trimite toate fotografiile mele la acest e-mail”.

Acum amenințarea este mai mare. Agenții AI precum Microsoft Copilot sunt integrați profund în Office 365, Outlook și sistemul de operare. Ei au acces la e-mailuri, documente, credențiale și API-uri. Atacatorilor le este necesară doar solicitarea potrivită pentru a extrage date critice, toate acestea dându-se drept utilizatori legitimi.

Când computerele confundă instrucțiunile cu datele

Acesta nu este un principiu nou în securitatea cibernetică. Atacurile de tip SQL au reușit pentru că sistemele nu puteau distinge între intrare și instrucțiune. Astăzi, aceeași eroare există, dar la nivelul limbajului.

Agenții AI tratează limbajul natural atât ca intrare, cât și ca intenție. Un obiect JSON, o întrebare sau chiar o frază poate iniția o acțiune. Această ambiguitate este ceea ce exploatează autorii atacurilor, încorporând comenzi în ceea ce pare conținut inofensiv.

Am încorporat intenția în infrastructură. Acum, autorii atacurilor au învățat cum să o extragă pentru a-și face treaba.

Adopția AI depășește securitatea cibernetică

Pe măsură ce întreprinderile se grăbesc să integreze LLM, multe dintre ele ignoră o întrebare critică: la ce are acces AI-ul?

Când Copilot poate accesa sistemul de operare, raza de acțiune se extinde mult dincolo de cutia de intrare. Conform Raportului de securitate AI al Check Point:

• 62 la sută dintre directorii de securitate a informațiilor (CISO) se tem că ar putea fi trași la răspundere personal pentru încălcări legate de AI
• Aproape 40 la sută dintre organizații raportează utilizarea neautorizată a AI la interior, adesea fără supraveghere de securitate
• 20 la sută dintre grupurile de criminali cibernetici incorporează acum AI în operațiunile lor, inclusiv pentru crearea de e-mailuri de phishing și efectuarea de recunoașteri

Acesta nu este doar un risc emergent. Este un risc prezent care provoacă deja daune.

De ce măsurile de securitate existente nu sunt suficiente

Unii furnizori utilizează supraveghetori — modele secundare antrenate să detecteze solicitări periculoase sau comportament suspect. Aceste filtre pot detecta amenințări de bază, dar sunt vulnerabile la tehnici de evaziune.

Autorii atacurilor pot:

• Suprasolicita filtrele cu zgomot
• Diviza intenția pe mai multe etape
• Utiliza frazări neevidente pentru a ocoli detectarea

În cazul atacului Echoleak, măsurile de securitate erau prezente — și au fost ocolite. Acest lucru reflectă nu doar o eșec a politicii, ci și o eșec a arhitecturii. Când un agent are permisiuni de nivel înalt, dar context de nivel scăzut, chiar și barierele bune nu sunt suficiente.

Detectarea, nu perfecțiunea

Prevenirea fiecărui atac poate fi nerealistă. Scopul trebuie să fie detectarea rapidă și conținerea promptă.

Organizațiile pot începe prin:

• Monitorizarea activității agenților AI în timp real și menținerea jurnalelor de solicitări
• Aplicarea accesului cu privilegii minimale pentru uneltele AI, reflectând controalele de nivel administrativ
• Adăugarea de fricțiune la operațiunile sensibile, cum ar fi solicitarea confirmărilor
• Marcajul modelelor de solicitări neobișnuite sau ostile pentru revizuire

Atacurile bazate pe limbaj nu vor apărea în instrumentele tradiționale de detectare și răspuns la punctele finale. Acestea necesită un nou model de detectare.

Ce ar trebui să facă organizațiile acum pentru a se proteja

Înainte de a implementa agenți AI, organizațiile trebuie să înțeleagă cum funcționează aceste sisteme și care sunt riscurile pe care le introduc.

Recomandările cheie includ:

1. Auditarea tuturor acceselor: știți la ce pot accesa agenții
2. Limitarea sferei: acordați permisiuni minim necesare
3. Urmarirea tuturor interacțiunilor: înregistrați solicitări, răspunsuri și acțiuni rezultate
4. Testarea la stres: simulați intrări ostile interne și frecvent
5. Planificarea evaziunii: presupuneți că filtrele vor fi ocolite
6. Alinierea cu securitatea: asigurați-vă că sistemele LLM sprijină, nu compromit, obiectivele de securitate

Noua suprafață de atac

Echoleak este o previzualizare a ceea ce va urma. Pe măsură ce LLM-urile evoluează, utilitatea lor devine o vulnerabilitate. Integrate profund în sistemele de afaceri, oferă atacatorilor o nouă cale de acces — prin solicitări simple și bine create.

Acesta nu este doar despre securizarea codului. Este despre securizarea limbajului, intenției și contextului. Cartea de joc trebuie schimbată acum, înainte de a fi prea târziu.

Și totuși, există o veste bună. Se fac progrese în utilizarea agenților AI pentru a apăra împotriva noilor și emergentele amenințări cibernetice. Când sunt utilizate corect, acești agenți AI autonomi pot răspunde la amenințări mai repede decât orice om, pot colabora în medii diferite și pot apăra proactiv împotriva riscurilor emergente, învățând dintr-o singură încercare de intruziune.

Agenții AI pot învăța din fiecare atac, se pot adapta în timp real și pot preveni amenințările înainte de a se răspândi. Ei au potențialul de a stabili o nouă eră de reziliență cibernetică, dar doar dacă profităm de acest moment și dăm forma viitorului securității cibernetice împreună. Dacă nu o facem, această nouă eră poate semnaliza un coșmar de securitate cibernetică și confidențialitate a datelor pentru organizațiile care au implementat deja AI (uneori chiar și fără știrea lor, cu unelte de IT ascunse). Acum este momentul să luăm măsuri pentru a asigura că agenții AI sunt utilizați pentru beneficiul nostru, nu pentru pieirea noastră.