Agenții AI devin mai inteligenți și suprafața lor de atac devine mai mare

Momentul în care agenții AI au început să programeze întâlniri, să execute cod și să navigheze pe web în numele dvs., conversația despre securitate cibernetică s-a schimbat. Nu treptat, ci peste noapte.

Ce era odată un sistem software conținut și previzibil a devenit ceva care raționează, planifică și ia acțiuni în diferite instrumente și API pe care abia le cunoștea cu un an în urmă.

Acest lucru este cu adevărat excitant și, în același timp, înfricoșător, deoarece suprafața de atac care vine cu această autonomie este enormă, iar majoritatea organizațiilor abia încep să înțeleagă ce înseamnă să introducă agenți în infrastructura lor.

De la Chatbot la Operatori

Promisiunea inițială a inteligenței artificiale a fost simplă: puneți o întrebare, obțineți un răspuns. Acest lucru este încă valabil pentru majoritatea interacțiunilor cu consumatorii, dar nu este ceea ce se întâmplă în implementările pentru întreprinderi. Agenții de astăzi primesc credențiale, chei API și capacitatea de a șterge, crea și annota date, precum și de a lua acțiuni reale în sisteme care au consecințe reale.

Schimbarea s-a produs rapid. În mai puțin de doi ani, agenții AI au trecut de la a fi generatori de text la a permite rularea unor configurații multi-agente netede. Ei citesc e-mailuri, declanșează fluxuri de lucru, interoghează baze de date și, în unele cazuri, gestionează alți agenți subordonați. Acest nivel de acces obișnuia să necesite un proces de achiziție lung și un om în buclă. Acum este vorba de un fișier de configurare și câteva apeluri API.

Mai mult acces înseamnă mai multă expunere

Atacurile tradiționale de software au un profil oarecum previzibil. Există un punct de intrare cunoscut, o vulnerabilitate cunoscută, un patch cunoscut. Agenții AI sparg acest model, deoarece sunt dinamici prin proiectare. Ei nu urmează o cale de cod statică. Ei raționează despre ce să facă mai departe, ceea ce înseamnă că comportamentul lor este mai greu de prevăzut și mult mai greu de auditat ulterior.

Această imprevizibilitate este utilă pentru a face lucrurile. Este, de asemenea, un avantaj pentru oricine încearcă să exploateze sistemul. Când un agent poate decide, în mijlocul unei sarcini, să apeleze un API extern sau să aducă un instrument terț, nu există o perimetru curat de apărat.

Echipele de securitate sunt obișnuite să protejeze suprafețe cunoscute și să monitorizeze costurile Kubernetes. Agenții continuă să descopere noi suprafețe și exploatații, și nimeni nu le cartografiază în timp real. Înainte de a vă da seama, cineva poate prelua credențialele și obține controlul asupra întregului “organism” AI cu o singură mișcare.

Injectarea de prompturi este noua injectare SQL

Dacă există un vector de atac la care cercetătorii în securitate revin constant, este injectarea de prompturi. Ideea este simplă: în loc să exploateze o vulnerabilitate de cod, un atacator manipulează instrucțiunile pe care le primește un agent prin intrările sale. O instrucțiune malicioasă încorporată într-o pagină web, un document sau chiar un e-mail poate redirecționa ceea ce face agentul mai departe.

Ce face acest lucru deosebit de periculos este că agenții fac exact ce li se spune. Ei procesează conținut de pe web, din mesaje ale utilizatorilor, din instrumente terțe. Orice conținut este o posibilă suprafață de injectare. Un agent care citește un document compromis și apoi face apeluri API pe baza conținutului său a fost preluat, și probabil nu va înregistra nimic care să facă lanțul de cauzalitate evident.

Apărările aici sunt reale, dar incomplete. Încapsularea acțiunilor agenților, limitarea instrumentelor pe care un agent le poate apela în anumite contexte și introducerea de puncte de control umane în fluxurile de lucru cu risc ridicat reduc riscul. Ele nu îl elimină. Și majoritatea organizațiilor nu au implementat încă nici măcar elementele de bază.

Problema de încredere în sistemele multi-agente

Sistemele multi-agente introduc un nivel de complexitate care este ușor de subestimat. Când un agent orchestrează mai mulți alți agenți, există o ierarhie de încredere în joc. Orchestrorul transmite instrucțiuni în jos, iar agenții subordonați le urmează. Dacă orchestratorul este compromis, fiecare agent de sub el este compromis și el, și raza de acțiune devine mare foarte repede.

Există, de asemenea, problema suprapermiterii. Agenții primesc adesea mai mult acces decât au nevoie, deoarece este mai ușor să se acorde permisiuni largi din start decât să le rafineze iterativ. Un agent de cercetare nu are nevoie de acces de scriere la o bază de date de producție.

Un agent de programare nu are nevoie de acces la înregistrări financiare. Da, se simte liniștitor să aveți totul împletit, dar este pur și simplu prea riscant să vedeți orice randament nelimitat. Dar liniile devin neclare în practică, și principiile de permisiune minimă care funcționează bine în teorie sunt abandonate în grabă pentru a livra.

Ce arată securitatea rezonabilă aici

Nu există o singură soluție care să facă implementările de agenți sigure. Este o problemă stratificată și necesită un răspuns stratificat. Organizațiile care fac acest lucru bine tind să înceapă cu controalele de acces: dau fiecărui agent un scop definit, îngust și construiesc pași de revizuire în orice acțiune care atinge sisteme sau servicii externe sensibile.

Observabilitatea contează la fel de mult ca și prevenirea. Dacă un agent face ceva neașteptat, echipele au nevoie de o urmă completă a instrucțiunilor pe care le-a primit, a instrumentelor pe care le-a apelat și a ceea ce a returnat. Majoritatea configurațiilor de înregistrare nu sunt create cu acest nivel de granularitate în minte, și retrofitsarea după fapt este dureroasă. Construirea ei de la început merită efortul.

Testarea adversă este, de asemenea, subutilizată. Testarea agenților, încercând în mod specific să injecteze instrucțiuni malicioase și urmărind ce se întâmplă, evidențiază vulnerabilități pe care revizia statică a codului nu le va descoperi niciodată. Este neplăcut să te gândești la asta, dar oamenii care vor încerca să exploateze aceste sisteme sunt deja în curs de a face acest lucru. A ajunge primul este singura mișcare sensibilă.

Gânduri finale

Agenții AI vor deveni o parte mai mare a modului în care organizațiile operează, și această schimbare este deja în plină desfășurare. Conversația despre securitate trebuie să țină pasul, și repede. Riscurile sunt reale, vectorii de atac sunt noi, și fereastra pentru a preveni acestea se îngustează.

Înțelegerea peisajului de amenințări pentru sistemele autonome AI nu mai este opțională. Este una dintre cele mai importante lucruri pe care echipele de securitate și inginerie le pot face în acest moment, și ceasul pentru a face acest lucru corect a început deja.