Securitate cibernetică
Agenții IA devin mai inteligenți, iar suprafața lor de atac se extinde

Puncte cheieAutonomia imprevizibilă a agenților de IA creează o suprafață de atac vastă și…
Vezi mai mult
- Autonomia imprevizibilă a agenților de IA creează o suprafață de atac vastă și dinamică, care sfidează modelele tradiționale de securitate.
- Atacurile prin injecție de prompturi manipulează instrucțiunile agenților prin inputuri obișnuite, cum ar fi documente și pagini web.
- Sistemele multi-agent amplifică periculos riscul prin ierarhii de încredere și acces excesiv la sisteme critice.
În momentul în care agenții de inteligență artificială au început să programeze întâlniri, să execute cod și să navigheze pe web în numele dvs., discuția despre securitate cibernetică s-a schimbat. Nu treptat, ci peste noapte.
Ce era odată un sistem software delimitat și previzibil a devenit ceva care raționează, planifică și acționează prin diferite instrumente și API-uri pe care abia le cunoștea cu un an în urmă.
Acest lucru este cu adevărat entuziasmant și este, de asemenea, terifiant, deoarece suprafața de atac care vine cu această autonomie este enormă, iar majoritatea organizațiilor abia încep să înțeleagă ce înseamnă să introducă agenți în infrastructura lor.
De la chatboturi la operatori
Promisiunea inițială a inteligenței artificiale a fost simplă: puneți o întrebare, obțineți un răspuns. Acest lucru este încă valabil pentru majoritatea interacțiunilor cu consumatorii, dar nu este ceea ce se întâmplă în implementările pentru întreprinderi. Agenții de astăzi primesc credențiale, chei API și capacitatea de a șterge, crea și anota date, precum și de a întreprinde acțiuni reale în sisteme care au consecințe reale.
Schimbarea s-a produs rapid. În mai puțin de doi ani, agenții de inteligență artificială au trecut de la a fi generatori de text la a ne permite să operăm configurații cu mai mulți agenți care funcționează fără probleme. Ei citesc e-mailuri, declanșează fluxuri de lucru, interoghează baze de date și, în unele cazuri, gestionează alți agenți sub ordinele lor. Acest nivel de acces obișnuia să necesite un proces de achiziție lung și participarea unui om în proces. Acum sunt suficiente un fișier de configurare și câteva apeluri API.
Accesul mai mare înseamnă expunere mai mare
Atacurile tradiționale asupra software-ului au un profil oarecum previzibil. Există un punct de intrare cunoscut, o vulnerabilitate cunoscută, un patch cunoscut. Agenții de inteligență artificială sparg acest model, deoarece sunt dinamici prin proiectare. Ei nu urmează o cale de cod statică. Ei raționează despre ce să facă mai departe, ceea ce înseamnă că comportamentul lor este mai greu de prevăzut și mult mai greu de auditat ulterior.
Această imprevizibilitate este utilă pentru a duce lucrurile la bun sfârșit. Este, de asemenea, un avantaj pentru oricine încearcă să exploateze sistemul. Când un agent poate decide, în mijlocul unei sarcini, să apeleze un API extern sau să folosească un instrument terț, nu există un perimetru clar de apărat.
Echipele de securitate sunt obișnuite să protejeze suprafețe cunoscute și să monitorizeze costurile Kubernetes. Agenții continuă să descopere noi suprafețe de atac și metode de exploatare, și nimeni nu le cartografiază în timp real. Înainte de a vă da seama, cineva poate prelua credențialele și obține controlul asupra întregului “organism” de inteligență artificială cu o singură mișcare.
Injectarea de prompturi este noua injecție SQL
Dacă există un vector de atac la care cercetătorii în securitate revin constant, este injectarea de prompturi. Ideea este simplă: în loc de a exploata o vulnerabilitate de cod, un atacator manipulează instrucțiunile pe care le primește un agent prin intrările sale. O instrucțiune malițioasă încorporată într-o pagină web, un document sau chiar un e-mail poate redirecționa ceea ce face agentul mai departe.
Ceea ce face acest lucru deosebit de periculos este că agenții fac adesea exact ce li se spune. Ei procesează conținut de pe web, din mesajele utilizatorilor, de la instrumente terțe. Orice conținut este o posibilă suprafață de injecție. Un agent care citește un document compromis și apoi face apeluri API pe baza conținutului său a fost deturnat, și probabil nu va înregistra nimic care să facă lanțul de cauzalitate evident.
Apărările aici sunt reale, dar incomplete. Izolarea acțiunilor agenților, limitarea instrumentelor pe care un agent le poate apela în anumite contexte și crearea de puncte de control umane în fluxurile de lucru cu risc ridicat reduc riscul. Nu îl elimină. Și majoritatea organizațiilor nu au implementat încă nici măcar aspectele de bază.
Problema de încredere în interiorul sistemelor multi-agente
Sistemele multi-agente introduc un strat de complexitate care este ușor de subestimat. Când un agent orchestrează mai mulți alți agenți, există o ierarhie de încredere în joc. Orchestratorul transmite instrucțiuni în jos, iar agenții subordonați le urmează. Dacă orchestratorul este compromis, fiecare agent subordonat este, în practică, compromis la rândul său, iar aria afectată se extinde foarte repede.
Există, de asemenea, problema acordării excesive de permisiuni. Agenții primesc adesea permisiuni mai mari decât au nevoie, deoarece este mai ușor să se acorde permisiuni largi din start decât să fie ajustate treptat. Un agent de cercetare nu are nevoie de acces de scriere la o bază de date de producție.
Un agent de planificare a întâlnirilor nu are nevoie de acces la înregistrări financiare. Da, este reconfortant să aveți totul împletit, dar riscul este pur și simplu prea mare pentru a menține beneficiile fără ca acestea să se diminueze. Dar liniile devin neclare în practică, iar principiile privilegiului minim care funcționează bine în teorie sunt abandonate discret în graba lansării.
Cum arată o securitate rezonabilă în acest context
Nu există o singură soluție care să facă implementările de agenți sigure. Este o problemă cu mai multe niveluri și are nevoie de o reacție pe mai multe niveluri. Organizațiile care fac acest lucru bine tind să înceapă cu controalele de acces: să dea fiecărui agent un domeniu de acțiune clar definit și restrâns și să construiască pași de revizuire în orice acțiune care atinge sisteme sensibile sau servicii externe.
Observabilitatea contează la fel de mult ca și prevenirea. Dacă un agent face ceva neașteptat, echipele au nevoie de o urmă completă a instrucțiunilor pe care le-a primit, a instrumentelor pe care le-a apelat și a ceea ce a returnat. Majoritatea configurațiilor de înregistrare nu sunt create cu acest nivel de granularitate în minte, iar adăugarea ulterioară a acestui nivel de detaliu este dificilă. Merită efortul să fie inclus de la început.
Testarea din perspectiva adversarului este, de asemenea, subutilizată. Testarea agenților prin exerciții de tip red team, în special prin încercări de injectare a unor instrucțiuni malițioase și observarea rezultatelor, scoate la suprafață vulnerabilități pe care analiza statică a codului nu le va prinde niciodată. Este incomod să te gândești, dar oamenii care vor încerca în cele din urmă să exploateze aceste sisteme fac deja astfel de teste. A fi primul este singura acțiune rezonabilă.
Gânduri finale
Agenții de inteligență artificială vor deveni o parte mai mare a modului în care organizațiile funcționează, și această schimbare este deja în plină desfășurare. Conversația despre securitate trebuie să țină pasul, și repede. Riscurile sunt reale, vectorii de atac sunt noi, și intervalul în care pot fi anticipate se îngustează.
Înțelegerea peisajului de amenințări pentru sistemele autonome de inteligență artificială nu mai este opțională. Este unul dintre cele mai importante lucruri pe care echipele de securitate și inginerie le pot face în acest moment, și timpul pentru a face lucrurile corect a început deja să se scurgă.












