Agenții de inteligență artificială devin mai inteligenți și suprafața lor de atac devine mai mare

Momentul în care agenții de inteligență artificială au început să programeze întâlniri, să execute cod și să navigheze pe web în numele dvs., conversația despre securitate cibernetică s-a schimbat. Nu treptat, ci peste noapte.

Ce era odată un sistem software conținut și previzibil a devenit ceva care raționează, planifică și ia acțiuni în diferite instrumente și API pe care abia le cunoștea cu un an în urmă.

Acest lucru este cu adevărat emoționant și este, de asemenea, terifiant, deoarece suprafața de atac care vine cu această autonomie este enormă, iar majoritatea organizațiilor abia încep să înțeleagă ce înseamnă să introducă agenți în infrastructura lor.

De la chatbot la operatori

Promisiunea inițială a inteligenței artificiale a fost simplă: puneți o întrebare, obțineți un răspuns. Acest lucru este încă valabil pentru majoritatea interacțiunilor cu consumatorii, dar nu este ceea ce se întâmplă în implementările pentru întreprinderi. Agenții de astăzi primesc credențiale, chei API și capacitatea de a șterge, crea și anota date, precum și de a lua acțiuni reale în sisteme care au consecințe reale.

Schimbarea s-a produs rapid. În mai puțin de doi ani, agenții de inteligență artificială au trecut de la a fi generatori de text la a permite să ruleze configurații multi-agente netede. Ei citesc e-mailuri, declanșează fluxuri de lucru, interoghează baze de date și, în unele cazuri, gestionează alți agenți sub ordinele lor. Acest nivel de acces obișnuia să necesite un proces de achiziție lung și un om în buclă. Acum este un fișier de configurare și câteva apeluri API.

Accesul mai mare înseamnă expunere mai mare

Atacurile tradiționale de software au un profil oarecum previzibil. Există un punct de intrare cunoscut, o vulnerabilitate cunoscută, o soluție cunoscută. Agenții de inteligență artificială sparg acest model, deoarece sunt dinamici prin proiectare. Ei nu urmează o cale de cod statică. Ei raționează despre ce să facă mai departe, ceea ce înseamnă că comportamentul lor este mai greu de prevăzut și mult mai greu de auditat ulterior.

Această imprevizibilitate este utilă pentru a face lucrurile. Este, de asemenea, un avantaj pentru oricine încearcă să exploateze sistemul. Când un agent poate decide, în mijlocul unei sarcini, să apeleze un API extern sau să trimită un instrument terț, nu există o periferie curată de apărat.

Echipele de securitate sunt obișnuite să protejeze suprafețe cunoscute și să monitorizeze costurile Kubernetes. Agenții continuă să descopere noi suprafețe și exploatații, și nimeni nu le cartografiază în timp real. Înainte de a vă da seama, cineva poate prelua credențialele și obține controlul asupra întregului “organism” de inteligență artificială cu o singură mișcare.

Injectarea de prompturi este noua injecție SQL

Dacă există un vector de atac la care cercetătorii în securitate revin constant, este injectarea de prompturi. Ideea este simplă: în loc de a exploata o vulnerabilitate de cod, un atacator manipulează instrucțiunile pe care le primește un agent prin intrările sale. O instrucțiune malignă încorporată într-o pagină web, un document sau chiar un e-mail poate redirecționa ceea ce face agentul mai departe.

Ceea ce face acest lucru deosebit de ascuțit este că agenții fac exact ce li se spune. Ei procesează conținut de pe web, de la mesaje de la utilizatori, de la instrumente terțe. Orice conținut este o posibilă suprafață de injecție. Un agent care citește un document compromis și apoi face apeluri API pe baza conținutului său a fost preluat, și probabil nu va înregistra nimic care să facă lanțul de cauzalitate evident.

Apărările aici sunt reale, dar incomplete. Izolarea acțiunilor agenților, limitarea instrumentelor pe care un agent le poate apela în anumite contexte și crearea de puncte de control umane în fluxurile de lucru cu risc ridicat reduc riscul. Nu îl elimină. Și majoritatea organizațiilor nu au implementat încă nici măcar aspectele de bază.

Problema de încredere în interiorul sistemelor multi-agente

Sistemele multi-agente introduc un strat de complexitate care este ușor de subestimat. Când un agent orchestrează mai mulți alți agenți, există o ierarhie de încredere în joc. Orchestrorul transmite instrucțiuni în jos, iar agenții subordonați le urmează. Dacă orchestratorul este compromis, fiecare agent subordonat este, de asemenea, compromis, iar raza de acțiune devine mare foarte repede.

Există, de asemenea, problema suprapermitirii. Agenții primesc adesea permisiuni mai mari decât au nevoie, deoarece este mai ușor să se acorde permisiuni largi din start decât să le rafineze iterativ. Un agent de cercetare nu are nevoie de acces de scriere la o bază de date de producție.

Un agent de programare nu are nevoie de acces la înregistrări financiare. Da, este reconfortant să aveți totul împletit, dar este prea riscant să vedeți orice randament nelimitat. Dar liniile devin neclare în practică, iar principiile de permisiune minimă care funcționează bine în teorie sunt abandonate în grabă pentru a lansa.

Ce arată securitatea rezonabilă aici

Nu există o singură soluție care să facă implementările de agenți sigure. Este o problemă stratificată și are nevoie de o reacție stratificată. Organizațiile care fac acest lucru bine tind să înceapă cu controalele de acces: să dea fiecărui agent un scop definit, îngust și să construiască pași de revizuire în orice acțiune care atinge sisteme sau servicii externe sensibile.

Observabilitatea contează la fel de mult ca și prevenirea. Dacă un agent face ceva neașteptat, echipele au nevoie de o urmă completă a instrucțiunilor pe care le-a primit, a instrumentelor pe care le-a apelat și a ceea ce a returnat. Majoritatea configurațiilor de înregistrare nu sunt create cu acest nivel de granularitate în minte, iar retrofitsarea ulterioară este dureroasă. Construirea acestuia de la început merită fricțiunea.

Testarea adversă este, de asemenea, subutilizată. Testarea de echipă a agenților, încercând în mod specific să injecteze instrucțiuni maligne și urmărind ce se întâmplă, scoate la suprafață vulnerabilități pe care revizia statică a codului nu le va prinde niciodată. Este incomod să te gândești, dar oamenii care vor încerca în cele din urmă să exploateze aceste sisteme deja o fac. A fi primul este singura mișcare sensibilă.

Gânduri finale

Agenții de inteligență artificială vor deveni o parte mai mare a modului în care organizațiile funcționează, și această schimbare este deja în plină desfășurare. Conversația despre securitate trebuie să țină pasul, și repede. Riscurile sunt reale, vectorii de atac sunt noi, și fereastra de a depăși acestea se îngustează.

Înțelegerea peisajului de amenințări pentru sistemele autonome de inteligență artificială nu mai este opțională. Este una dintre cele mai importante lucruri pe care echipele de securitate și inginerie le pot face în acest moment, și ceasul pentru a face acest lucru a început deja.