De ce măsurile de securitate ale chatbot-urilor sunt o limită de securitate greșită

Inteligența artificială (IA) a depășit cu mult stadiul de demonstrație. 23% din organizații au deja sisteme de IA agenți în scală undeva în cadrul organizației, iar 62% sunt cel puțin experimentale cu agenți IA. Acestea nu sunt proiecte de cercetare. Sunt implementări de producție, integrate în fluxuri de lucru care ating depozite de cod, date ale clienților, API-uri interne și infrastructură operațională.

Răspunsul industriei la această creștere s-a concentrat în mare măsură pe ceea ce se întâmplă înainte de a fi lansat un agent. Furnizorii și cercetătorii au canalizat energie în măsuri de securitate pre-lansare: publicarea politicilor de scalare, consolidarea modelelor de bază, filtrarea intrărilor, securizarea lanțului de aprovizionare cu IA și asigurarea alinierii la momentul antrenamentului. Principalele furnizori de IA au făcut investiții substanțiale în instrumente de securitate orientate către dezvoltatori, consolidând o ipoteză centrală: dacă modelul și intrările sale sunt controlate, riscul din aval poate fi conținut.

Este un instinct rezonabil, dar din ce în ce mai incomplet.

Promptul nu este o perimetră de securitate

Măsurile de securitate care funcționează la interfața modelului beneficiază în primul rând echipele care controlează codul aplicației, configurația modelului și infrastructura subiacentă. Oferta lor protejează mult mai puțin apărătorii care sunt însărcinați cu securizarea sistemelor IA pe care nu le-au creat și nu le pot modifica. Acesta este un punct orb semnificativ, iar adversarii au găsit deja acest punct.

Raportul de inteligență cu privire la amenințări al OpenAI documentează exact această dinamică. Actorii amenințători abuzează activ de ChatGPT și de unelte similare în medii de producție, nu prin inventarea de tehnici de atac inovatoare, ci prin integrarea IA în fluxuri de lucru existente pentru a se deplasa mai repede. Recunoașterea devine mai eficientă. Ingineria socială se extinde. Dezvoltarea de malware se accelerează. Suprafața de atac nu s-a schimbat fundamental; viteza și volumul de exploatare au crescut.

Mai convingător este modul în care atacatorii au răspuns atunci când aceste unelte au ripostat. OpenAI a observat actori amenințători care au mutat rapid prompturile, păstrând intenția de bază, în timp ce variațiile de suprafață au fost ciclate pentru a ocoli controalele de la nivelul frontal. Acesta este un model pe care practicienii de securitate l-au văzut anterior. Apărările statice, indiferent dacă sunt bazate pe semnături antivirus sau filtrare a intrărilor, nu pot face față adversarilor care se adaptează mai repede decât pot urma actualizările regulilor.

Provocarea se înmulțește pe măsură ce agenții câștigă autonomie. Agenții IA moderni nu operează într-un singur schimb. Ei execută secvențe de acțiuni multi-etapă, invocând unelte legitime și permisiuni în moduri care par complet normale în izolare. Un agent care utilizează credențiale valabile pentru a enumera API-uri interne nu declanșează o alertă. Un agent care accesează magazine de date sensibile în timpul a ceea ce pare a fi un flux de lucru obișnuit nu generează nicio flagă imediată. Fiecare acțiune individuală trece testul; pericolul trăiește în combinație și secvență.

Când amenințarea se deplasează în aval

Echipele de securitate care apără implementările IA de astăzi se confruntă cu un decalaj structural. Uneltele disponibile pentru acestea sunt în mare parte create pentru a raționa despre ceea ce este permis unui model să spună. Riscul real pe care trebuie să îl gestioneze este ceea ce face un agent în sisteme, rețele și identități, odată ce i s-au acordat permisiuni și a fost lansat într-un mediu de producție.

Măsurile de securitate bazate pe prompt împărtășesc slăbiciunile fundamentale ale abordărilor de securitate anterioare, bazate pe reguli. Sunt fragile pentru că depind de predictarea în avans a modelelor de atac. Sunt reactive pentru că necesită ca cineva să fi observat și codificat amenințarea înainte ca apărarea să poată funcționa. Și sunt depășite de adversari care au adoptat iterarea asistată de IA ca practică standard. Un apărător care se bazează pe filtrarea intrărilor pentru a prinde un actor amenințător care utilizează un model de limbaj pentru a genera variații proaspete de prompturi se află într-o poziție fundamental pierzătoare.

Expunerea reală apare după lansare. Acțiunile conduse de agenți se propagă prin medii în moduri pe care niciun test pre-lansare nu le poate anticipa pe deplin. Agenții întâlnesc cazuri limită, interacționează cu surse de date pe care nu au fost proiectate să le gestioneze, primesc intrări de la sisteme din afara arhitecturii originale și iau decizii care se cumulează în timp. Testarea pre-lansării este o imagine statică; producția este un flux continuu. A apăra doar imaginea statică înseamnă a accepta că tot ceea ce se întâmplă în flux este efectiv nemonitorizat.

Deplasarea limitei de securitate către comportamentul agentului

Construirea rezilienței IA necesită un cadru diferit, iar scopul nu ar trebui să fie protejarea interfeței modelului. Ar trebui să fie detectarea intenției atacatorului prin consecințele observabile ale acțiunilor agentului. Acesta este un contrast semnificativ. Intenția nu apare întotdeauna în ceea ce spune un agent sau în intrările pe care le primește.

Securizarea sistemelor IA trebuie să se extindă dincolo de verificările de aliniere și evaluările de robustețe la evaluarea continuă a modului în care agenții se comportă odată ce interacționează cu unelte reale, API-uri reale și date reale. Evaluarea statică la momentul lansării este necesară, dar insuficientă. Mediul de amenințare în care operează un agent se schimbă constant. Comportamentul agentului trebuie monitorizat cu aceeași continuitate.

Acesta este un problemă pe care consolidarea promptului nu o poate rezolva. Detectarea intenției malefice pe măsură ce apare prin secvențe de acțiuni necesită modele capabile să înțeleagă comportamentul complex, secvențial în medii operaționale. Modelele de învățare profundă de bază, special create pentru analiză comportamentală, pot face acest lucru în moduri în care sistemele bazate pe reguli și instrumentele SIEM tradiționale nu pot. Ele învață ce înseamnă “normal” în contextul complet al activității agentului și evidențiază deviațiile care indică faptul că ceva s-a schimbat, chiar și atunci când nicio acțiune individuală nu ar declanșa o alertă convențională.

Logica subiacentă se menține indiferent de contextul de implementare: securitatea ancorată la nivelul promptului va pierde în mod constant în fața atacatorilor care operează la nivelul acțiunii. Apărarea trebuie să se deplaseze acolo unde trăiește, de fapt, amenințarea.

Ce ar trebui să facă acum echipele de securitate

Pentru liderii de securitate care încearcă să devanseze această situație, câteva schimbări practice pot reduce decalajul dintre poziția actuală a apărărilor și unde trebuie să fie.

Evaluează siguranța IA pe întreaga stivă de aplicații. Modelul de bază este un strat. La fel de important este modul în care agenții se comportă odată ce sunt implementați în producție, uneltele pe care le apelează, permisiunile pe care le utilizează și modul în care aceste alegeri evoluează în timp. Evaluările de securitate care se opresc la limita modelului lasă suprafața operațională în mare măsură neexaminată.

Aplică principiul de permisiune minimă la nivelul agentului. Agenții IA ar trebui să aibă acces doar la uneltele, API-urile și datele necesare pentru funcția lor desemnată. Această constrângere contează chiar și atunci când ieșirile agentului par inofensive. Limitarea sferei de acțiune reduce raza de explozie a unui agent compromis și creează linii directoare comportamentale mai clare care fac detectarea anomaliilor mai eficientă.

Tratează agenții ca identități care generează telemetrie. Fiecare acțiune pe care o ia un agent este un punct de date. Echipele de securitate ar trebui să construiască logica de detectare în jurul lanțurilor de acțiuni inițiate de agenți, nu doar prompturile utilizatorului care le preced. Această reconfigurare a monitorizării de la ceea ce a cerut cineva agentului să facă la ceea ce face, de fapt, agentul, este locul în care intenția atacatorului devine vizibilă.

Investiți în monitorizarea comportamentală continuă, cu modele de detectare special create pentru această sarcină. Identificarea intenției malefice pe măsură ce apare prin secvențe de acțiuni necesită o capacitate specializată. Uneltele de monitorizare convenționale au fost create pentru modele de activitate generate de oameni. Comportamentul agentului, cu viteza, volumul și structura sa multi-etapă, cere infrastructură de detectare proiectată de la zero, având în vedere acest context.

Prioritizați apărarea colectivă. Tehnicile de atac asistate de IA evoluează mai repede decât orice organizație poate urmări. Cercetarea comună, colaborarea deschisă și inteligența cu privire la amenințări la nivel de comunitate nu sunt complementaritate opționale pentru o strategie de securitate IA; ele sunt intrări de bază. Apărătorii care rămân la curent sunt cei care contribuie și care se alimentează din cunoașterea colectivă.

Securitatea comportamentală livrează, de fapt

Pentru echipele de securitate care fac acest schimb, plata operațională este concretă. Ancorarea detectării în comportamentul agentului, mai degrabă decât în ieșirile modelului, permite identificarea mai timpurie a intenției malefice, chiar și atunci când atacurile sunt furtunoase, adaptabile sau criptate. Atacatorii care reușesc să mute prompturile lor dincolo de filtrele de intrare trebuie, totuși, să acționeze. Aceste acțiuni lasă urme. Detectarea comportamentală găsește aceste urme înainte de a se propaga daunele.

Poate cel mai semnificativ, această abordare oferă organizațiilor o cale credibilă de a implementa agenți IA la scară, fără a accepta un risc de securitate proporțional. Întrebarea care îi ține pe mulți în urmă nu este dacă agenții IA pot livra valoare, ci dacă pot fi implementați cu suficientă încredere astfel încât postura de securitate să nu se deterioreze pe măsură ce crește implementarea. Securitatea comportamentală, bazată pe modul în care agenții operează, de fapt, și nu pe ceea ce primesc ca intrări, oferă această încredere într-un mod în care controalele bazate pe prompt nu o pot face structural.

Limita de securitate a fost trasată în locul greșit, și această greșeală a avut sens atunci când IA era un instrument care aștepta intrări. Nu mai așteaptă, sistemele agenților acționează, se lansează, escaladează și se cumulează în medii pe care niciun test pre-lansare nu le-a anticipat. Organizațiile care recunosc acest lucru cel mai devreme vor fi cele care, de fapt, vor scala IA cu încredere. Toate celelalte vor petrece următorii ani descoperind, încălcare după încălcare, că controlul asupra a ceea ce spune un model nu a fost niciodată același lucru cu controlul asupra a ceea ce face.