Imperativul fără secrete: De ce modelele tradiționale de securitate se strică atunci când agenții IA ating codul

În aprilie 2023, Samsung a descoperit că inginerii săi au scurs informații sensibile către ChatGPT... Dar asta a fost accidental. Acum imaginați-vă că acele depozite de cod ar fi conținut instrucțiuni plantate în mod deliberat, invizibile pentru oameni, dar procesate de inteligența artificială, concepute pentru a extrage nu doar cod, ci fiecare cheie API, credențiale de bază de date și token de serviciu la care inteligența artificială ar putea avea acces. Acest lucru nu este ipotetic. Cercetătorii în domeniul securității au demonstrat deja Aceste atacuri bazate pe „instrucțiuni invizibile” funcționează. Întrebarea nu este dacă se va întâmpla acest lucru, ci când.

Granița care nu mai există

Timp de decenii, am construit securitatea pe o presupunere fundamentală: codul este cod, iar datele sunt date. Injecția SQL ne-a învățat să parametrizăm interogările. Scriptarea cross-site ne-a învățat să evităm ieșirile. Am învățat să construim ziduri între ceea ce fac programele și ceea ce introduc utilizatorii.

Cu agenții IA, acea graniță s-a evaporat.

Spre deosebire de software-ul determinist care urmează căi previzibile, Modelele Limbajului Mare sunt cutii negre probabilistice care nu pot distinge între instrucțiunile legitime ale dezvoltatorului și intrările malițioase. Atunci când un atacator trimite o solicitare unui asistent de codare bazat pe inteligență artificială, acesta nu furnizează doar date. Practic, el reprogramează aplicația din mers. Intrarea a devenit programul în sine.

Aceasta reprezintă o ruptură fundamentală față de tot ceea ce știm despre securitatea aplicațiilor. Firewall-urile tradiționale bazate pe sintaxă, care caută modele malițioase precum DROP TABLE sau tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

Realitatea zero-click-urilor despre care nimeni nu discută

Iată ce nu înțeleg majoritatea echipelor de securitate: injecția promptă nu necesită ca utilizatorul să tasteze nimic. Acestea sunt adesea exploit-uri fără clic. Un agent AI care scanează pur și simplu un depozit de cod pentru o sarcină de rutină, revizuiește o cerere de extragere sau citește documentația API poate declanșa un atac fără nicio interacțiune umană.

Luați în considerare acest scenariu, pe baza tehnici pe care cercetătorii le-au dovedit dejaUn actor rău intenționat încorporează instrucțiuni invizibile în comentariile HTML din documentația unei biblioteci open-source populare. Fiecare asistent AI care analizează acest cod, fie că este vorba de GitHub Copilot, Amazon CodeWhisperer sau orice asistent de codare enterprise, devine un potențial recoltator de credențiale. O bibliotecă compromisă ar putea însemna mii de medii de dezvoltare expuse.

Pericolul nu constă în LLM în sine; ci în capacitatea pe care i-o oferim. În momentul în care am integrat aceste modele cu instrumente și API-uri, permițându-le să preia date, să execute cod și să acceseze secrete, am transformat asistenți utili în vectori de atac perfecți. Riscul nu se scalează odată cu inteligența modelului; se scalează odată cu conectivitatea sa.

De ce abordarea actuală este sortită eșecului

Industria este în prezent obsedată de „alinierea” modelelor și de construirea unor firewall-uri prompte mai bune. OpenAI adaugă mai multe bariere de protecție. Anthropic se concentrează pe inteligența artificială constituțională. Toată lumea încearcă să creeze modele care nu pot fi păcălite.

Aceasta este o bătălie pierdută.

Dacă o inteligență artificială este suficient de inteligentă pentru a fi utilă, este suficient de inteligentă pentru a fi înșelată. Cădem în ceea ce eu numesc „capcana igienizării”: presupunem că o filtrare mai bună a datelor de intrare ne va salva. Însă atacurile pot fi ascunse ca text invizibil în comentariile HTML, îngropate adânc în documentație sau codificate în moduri pe care nu le-am imaginat încă. Nu poți igieniza ceea ce nu poți înțelege contextual, iar contextul este exact ceea ce face ca instrumentele de învățare în limbaj (LLM) să fie puternice.

Industria trebuie să accepte un adevăr dur: injecția promptă va reuși. ​​Întrebarea este ce se întâmplă atunci când se întâmplă.

Schimbarea arhitecturală de care avem nevoie

În prezent, ne aflăm într-o „fază de aplicare a patch-urilor”, adăugând cu disperare filtre de intrare și reguli de validare. Dar, așa cum am aflat în cele din urmă că prevenirea injecției SQL necesită interogări parametrizate, nu o evadare mai eficientă a șirurilor de caractere, avem nevoie de o soluție arhitecturală pentru securitatea inteligenței artificiale.

Răspunsul constă într-un principiu care pare simplu, dar necesită o regândire a modului în care construim sisteme: agenții IA nu ar trebui să dețină niciodată secretele pe care le folosesc.

Nu este vorba despre o mai bună gestionare a acreditărilor sau despre soluții îmbunătățite pentru seifuri. Este vorba despre recunoașterea agenților IA ca identități unice și verificabile, mai degrabă decât a utilizatorilor care au nevoie de parole. Atunci când un agent IA trebuie să acceseze o resursă protejată, acesta ar trebui:

1. Autentificați-vă folosind identitatea sa verificabilă (nu un secret stocat)

2. Primește acreditări just-in-time, valabile doar pentru sarcina respectivă

3. Să expire automat acele acreditări în câteva secunde sau minute

4. Nu păstrați și nici măcar nu „vedeți” secrete de lungă durată

Apar mai multe abordări. Roluri AWS IAM pentru conturi de serviciu, Identitatea sarcinii de lucru Google, Secretele dinamice ale HashiCorp Vault...și soluțiile special concepute, precum Zero Trust Provisioning de la Akeyless, indică toate către acest viitor fără secrete. Detaliile implementării variază, dar principiul rămâne: dacă inteligența artificială nu are secrete de furat, injectarea promptă devine o amenințare semnificativ mai mică.

Mediul de dezvoltare al anului 2027

În decurs de trei ani, fișierul .env va fi mort în dezvoltarea augmentată cu inteligență artificială. Cheile API cu durată lungă de viață, aflate în variabile de mediu, vor fi văzute acum pe măsură ce parolele sunt afișate în text simplu: o relicvă jenantă a unei perioade mai naive.

În schimb, fiecare agent IA va opera sub o separare strictă a privilegiilor. Acces doar pentru citire în mod implicit. Listă albă de acțiuni ca standard. Medii de execuție în sandbox ca cerință de conformitate. Vom înceta să mai încercăm să controlăm ceea ce gândește IA și ne vom concentra în întregime pe controlul a ceea ce poate face.

Aceasta nu este doar o evoluție tehnică; este o schimbare fundamentală în modelele de încredere. Trecem de la „ai încredere, dar verifică” la „nu ai niciodată încredere, verifică întotdeauna și presupune compromisul”. Principiul privilegiului minim, predicat de mult timp, dar rareori practicat, devine nenegociabil atunci când dezvoltatorul junior este o inteligență artificială care procesează zilnic mii de intrări potențial malițioase.

Alegerea cu care ne confruntăm

Integrarea inteligenței artificiale în dezvoltarea de software este inevitabilă și în mare măsură benefică. GitHub raportează că dezvoltatorii care utilizează Copilot finalizează sarcinile cu 55% mai rapidCâștigurile de productivitate sunt reale și nicio organizație care dorește să rămână competitivă nu le poate ignora.

Dar ne aflăm la o răscruce. Putem continua pe calea actuală adăugând mai multe parapete, construind filtre mai bune, sperând că putem crea agenți de inteligență artificială care nu pot fi păcăliți. Sau putem recunoaște natura fundamentală a amenințării și reconstrui arhitectura noastră de securitate în consecință.

Incidentul Samsung a fost un semnal de alarmă. Următoarea breșă de securitate nu va fi accidentală și nu va fi limitată la o singură companie. Pe măsură ce agenții de inteligență artificială dobândesc mai multe capabilități și accesează mai multe sisteme, impactul potențial crește exponențial.

Întrebarea pentru fiecare CISO, fiecare lider în inginerie și fiecare dezvoltator este simplă: atunci când injecția promptă reușește în mediul dumneavoastră (și va reuși), ce va găsi atacatorul? Va descoperi o comoară de acreditări de lungă durată sau va găsi un agent IA care, în ciuda faptului că este compromis, nu are secrete de furat?

Alegerea pe care o facem acum va determina dacă IA va deveni cel mai mare accelerator al dezvoltării de software sau cea mai mare vulnerabilitate pe care am creat-o vreodată. Tehnologia pentru a construi sisteme de IA sigure, fără secrete, există astăzi. Întrebarea este dacă o vom implementa înainte ca atacatorii să ne oblige.

OWASP a identificat deja injecția promptă ca fiind riscul numărul 1 în Top 10 pentru aplicațiile LLM. NIST elaborează îndrumări pe arhitecturi zero trust. Framework-urile există. Singura întrebare este viteza de implementare versus evoluția atacurilor.

Biografie: Refael Angel este cofondatorul și directorul tehnic al Fără cheie, unde a dezvoltat tehnologia de criptare Zero-Trust patentată de companie. Inginer software experimentat, cu o vastă expertiză în criptografie și securitate în cloud, Refael a lucrat anterior ca inginer software senior la centrul de cercetare și dezvoltare al Intuit din Israel, unde a construit sisteme pentru gestionarea cheilor de criptare în medii de cloud public și a proiectat servicii de autentificare a mașinilor. Deține o licență în informatică de la Colegiul de Tehnologie din Ierusalim, pe care a obținut-o la vârsta de 19 ani.