Amenințarea Ascunsă a Agentilor de Inteligență Artificială Cer o Nouă Abordare de Securitate

Sistemele de inteligență artificială agențială au devenit mainstream în ultimul an. Acestea sunt utilizate în prezent pentru mai multe funcții, inclusiv autentificarea utilizatorilor, transferul de capital, declanșarea fluxurilor de conformitate și coordonarea în mediile enterprise cu supraveghere umană minimă.

Cu toate acestea, o problemă mai puțin vizibilă apare odată cu creșterea autonomiei, nu la nivelul de promturi sau politici, ci la nivelul de infrastructură de încredere. Sistemele agențiale primesc autoritate de insider în timp ce rulează pe medii de calcul care nu au fost proiectate pentru a proteja decidenții autonomi de infrastructura de sub ele.

Securitatea tradițională presupune că software-ul este pasiv, dar sistemele agențiale nu sunt. Acestea raționează, memorează și acționează continuu, autonom și cu autoritate delegată.

Nu trebuie să uităm că agenții de inteligență artificială au probabil acces la date personale, în funcție de cazul de utilizare, cum ar fi e-mailuri și înregistrări de apel, printre altele.

În plus, în timp ce protecțiile bazate pe hardware, cum ar fi mașinile virtuale confidențiale și enclavele securizate, există, acestea nu sunt încă fundația implicită pentru majoritatea implementărilor de inteligență artificială agențială. Ca urmare, mulți agenți încă rulează în medii în care datele sensibile sunt expuse infrastructurii subiacente în timpul rulării.

Agenții Sunt Insiders, Nu Unelte

Echipele de securitate știu deja cât de dificil este să conțină amenințările din interior, o problemă evidențiată în raportul de încălcare a datelor Verizon din 2025, care arată că intruziunea sistemului a fost responsabilă pentru mai mult de 53% din încălcările confirmate ale anului trecut. În 22% din aceste cazuri, atacatorii au folosit credențiale furate pentru a obține acces, ceea ce subliniază cât de des aceștia reușesc să folosească identități legitime în loc de a exploata vulnerabilități tehnice.

Acum, considerați un agent, care este alcătuit din logică de promt, unelte și plugin-uri, credențiale, precum și politici. Nu numai că acesta poate rula cod și naviga pe web, dar poate și interoga CRM-uri, citi e-mailuri și trimite bilete, printre multe altele. Ceea ce a adus combinarea funcțiilor a fost introducerea suprafețelor de atac tradiționale într-un interface modern.

Pericolul reprezentat de astfel de amenințări din interior nu este speculativ. Proiectul Open Web Application Security (OWASP) listează acum “Injectarea de promt” ca o vulnerabilitate critică pentru aplicațiile LLM, notând pericolul său deosebit pentru sistemele agențiale care lansează acțiuni. Echipa de informații despre amenințări a Microsoft a publicat, de asemenea, consultări care avertizează că sistemele de inteligență artificială cu acces la unelte pot fi subvertite pentru a efectua furt de date dacă măsurile de siguranță nu sunt impuse arhitectural.

Aceste rapoarte oferă un reminder oportun că agenții care au acces legitim la sisteme și date pot fi întorși împotriva proprietarilor lor. Cu toate acestea, peisajul de risc pentru sistemele agențiale nu este unitar. Amenințările la nivel de aplicație, cum ar fi injectarea de promt și abuzul de unelte, provin din incapacitatea modelului de a distinge între instrucțiuni de încredere și intrări de utilizator neîncredere, o limitare de proiectare pe care nicio întărire a memoriei nu o poate remedia.

O problemă diferită și la fel de importantă există la nivelul infrastructurii: unii agenți rulează în memorie în clar, ceea ce înseamnă că informațiile sensibile – cum ar fi istoricul de chat, răspunsurile API și documentele – pot fi văzute în timp ce sunt procesate și pot rămâne accesibile ulterior. OWASP identifică acest risc ca fiind Dezvăluirea de Informații Sensibile (LLM02) și Scurgerea de Promturi de Sistem (LLM07) și sugerează utilizarea izolării contextuale, segmentării namespace-ului și sandbox-ului de memorie ca măsuri de siguranță importante.

Astfel, utilizatorii nu ar trebui să trateze acești agenți ca simple aplicații, având în vedere că aceștia sunt executori dinamici, raționali, care necesită un model de securitate care să țină cont de natura lor unică ca entități non-umane cu agenție. Această abordare trebuie să includă atât controale software pentru a limita modul în care acționează modelul, cât și protecții hardware pentru a păstra datele în siguranță în timp ce sunt utilizate.

Arhitectura de Încredere Are o Erată Critică

Practiciile actuale de securitate se concentrează pe protejarea datelor în repaus și în tranzit. Frontiera finală, datele în utilizare, rămân aproape complet expuse. Când un agent de inteligență artificială raționează peste un set de date confidențiale pentru a aproba un împrumut, a analiza înregistrări de pacienți sau a executa o tranzacție, aceste date sunt de obicei decriptate și procesate în text clar în memoria serverului.

În modelele cloud standard, oricine are control suficient asupra infrastructurii, inclusiv administratori de hypervisor sau atacatori co-locatari, poate potențial privi ce se întâmplă în timp ce o sarcină de lucru rulează. Pentru agenții de inteligență artificială, această expunere este deosebit de periculoasă, deoarece aceștia au nevoie de acces la informații sensibile pentru a-și face treaba, ceea ce poate deveni, în mod potențial, suprafața de atac.

Lumia Security a demonstrat că atacatorii cu acces la o mașină locală pot obține JWT-uri și chei de sesiune direct din memoria procesului aplicațiilor desktop ChatGPT, Claude și Copilot. Aceste credențiale furate pot permite atacatorilor să se pretindă a fi alt utilizator, să fure istoricul de conversație și să injecteze promturi în sesiuni în curs de desfășurare care pot schimba comportamentul agentului sau pot planta amintiri false.

Un exemplu în acest sens ar fi incidentul de dump de memorie al AWS CodeBuild din iulie 2025. Atacatorii au adăugat în secret cod malign la un proiect, și când sistemul a rulat, codul a privit în memoria calculatorului și a furat tokenurile de conectare ascunse acolo. Cu aceste tokenuri, atacatorii au putut modifica codul proiectului și, posibil, accesa alte sisteme.

Pentru instituțiile financiare, manipularea silentă este existențială. Băncile, asigurătorii și firmele de investiții absorb deja costuri medii de încălcare a datelor de peste 10 milioane de dolari, și acestea înțeleg că integritatea contează la fel de mult ca și confidențialitatea. Conform unui raport recent Informatica, “paradoxul de încredere” a fost explicat astfel: organizațiile implementează agenți autonomi mai repede decât pot verifica ieșirile lor. Rezultatul este automatizarea care poate încorpora erori sau prejudecăți direct în procesele de bază, funcționând la viteza mașinilor.

Calculul Confidențial și Cazul pentru Izolare

Reparările incrementale nu vor rezolva problema de față, deși controalele de acces mai stricte și monitorizarea îmbunătățită pot ajuta. Cu toate acestea, niciuna dintre acestea nu poate schimba problema de bază. Problema este arhitecturală, și atâta timp cât computația are loc în memorie expusă, agenții vor fi vulnerabili în momentul în care contează cel mai mult, care este raționamentul.

Calculul confidențial, definit de Consorțiul pentru Calcul Confidențial (CCC) ca protecția datelor în utilizare prin medii de execuție securizate bazate pe hardware (TEEs), abordează direct defectul de bază.

Pentru agenții de inteligență artificială, această izolare la nivel de hardware este transformativă, deoarece permite ca identitatea credențialelor agentului, greutățile modelului, promturile proprietare și datele sensibile ale utilizatorului pe care le procesează să rămână criptate nu numai pe disc, ci și activ în memorie în timpul execuției. Separarea rupe în mod definitiv modelul tradițional în care controlul asupra infrastructurii garantează controlul asupra sarcinii de lucru.

Atestarea la distanță oferă dovezi criptografice verificabile că o anumită cerere de inferență a fost executată într-un mediu de execuție securizat bazat pe hardware, fie că este vorba de un CPU sau GPU. Dovezile sunt generate din măsurători hardware și livrate împreună cu răspunsul, permițând verificarea independentă a locului și modului în care a rulat sarcina de lucru.

Înregistrările de atestare nu dezvăluie codul care a fost executat. În schimb, fiecare sarcină de lucru este asociată cu un ID de sarcină de lucru sau un ID de tranzacție unic, și înregistrarea de atestare a TEE este legată de acel identificator. Atestarea confirmă că computația a rulat într-un mediu de încredere fără a dezvălui conținutul său.

Configurația creează o nouă bază pentru conformitate și auditabilitate, permițând legarea acțiunilor unui agent de o versiune specifică de cod care a fost atestată și un set cunoscut de date de intrare.

Spre Autonomie Responsabilă

Implicațiile pentru sistemul descris mai sus se extind dincolo de securitatea de bază. Considerați legile care guvernează finanțele, sănătatea și informațiile personale. Multe jurisdicții aplică reguli de suveranitate a datelor care restricționează unde pot fi procesate informațiile. În China, Legea privind protecția informațiilor personale și Legea securității datelor cer ca anumite categorii de date, cum ar fi datele personale importante, să fie stocate la nivel național și examinate înainte de a fi transferate în străinătate.

La fel, mai multe țări din Golf, cum ar fi Emiratele Arabe Unite și Arabia Saudită, au adoptat abordări similare, în special pentru date financiare, guvernamentale și infrastructură critică.

Calculul confidențial poate consolida securitatea și auditabilitatea prin protejarea datelor în timp ce sunt procesate și prin permiterea atestării mediului de rulare. Cu toate acestea, nu schimbă locul în care are loc procesarea. În cazul în care regulile de suveranitate a datelor cer procesare locală sau impun condiții pentru transferurile transfrontaliere, medii de execuție securizate pot sprijini controalele de conformitate, nu înlocuiesc cerințele legale.

Mai mult, calculul confidențial permite colaborarea securizată în sisteme multi-agente, în care agenții din organizații diferite sau din departamente diferite trebuie adesea să împărtășească informații sau să valideze ieșiri fără a expune date proprietare.

Și atunci când tehnologia este combinată cu arhitectura de încredere zero, rezultatul este o fundație mult mai puternică. Încrederea zero validează în mod continuu identitatea și accesul, în timp ce calculul confidențial protejează memoria hardware-ului de extragerea neautorizată și previne recuperarea informațiilor sensibile în text clar.

Împreună, acestea apără ceea ce contează cu adevărat, de exemplu, logica decizională, intrările sensibile și cheile criptografice care autorizează acțiunea.

Noua Linie de Bază pentru Sisteme Autonome

Dacă fiecare interacțiune pune oamenii în pericol de expunere, aceștia nu vor lăsa inteligența artificială să gestioneze lucruri precum înregistrările medicale sau să ia decizii financiare. La fel, companiile nu vor automatiza sarcinile lor cele mai importante dacă acest lucru ar putea duce la probleme de reglementare sau la pierderea unor date importante.

Constructorii serioși recunosc că reparările la nivel de aplicație singure sunt insuficiente în medii de încredere ridicată.

Când agenții sunt încredințați cu autoritate financiară, date reglementate sau coordonare interorganizațională, expunerea la nivel de infrastructură devine mai mult decât o preocupare teoretică. Și fără execuție confidențială în astfel de contexte, mulți agenți rămân o țintă moale, cu cheile lor furabile și logica maleabilă. Mărimea încălcărilor moderne de date arată exact unde duce această cale.

Confidențialitatea și integritatea nu sunt funcții opționale care pot fi adăugate după implementare. Acestea trebuie să fie proiectate de la nivelul de siliciu. Prin urmare, pentru ca inteligența artificială agențială să se extindă în siguranță, confidențialitatea impusă de hardware nu poate fi considerată doar un avantaj competitiv, ci o linie de bază.