Cercetările Eclypsium arată cum hardware-ul compromis poate modifica modelele de inteligență artificială în timpul execuției

Eclypsium a demonstrat cum o infrastructură de calcul compromisă poate schimba comportamentul unui model de inteligență artificială în timpul inferenței, deși fișierele originale rămân intacte. Cercetarea, publicată pe 29 octombrie în Inteligența artificială de încredere necesită o infrastructură de încredere, arată de ce verificarea semnăturii sau a hashului unui model nu confirmă integritatea modelului care rulează în memorie.

Într-o demonstrație controlată, susținută de NVIDIA, cercetătorii au folosit o unitate de procesare a datelor (DPU) compromisă, împreună cu o izolare permisivă a memoriei, pentru a modifica ponderile modelului în timpul execuției. Răspunsurile modelului s-au schimbat fără ca modelul stocat sau serviciul de inferență să fie modificat. Descoperirea include hardware-ul, firmware-ul și configurația dispozitivului în perimetrul de securitate al inteligenței artificiale.

O altă cale de a modifica un model de inteligență artificială

Discuțiile despre securitatea inteligenței artificiale se concentrează adesea asupra solicitărilor rău intenționate, a datelor de antrenare otrăvite și a utilizării nesigure a instrumentelor. Această cercetare examinează un nivel inferior: infrastructura care găzduiește și transferă parametrii unui model în timp ce acesta rulează.

Ponderile sunt parametrii numerici care determină răspunsurile unui model. Un fișier valid de pe disc poate fi încărcat în memorie și apoi modificat de o componentă cu privilegii suficiente. O verificare ulterioară a fișierului original găsește în continuare octeții așteptați, chiar dacă răspunsul a fost generat folosind o stare modificată în timpul execuției.

Demonstrația Eclypsium a modificat în mod vizibil rezultatul unei analize privind o întrebare geopolitică. Preocuparea mai largă este că manipularea în timpul execuției ar putea afecta și alte utilizări sensibile, inclusiv generarea de cod și luarea automată a deciziilor. Aceste posibilități trebuie diferențiate de comportamentul specific demonstrat în laborator.

Afirmația că modificarea a rămas nedetectată are, de asemenea, un domeniu bine definit: verificările integrității modelului stocat, folosite în demonstrație, nu au dezvăluit modificările din memorie. Acest lucru nu dovedește că acestea ar fi invizibile pentru orice formă de monitorizare sau examinare criminalistică.

Condițiile atacului contează

Testul a folosit un mediu NVIDIA Grace Hopper. Calea de acces direct la memorie depindea de o componentă compromisă cu privilegii și de setări de configurare care permiteau accesul la memoria sensibilă. Cercetătorii identifică passthrough-ul IOMMU și izolarea PCIe permisivă drept condiții importante și precizează explicit că acestea nu erau setările implicite în Linux.

Un IOMMU ajută la controlarea zonelor de memorie la care poate ajunge un periferic. În configurația de izolare mai strictă testată de cercetători, aceeași cale directă nu era disponibilă. Prin urmare, rezultatul subliniază importanța verificării setărilor efective ale implementării, în loc să se presupună că o funcție de securitate instalată delimitează în mod activ accesul.

O DPU este un procesor de infrastructură programabil, folosit pentru servicii de rețea, stocare și securitate. Capacitatea sa de a transfera date eficient este valoroasă, însă privilegiile care îndeplinesc funcții legitime de infrastructură pot deveni periculoase dacă un atacator preia controlul asupra componentei.

Răspunsul NVIDIA: verificați limitele de încredere

În relatarea colaborării, NVIDIA descrie pornirea autentificată, rădăcina hardware a încrederii, izolarea, protecțiile pentru actualizarea firmware-ului și atestarea oferite de BlueField. Compania subliniază, de asemenea, că operatorii cloud aleg configurații de securitate diferite, în funcție de modelele de încredere pe care le aplică.

Mesajul companiilor este că operatorii au nevoie de dovezi privind aceste alegeri. Controalele accesului la memorie, izolarea dispozitivelor și interfețele de administrare trebuie evaluate în contextul modelului de amenințări al unei implementări. Simpla disponibilitate a unei funcții nu arată că aceasta este configurată corect.

NVIDIA și Eclypsium descriu, de asemenea, problema ca depășind sfera unui singur furnizor. Sistemele de inteligență artificială depind de software-ul privilegiat de pe gazdă, firmware-ul acceleratoarelor, controlerele de administrare și mecanismele de transfer al datelor. Căile exacte diferă în funcție de arhitectură, însă aceste componente trebuie luate în considerare în toate cazurile.

De ce securitatea agenților depinde și de securitatea infrastructurii

Miza crește atunci când un model poate apela instrumente, accesa date ale întreprinderii sau iniția acțiuni. O intervenție asupra infrastructurii poate submina ipotezele pe care se bazează măsurile de protecție la nivelul aplicației în privința modelului care rulează efectiv.

Platforma deschisă pentru siguranța agenților de la NVIDIA ilustrează abordarea pe mai multe niveluri. OpenShell asigură guvernanța în timpul execuției, în timp ce NVIDIA Sentry pe BlueField funcționează dintr-un domeniu de securitate izolat hardware, aflat în afara gazdei și a agentului. Arhitectura urmărește să monitorizeze comportamentul și să aplice politicile dintr-un punct de control separat.

Această poziționare independentă implică o altă responsabilitate de securitate: hardware-ul de aplicare a măsurilor și stiva sa software trebuie să rămână de încredere. Mutarea unui control în afara aplicației reduce o dependență, dar sporește importanța verificării componentei căreia îi este încredințat acel control.

De la inventarierea hardware-ului la asigurarea continuă

Eclypsium numește „decalajul de asigurare a infrastructurii AI” discrepanța dintre asigurarea axată pe modele și integritatea infrastructurii. Platforma de asigurare a infrastructurii inventariază componentele, evaluează firmware-ul și configurația, compară starea dispozitivelor cu valorile de referință aprobate și monitorizează modificările. Compania prezintă aceste capabilități ca fiind complementare măsurilor de protecție existente pentru aplicații și modele.

Pentru operatori, activitatea practică începe prin tratarea DPU-urilor, GPU-urilor, controlerelor de management și firmware-ului acestora ca active gestionate individual. Fiecare trebuie să aibă un responsabil, să fie urmărită versiunea sa, să fie evaluată în privința vulnerabilităților și să existe un proces de actualizare bine definit. Accesul la planul de management și software-ul terților de pe procesoarele de infrastructură trebuie incluse în această evaluare.

Verificările ar trebui să urmărească, de asemenea, hardware-ul pe parcursul implementării, actualizărilor, recuperării în urma incidentelor și realocării. O imagine curată a sistemului de operare nu dovedește, de una singură, că fiecare componentă de nivel inferior se află într-o stare aprobată. Infrastructura partajată face ca acest ciclu de viață să fie deosebit de important, deoarece hardware-ul poate deservi clienți succesivi.

Verificarea sistemului în funcțiune, nu doar a artefactului

Semnăturile modelelor rămân utile: ele răspund unei întrebări importante despre artefactul încărcat. Pornirea securizată, atestarea, izolarea în timpul execuției și monitorizarea continuă răspund unor întrebări diferite despre sistemul care execută modelul. Niciuna dintre acestea nu trebuie considerată un substitut pentru toate celelalte.

Importanța cercetării Eclypsium constă în faptul că un model poate trece o verificare a integrității, în timp ce o altă componentă a lanțului său de execuție a fost modificată. Pentru organizațiile care implementează AI în fluxuri de lucru cu miză ridicată, verificarea infrastructurii trebuie să însoțească evaluarea modelului pe toată durata funcționării.