Atunci când capacitățile de inteligență artificială depășesc modelele de securitate create pentru a le conține

Uneltele de inteligență artificială vin de obicei cu o prezentare familiară. Ele promit să optimizeze fluxurile de lucru, să crească productivitatea și să preia sarcinile pe care nimeni nu le place. Și, de cele mai multe ori, ele livrează exact ceea ce promit. Ele simplifică autentificările, rezumă documente, automatizează fluxurile de lucru și fac ca activitățile rutiniere să pară aproape fără efort.

Dar sub toată această comoditate se află o altă poveste. Aceste unelte nu mai sunt limitate la o casetă de text. Ele încep să acționeze asupra sistemului de operare în sine. Ele pot naviga prin fișiere, redacta e-mailuri, interacționa cu aplicații și efectua acțiuni care anterior necesitau un om atent care înțelegea consecințele. Această schimbare plasează inteligența artificială într-o poziție pe care presupunerile de securitate existente nu au fost niciodată create pentru a o gestiona.

Momentul în care inteligența artificială obține acces la sistem

Odată ce un sistem de inteligență artificială poate citi fișiere reale și executa comenzi reale, el devine parte a bazei de calcul trustate. Acesta este momentul în care așteptările de lungă durată cu privire la siguranța inteligenței artificiale încep să se destrame.

De-a lungul anilor, injecția de prompt a fost considerată un comportament ciudat al modelului. A cauzat ca chatbot-urile să producă răspunsuri înșelătoare sau inadecvate, dar prejudiciul s-a încheiat cu conversația. Acum, aceeași eroare poate declanșa acțiuni la nivel de gazdă, nu doar text. O instrucțiune malignă ascunsă într-un fișier PDF, pe un site web sau într-un e-mail nu mai produce un răspuns ciudat. Producă o acțiune efectuată pe mașină.

Acest lucru nu este ceva pe care industria poate să-l ignore ca teoretic. Cercetătorii de la Carnegie Mellon și Universitatea din Washington au demonstrat în mod repetat că instrucțiunile ascunse pot îndruma modelele de limbaj mare să execute acțiuni pe care utilizatorii nu le-au intenționat niciodată. Între timp, cercetătorii care studiază modelele de viziune au arătat cum imaginile manipulate pot altera percepția modelului în moduri care influențează comportamentul ulterioar.

Aceste experimente au fost tratate odată ca curiozități de laborator. Ele nu mai par academice atunci când inteligența artificială are acces la sistemul de operare.

Când capacitatea agentului depășește controlul apărătorului

Chiar și companiile care construiesc acești agenți recunosc gravitatea provocării. Ei au consolidat filtrele pentru a gestiona prompturile, dar ei afirmă deschis că controlul acțiunilor din lumea reală ale unui sistem de inteligență artificială rămâne o zonă activă și nerezolvată de lucru în întreaga industrie. Această lacună între ceea ce agentul poate face și ceea ce apărătorii pot controla introduce o nouă categorie de risc pe care playbooks-urile de securitate existente nu le pot absorbi.

Agenții de inteligență artificială au traversat o graniță pe care industria nu este pe deplin pregătită să o gestioneze. Singurul mod de a înțelege acest lucru este de a privi cum injecția de prompt se intersectează acum cu aceleași lanțuri de atac pe care apărătorii le-au urmărit de mai bine de un deceniu.

Cum injecția de prompt se raportează acum la lanțurile de atac pe care toată lumea le cunoaște

Atacatorii au urmat întotdeauna un model previzibil. Cadrul MITRE ATT&CK prezintă etapele în mod clar. Accesul inițial este urmat de execuție, persistență, descoperire, mișcare laterală, colectare și exfiltrare. Tehnicile variază, dar structura rămâne stabilă.

Ceea ce se schimbă este mecanismul de livrare. În loc de a convinge un utilizator să deschidă o atasament malign sau să cliqueze pe un link periculos, atacatorii pot plasa instrucțiuni acolo unde agentul de inteligență artificială le va citi. Agentul devine mediul de execuție. El efectuează pașii exact așa cum sunt descriși. Modelul nu pune la îndoială dacă instrucțiunea este dăunătoare. El nu aplică judecată sau intuiție. El pur și simplu acționează.

Odată ce un atacator poate influența raționamentul agentului, lanțul de atac se încheagă rapid. Un fișier manipulat declanșează execuția, instrucțiunile ulterioare creează persistență, căutarea sistemului oferă descoperire, iar încărcarea fișierelor permite colectarea și exfiltrarea. Nu este nevoie de malware. Agentul pur și simplu efectuează pașii așa cum sunt scriși.

Acesta este partea poveștii cu care echipele de securitate se luptă să se adapteze. Ei au petrecut ani construind reguli de detectare, controale și procese de răspuns în jurul execuției bazate pe cod. Agenții de inteligență artificială introduc tipuri diferite de interpreți. Ei execută prin limbaj natural, nu prin binare compilată. Uneltele existente nu sunt create pentru a urmări sau a analiza chiar procesul de raționament.

Echipele de securitate nu sunt pregătite și nici măcar nu-și dau seama

Programele de securitate încă presupun că un om stă între conținut și acțiune. Oamenii pot fi înșelați, dar ei se opresc atunci când ceva pare în neregulă. Ei observă fraze ciudate, pun sub semnul întrebării comportamentul neașteptat și aduc judecată în ultima parte a deciziei.

Agenții de inteligență artificială nu fac nimic din toate acestea; ei sunt consecvenți, literali și mai rapizi decât orice adversar. O singură linie de text ascuns este suficientă pentru a instrui agentul să citească fișiere sensibile, să se deplaseze prin aplicații sau să contacteze un server remote. Acest lucru plasează apărătorii într-o poziție în care nu au mai fost niciodată.

Echipele de securitate au o vizibilitate limitată asupra modului în care un agent ajunge la o decizie, și ei nu pot determina cu ușurință dacă o acțiune a provenit de la utilizator sau de la inteligența artificială. Detectarea tradițională a malware-ului nu oferă niciun ajutor, deoarece nimic malign nu este executat în sensul obișnuit, și nu există nicio garanție că agentul va pune la îndoială sau va respinge instrucțiunile dăunătoare ascunse în conținutul normal.

Uneltele proiectate pentru comportamentul uman pur și simplu nu se transferă într-o lume în care limbajul natural devine scriptul care conduce comportamentul sistemului.

Ce controale compensatorii funcționează cu adevărat

Întărirea modelului nu este suficientă. Echipele de securitate au nevoie de controale în jurul agentului care să limiteze ceea ce inteligența artificială poate face, chiar și atunci când raționamentul său este influențat.

Mai multe strategii arată promițător:

• Accesul cu privilegii minime este esențial. Agenții ar trebui să aibă acces doar la fișierele și acțiunile necesare pentru sarcinile lor. Reducerea permisiunilor inutile limitează impactul instrucțiunilor manipulate.
• Pașii de aprobare umană pot opri acțiunile dăunătoare înainte de a apărea. Când un agent încearcă o operațiune sensibilă, cum ar fi rularea unei comenzi sau accesarea datelor protejate, utilizatorul ar trebui să aprobe sau să respingă solicitarea.
• Filterarea conținutului creează un tampon între materialele nedeclarate și agent. Selectarea documentelor, URL-urilor și textului extern reduce șansele ca instrucțiunile ascunse să ajungă la model.
• Înregistrarea cuprinzătoare este obligatorie. Fiecare acțiune inițiată de agent trebuie să fie înregistrată și revizuită. Aceste acțiuni ar trebui tratate la fel ca orice activitate a utilizatorului cu privilegii.
• Asocierea comportamentului agentului cu tehnici ATT&CK ajută apărătorii să identifice unde agentul poate fi împins în acțiuni dăunătoare și unde trebuie plasate barajele. Folosește același sistem care structurează deja strategia defensivă.

Aceste controale compensatorii nu vor elimina riscul. Dar ele conțin riscul în moduri în care apărarea la nivel de model nu poate.

Unde merge industria de aici înainte

Agenții de inteligență artificială reprezintă o schimbare majoră în modul în care funcționează calculatoarele. Ei oferă o productivitate incredibilă, dar ei introduc și o categorie de risc operațional care nu se potrivește în cadrul existent de securitate. Ghidul de la Centrul Național de Securitate Cibernetică din Regatul Unit este un început, dar majoritatea organizațiilor încă lipsesc o cale clară de a guverna agenții care pot acționa asupra sistemului.

Acest moment pare similar cu zilele de început ale adoptării cloud-ului. Tehnologia s-a mutat mai repede decât controalele. Organizațiile care s-au adaptat rapid au fost cele care au recunoscut schimbarea devreme și au construit procese pentru a o egaliza.

La fel va fi și aici. Agenții de inteligență artificială nu sunt doar ajutoare. Ei sunt operatori cu acces la nivel de sistem. Securizarea lor necesită noi cărți de joc, noi baraje și noi moduri de modelare a expunerii.

Industria nu trebuie să se teamă de aceste unelte. Dar ea trebuie să le înțeleagă. Și ea trebuie să se miște rapid, deoarece atacatorii deja văd oportunitatea. Întrebarea este dacă apărătorii vor construi gardurile proprii în timp ce încă mai au timp.