De la Inteligență Artificială Generativă la Inteligență Artificială Agentică: Schimbarea de la Risc de Conținut la Expunere la Execuție

Inteligența artificială pentru întreprinderi evoluează rapid. Ce a început ca inteligență artificială generativă, care redactează e-mailuri și rezumă documente, este acum ceva mult mai autonom: sisteme care planifică, iau decizii și execută sarcini în diferite instrumente și medii.

Acesta este schimbarea de la inteligență artificială generativă la inteligență artificială agentică. Este o schimbare care face ca riscul să se metamorfozeze.

Inteligența artificială generativă a introdus riscuri de conținut, inclusiv halucinații, scurgeri de date prin prompturi și ieșiri bazate pe prejudecăți. Expunerea la inteligență artificială agentică are loc prin sistemele sale autonome, care au permisiuni, memorie și capacitatea de a accesa toate instrumentele disponibile la viteza mașinilor.

Acesta este un moment oportun pentru specialiștii în securitate, guvernanță sau inteligență artificială să reevalueze poziția lor față de aceste noi riscuri.

Ce este riscul inteligenței artificiale agențice?

Riscul inteligenței artificiale agențice se referă la riscurile de securitate, operaționale și de guvernanță prezentate de sistemele de inteligență artificială care funcționează autonom, nu numai generând text, ci și efectuând fluxuri de lucru multietapă pe sistemele întreprinderii.

În contrast cu modelele tradiționale de limbaj (LLM), sistemele agențice pot descompune sarcinile în fluxuri de lucru dinamice, pot face cereri API externe și pot invoca aplicații interne, și pot stoca și recupera memorii. De asemenea, pot funcționa sub identitate delegată și pot comunica cu alți agenți.

În alte cuvinte, ele sunt mai puțin asemănătoare cu roboții de chat și mai mult asemănătoare cu angajații digitali juniori. Acest lucru reprezintă o creștere masivă a suprafeței de atac a agentului de inteligență artificială.

Inteligență Artificială Generativă vs. Inteligență Artificială Agentică: Ce se schimbă?

Riscul inteligenței artificiale generative se concentrează pe ieșiri. Echipele de securitate pun întrebări precum dacă modelul scurge date, dacă poate hallucina sau dacă conținutul generat este dăunător sau neconform.

Oamenii sunt ferm în buclă. Inteligența artificială propune, oamenii aprobă.

Riscul inteligenței artificiale agențice este orientat spre acțiune. Acum, echipele de securitate trebuie să se întrebe ce sisteme ar putea interacționa agentul, ce permisiuni va moșteni, cât de departe poate ajunge planul său și ce s-ar întâmpla dacă ar fi înșelat în timpul executării.

Distincția poate fi foarte mică, dar este semnificativă: Inteligența artificială generativă creează conținut. Inteligența artificială agentică creează consecințe. Acesta este pasul de la risc de conținut la expunere la execuție.

Cum extinde inteligența artificială agentică suprafețele de atac ale întreprinderilor?

Inteligența artificială agentică nu adaugă doar o nouă aplicație. Creează un nou strat operațional. Iată cum crește suprafața de atac:

1. Agenți de inteligență artificială cu privilegii

Există mulți agenți care acționează în numele utilizatorilor sau conturilor de servicii. Când domeniul de permisiuni nu este strict, devin ținte valoroase.

Acest lucru poate duce la probleme de deputy confuz, escaladare de privilegii și mișcare laterală. Acesta este un problemă atunci când cloud-ul, SaaS-ul și sistemele interne oferă acces dinamic sau moștenit agenților.

2. Fluxuri de execuție dinamice

Fluxurile de control în aplicațiile tradiționale sunt deterministe. Fluxurile de control în sistemele de inteligență artificială agentică nu sunt.

Ele raționează despre obiective, acțiuni, reflectă, rafinează și invocă instrumente într-un mod nedeterminist. Acest lucru duce la cazuri de eșec greu de analizat, grafuri de dependență complexe și eșecuri în cascada în sistemele multi-agente. Controalele de securitate dezvoltate pentru fluxuri de control deterministe nu sunt aplicabile aici.

3. Memorie persistentă

Suprafața de atac generată de memoria agentului este persistentă.

Când memoria pe termen scurt sau lung este compromisă, un stat malign poate influența deciziile de-a lungul mai multor sesiuni. Acest lucru se diferențiază de o singură injecție de prompt, deoarece coruperea memoriei oferă persistență.

4. Riscuri de decizie la viteza mașinilor

Agenții autonomi iau decizii la o viteză care nu poate fi egalată. Acest lucru aduce provocări de decizie la viteza mașinilor, cum ar fi propagarea rapidă a erorilor, cicluri de abuz mult mai rapide decât reacția umană și escaladarea înainte de detectare.

În sistemele multi-agente, domeniul de influență este rapid. Un agent malign poate declanșa o cascadă de eșec în lanțurile de coordonare.

De ce controalele tradiționale eșuează cu inteligența artificială agentică

Majoritatea modelelor de securitate a întreprinderilor tradiționale se bazează pe aplicații statice, grafuri de apel predictibile, aprobări umane și o separare clară între prelucrarea datelor și execuție. Inteligența artificială agentică face aceste ipoteze nevalide.

Luăm, de exemplu, un control tradițional, cum ar fi validarea intrărilor. Acesta protejează limitele unui sistem. Cu toate acestea, riscul agențic apare de obicei în mijlocul unei bucle, în faza de planificare, reflectare sau instrumentare.

Scanarea tradițională a vulnerabilităților se concentrează, de asemenea, pe infrastructură și software. Cu toate acestea, riscul de execuție al inteligenței artificiale rezidă în stratul de raționament și acțiune al agentului.

Întrebarea este: Cum protejezi ceva care poate alege următoarea sa acțiune? Nu poți doar înconjura controalele în jurul unei singure apeluri de model. Trebuie să securizezi fluxul de lucru.

Securizarea inteligenței artificiale agențice: Ce funcționează cu adevărat?

Atunci când vine vorba de securizarea inteligenței artificiale agențice, trebuie să existe o schimbare de la gândirea perimetrală la gândirea de ciclu de viață. Agenților nu ar trebui să li se permită să reinterpreteze obiectivele în mod infinit, și există mai multe moduri de a realiza acest lucru.

Stabilirea secvențelor permise de obiective, reglementarea adâncimii arborilor de expansiune a planurilor, monitorizarea deviației de raționament și interzicerea obiectivelor auto-create dincolo de sfera de aplicare sunt toate controale esențiale. Variațiile neașteptate în raționament sunt adesea precursorii manipulării.

Întăriți execuția instrumentelor. Instrumentele sunt unde planul întâlnește realitatea, și securitatea trebuie să acopere verificarea permisiunilor înainte de execuția instrumentului, medii de execuție sandboxate, validarea strictă a parametrilor și transferul de credențiale just-in-time. Fiecare execuție a instrumentului trebuie să fie înregistrată ca un eveniment de securitate de primă clasă.

Izolați memoria și domeniul de permisiuni. Memoria trebuie tratată ca infrastructură sensibilă. Acest lucru înseamnă validarea operațiunilor de scriere, partiționarea domeniului de memorie, limitarea domeniului de citire per sarcină, utilizarea credențialelor cu durată de viață scurtă și prevenirea privilegiilor moștenite. Acumularea nevalidată a permisiunilor este un risc major al inteligenței artificiale agențice.

Securizați coordonarea multi-agentică. În sistemele de agenți distribuiți, comunicarea devine un vector de atac. Acest lucru ar trebui să implice autentificarea agenților, validarea schemelor de mesaje, canale de comunicare restricționate și monitorizarea pentru modele de influență anormale. Când coordonarea se abate de la fluxurile așteptate, izolarea ar trebui să aibă loc în mod automat.

De la managementul expunerii la evaluarea expunerii pentru sistemele de inteligență artificială

Acesta este momentul în care o filozofie de securitate mai largă devine cheie. Managementul tradițional al vulnerabilităților identifică slăbiciuni cunoscute. Cu toate acestea, sistemele autonome de inteligență artificială introduc expunerea emergentă: riscuri care apar din configurație, proiectarea permisiunilor, căile de integrare și comportamentul dinamic.

Acest lucru se aliniază cu ceea ce industria a numit managementul expunerii și, mai recent, evaluarea expunerii.

Managementul expunerii se referă la faptul de a avea o vizibilitate continuă asupra modului în care sistemele (inclusiv activele cloud, identitățile, aplicațiile și, acum, agenții de inteligență artificială) creează căi pe care actorii răi le pot exploata.

Pentru securitatea sistemelor autonome de inteligență artificială, aceasta înseamnă a pune întrebări precum: Ce poate atinge acest agent? Ce permisiuni agregă? Ce sisteme orchestrează? Și unde se intersectează execuția cu datele sensibile?

Echipele care utilizează deja strategii bazate pe expunere pentru a reduce riscul cibernetic se află într-o poziție solidă pentru a extinde aceste principii în mediile lor de inteligență artificială. De exemplu, platformele care unifică vizibilitatea identității, cloud-ului și vulnerabilităților oferă o modalitate de a înțelege modul în care agenții de inteligență artificială cu privilegii se intersectează cu căile de atac existente.

Cheia nu este reprezentată de instrumentele furnizorilor per se. Este mentalitatea:

Nu securizezi inteligența artificială agentică prin protejarea modelului. O securizezi prin măsurarea și reducerea continuă a expunerii sale.

Managementul riscurilor de execuție în inteligența artificială agentică

Caracteristica securității inteligenței artificiale agențice este următoarea: Suprafața de atac nu este răspunsul, ci fluxul de lucru.

Riscurile de execuție sunt multe, incluzând utilizarea neautentificată a instrumentelor, spoofing-ul identității, escaladarea permisiunilor, otrăvirea memoriei, manipularea inter-agentică și sistemele cu omul în buclă sub presiune.

Mitigarea acestor riscuri înseamnă a avea vizibilitate asupra relațiilor de identitate, a moștenirii permisiunilor, a dependențelor API, a activității de runtime și a telemetriei de execuție.

Acesta nu mai este doar despre securitatea inteligenței artificiale generative; este și despre securitatea operațională a inteligenței artificiale.

Riscul inteligenței artificiale agențice este arhitectural, nu ipotetic

Inteligența artificială agentică este următorul pas în evoluția adoptării inteligenței artificiale în întreprinderi. Ea oferă promisiunea de eficiență, automatizare și scalabilitate. Cu toate acestea, ea introduce și riscuri de la ceea ce spune inteligența artificială la ceea ce face inteligența artificială.

Tranzitia de la sistemele generative la cele agențice afectează următoarele:

• Risc de conținut la risc de execuție
• Prompturi statice la fluxuri de execuție dinamice
• Revizuire umană la execuție autonomă
• Securitatea aplicației la managementul expunerii

Liderii de securitate care înțeleg această tranziție pot proiecta balustrade care să se scaleze odată cu autonomia. Alții se vor confrunta cu insideri digitali fără controale de insider.

Viitorul inteligenței artificiale în întreprinderi este agențic. Viitorul securității inteligenței artificiale trebuie să fie condus de expunere, conștient de fluxul de lucru și proiectat pentru operațiuni la viteza mașinilor.

Deoarece odată ce agenții de inteligență artificială au capacitatea de a executa, singura abordare viabilă este de a înțelege și a mitiga în mod constant ceea ce sunt expuși.