De la Inteligența Artificială Generativă la Inteligența Artificială Agentică: Schimbarea de la Risc de Conținut la Expunere la Execuție

Inteligența artificială pentru întreprinderi evoluează rapid. Ce a început ca inteligență artificială generativă, copilotând redactarea de e-mailuri și rezumând documente, este acum ceva mult mai autonom: sisteme care planifică, decid și execută sarcini în diferite instrumente și medii.

Acesta este schimbarea de la inteligența artificială generativă la cea agentică. Este vorba despre metamorfoza riscurilor.

Inteligența artificială generativă a introdus riscuri de conținut, inclusiv halucinații, scurgeri de date prin prompturi și ieșiri bazate pe prejudecăți. Expunerea la inteligența artificială agentică se produce prin sistemele sale autonome, care au permisiuni, memorie și capacitatea de a accesa toate instrumentele disponibile la viteza mașinilor.

Acesta este un moment oportunitat pentru specialiștii în securitate, guvernanță sau inteligență artificială de a-și reevalua poziția cu privire la aceste noi riscuri.

Ce este riscul inteligenței artificiale agențice?

Riscul inteligenței artificiale agențice se referă la riscurile de securitate, operaționale și de guvernanță pe care le prezintă sistemele de inteligență artificială care funcționează autonom, nu numai generând text, ci și efectuând fluxuri de lucru multietapă pe sistemele întreprinderii.

Spre deosebire de modelele tradiționale de limbaj (LLM), sistemele agențice pot descompune sarcinile în fluxuri de lucru dinamice, pot face cereri API externe și pot invoca aplicații interne, și pot stoca și recupera memorii. Ele pot funcționa sub identitate delegată și pot comunica cu alți agenți.

Cu alte cuvinte, ele sunt mai puțin asemănătoare cu chatbot-urile și mai mult ca angajații digitali juniori. Acest lucru reprezintă o creștere masivă a suprafeței de atac a agentului de inteligență artificială.

Inteligența artificială generativă vs inteligența artificială agențică: Ce se schimbă?

Riscul inteligenței artificiale generative se concentrează pe ieșiri. Echipele de securitate pun întrebări precum dacă modelul este în curs de a scurge date, dacă ar putea să halucineze sau dacă conținutul dăunător sau neconform este generat.

Oamenii sunt ferm în buclă. Inteligența artificială propune, oamenii aprobă.

Riscul inteligenței artificiale agențice este orientat spre acțiune. Acum, echipele de securitate trebuie să se întrebe ce sisteme ar putea interacționa agentul, ce permisiuni va moșteni, cât de departe poate ajunge planul său și ce s-ar întâmpla dacă ar fi înșelat în timpul rulării.

Distincția poate fi foarte mică, dar este semnificativă: Inteligența artificială generativă creează conținut. Inteligența artificială agențică creează consecințe. Acesta este pasul de la risc de conținut la expunere la execuție.

Cum extinde inteligența artificială agențică suprafețele de atac ale întreprinderilor?

Inteligența artificială agențică nu adaugă doar o nouă aplicație. Ea creează un nou strat operațional. Iată cum se mărește suprafața de atac:

1. Agenți de inteligență artificială cu privilegii

Există mulți agenți care acționează în numele utilizatorilor sau conturilor de serviciu. Când domeniul de permisiuni nu este strâns, ei devin ținte valoroase.

Acest lucru poate duce la probleme de delegare confuză, escaladare de privilegii și mișcare laterală. Acesta este un problemă atunci când sistemele cloud, SaaS și interne oferă acces dinamic sau moștenit agenților.

2. Căi de execuție dinamice

Fluxurile de control în aplicațiile tradiționale sunt deterministe. Fluxurile de control în sistemele de inteligență artificială agențică nu sunt.

Ele raționează despre obiective, acțiuni, reflectă, rafinează și invocă instrumente într-un mod nedeterminist. Acest lucru duce la cazuri de eșec greu de analizat, grafuri de dependență complexe și eșecuri în cascadă în sistemele multi-agente. Controalele de securitate dezvoltate pentru fluxuri de control deterministe nu sunt aplicabile aici.

3. Memorii persistente

Suprafața de atac generată de memoria agentului este persistentă.

Când memoria pe termen scurt sau lung este compromisă, un stat malign poate influența deciziile de-a lungul mai multor sesiuni. Acest lucru se deosebește de o singură injecție de prompt, deoarece coruperea memoriei oferă persistență.

4. Riscuri de decizie la viteza mașinilor

Agenții autonomi iau decizii la o viteză care nu poate fi egalată. Acest lucru aduce riscuri de decizie la viteza mașinilor, cum ar fi propagarea rapidă a erorilor, cicluri de abuz mult mai rapide decât reacția umană și escaladarea înainte de detectarea posibilă.

În sistemele multi-agente, domeniul de influență este rapid. Un agent malign poate declanșa o cascadă de eșec în lanțurile de coordonare.

De ce controalele tradiționale eșuează cu inteligența artificială agențică

Majoritatea modelelor de securitate tradiționale pentru întreprinderi se bazează pe aplicații statice, grafuri de apel predictibile, aprobări umane și o separare clară între prelucrarea și execuția datelor. Inteligența artificială agențică face aceste ipoteze invalide.

Luați, de exemplu, un control tradițional, cum ar fi validarea inputului. Acesta protejează limita unui sistem. Cu toate acestea, riscul agențic apare de obicei în mijlocul unei bucle, în faza de planificare, reflectare sau instrumentare.

Scanarea vulnerabilităților tradiționale se concentrează, de asemenea, pe infrastructură și software. Cu toate acestea, riscul de execuție al inteligenței artificiale rezidă în stratul de raționament și acțiune al agentului.

Întrebarea este: Cum puteți proteja ceva care poate alege următoarea sa acțiune? Nu puteți doar înconjura controalele în jurul unei singure apeluri de model. Trebuie să securizați fluxul de lucru.

Securizarea inteligenței artificiale agențice: Ce funcționează cu adevărat?

Atunci când vine vorba de securizarea inteligenței artificiale agențice, trebuie să existe o schimbare de la gândirea perimetrală la gândirea de ciclu de viață. Agenților nu li se permite să reinterpreteze obiectivele infinite, și există mai multe moduri de a realiza acest lucru.

Stabilirea secvențelor permise de obiective, reglementarea adâncimii arborilor de extindere a planului, monitorizarea devierii raționamentului și interzicerea obiectivelor auto-create din afara domeniului de aplicare sunt toate controale esențiale. Variațiile neașteptate în raționament sunt adesea precursori ai manipulării.

Întăriți execuția instrumentelor. Instrumentele sunt unde planul întâlnește realitatea, și securitatea trebuie să acopere verificările de permisiune înainte de execuția instrumentului, medii de execuție sandboxate, validarea strictă a parametrilor și transferul de credențiale just-in-time. Fiecare execuție a instrumentului trebuie să fie înregistrată ca un eveniment de securitate de clasă întâi.

Izolați memoria și domeniul de permisiune. Memoria trebuie tratată ca infrastructură sensibilă. Acest lucru înseamnă validarea operațiunilor de scriere, partiționarea domeniului de memorie, limitarea domeniului de citire per sarcină, utilizarea credențialelor cu durată de viață scurtă și prevenirea permisiunilor moștenite. Acumularea nevalidată a permisiunilor este un risc major al inteligenței artificiale agențice.

Securizați coordonarea multi-agentică. În sistemele distribuite de agenți, comunicarea în sine devine un vector de atac. Acest lucru ar trebui să implice autentificarea agenților, validarea schemei de mesaj, canale de comunicare restricționate și monitorizarea pentru modele de influență anormală. Când coordonarea se abate de la fluxurile așteptate, izolarea trebuie să aibă loc automat.

De la managementul expunerii la evaluarea expunerii pentru sistemele de inteligență artificială

Acesta este momentul în care o filozofie de securitate mai largă devine cheie. Managementul tradițional al vulnerabilităților identifică slăbiciuni cunoscute. Cu toate acestea, sistemele autonome de inteligență artificială introduc expunerea emergentă: riscuri care apar din configurație, proiectarea permisiunilor, căile de integrare și comportamentul dinamic.

Acest lucru se aliniază cu ceea ce industria a numit managementul expunerii și, mai recent, evaluarea expunerii.

Managementul expunerii se referă la faptul de a avea o vizibilitate continuă asupra modului în care sistemele (inclusiv activele cloud, identitățile, aplicațiile și acum agenții de inteligență artificială) creează căi pe care actorii răi le pot exploata.

Pentru securitatea sistemelor autonome de inteligență artificială, acest lucru înseamnă a pune întrebări precum: Ce poate ajunge acest agent? Ce permisiuni agregă? Ce sisteme orchestrează? Și unde se intersectează execuția cu datele sensibile?

Echipele care folosesc deja strategii bazate pe expunere pentru a reduce riscul cibernetic se află într-o poziție solidă pentru a extinde aceste principii în mediile lor de inteligență artificială. De exemplu, platformele care unifică vizibilitatea identității, cloud-ului și vulnerabilității oferă o modalitate de a înțelege cum agenții de inteligență artificială privilegiați se intersectează cu căile de atac existente.

Cheia nu este instrumentarea furnizorului în sine. Este mentalitatea:

Nu securizați inteligența artificială agențică prin protejarea modelului. O securizați prin măsurarea și reducerea continuă a expunerii sale.

Managementul riscurilor de execuție în inteligența artificială agențică

Caracteristica securității inteligenței artificiale agențice este aceasta: Suprafața de atac nu este răspunsul, ci fluxul de lucru.

Riscurile de execuție sunt multe, incluzând utilizarea neautentificată a instrumentelor, spoofing-ul identității, escaladarea permisiunilor, otrăvirea memoriei, manipularea inter-agentică și sistemele cu buclă umană sub presiune.

Atenuarea acestor riscuri necesită vizibilitate asupra relațiilor de identitate, moștenirii permisiunilor, dependențelor API, activității de runtime și telemetriei de execuție.

Acesta nu este doar securitatea inteligenței artificiale generative; este, de asemenea, securitatea operațională a inteligenței artificiale.

Riscul inteligenței artificiale agențice este arhitectural, nu ipotetic

Inteligența artificială agențică este următorul pas în evoluția adoptării inteligenței artificiale în întreprinderi. Ea oferă promisiunea de eficiență, automatizare și scalabilitate. Cu toate acestea, ea introduce, de asemenea, riscuri de la ceea ce spune inteligența artificială la ceea ce face inteligența artificială.

Tranzitia de la sistemele generative la cele agențice afectează următoarele:

• Riscul de conținut la risc de execuție
• Prompturi statice la fluxuri de execuție dinamice
• Revizuirea umană la execuția autonomă
• Securitatea aplicației la managementul expunerii

Liderii de securitate care înțeleg această tranziție pot proiecta balustrade care se extind odată cu autonomia. Alții se vor confrunta cu insideri digitali fără controale de insider.

Viitorul inteligenței artificiale în întreprinderi este agențic. Viitorul securității inteligenței artificiale trebuie să fie condus de expunere, conștient de fluxul de lucru și proiectat pentru operațiuni la viteza mașinilor.

Pentru că, odată ce agenții de inteligență artificială au capacitatea de a executa, singura abordare viabilă este de a înțelege în mod constant (și de a mitiga) ceea ce sunt expuși.