Dalla Generativa all’Intelligenza Artificiale Agente: Il Passaggio dal Rischio di Contenuto all’Esposizione all’Esecuzione

L’intelligenza artificiale aziendale sta evolvendo rapidamente. Ciò che iniziò come intelligenza artificiale generativa che redigeva email e riassunti di documenti sta diventando qualcosa di molto più autonomo: sistemi che pianificano, decidono ed eseguono attività attraverso strumenti e ambienti.

Questo è il passaggio dall’intelligenza artificiale generativa all’intelligenza artificiale agente. Sta vedendo il rischio trasformarsi.

L’intelligenza artificiale generativa ha introdotto rischi di contenuto, tra cui allucinazioni, perdita di dati attraverso prompt e output distorti. L’esposizione dell’intelligenza artificiale agente avviene attraverso i suoi sistemi autonomi, che hanno autorizzazioni, memoria e la capacità di accedere a tutti gli strumenti disponibili alla velocità delle macchine.

Questa è un’opportunità per i professionisti della sicurezza, della governance e dell’intelligenza artificiale di rivedere la propria posizione su questi nuovi rischi.

Che cos’è il rischio dell’intelligenza artificiale agente?

Il rischio dell’intelligenza artificiale agente si riferisce ai rischi di sicurezza, operativi e di governance posti da sistemi di intelligenza artificiale che operano in modo autonomo, non solo generando testo ma anche eseguendo flussi di lavoro multi-step su sistemi aziendali.

A differenza dei tradizionali modelli linguistici di grandi dimensioni (LLM), i sistemi agenti possono suddividere le attività in flussi di lavoro dinamici, effettuare richieste di API esterne e invocare applicazioni interne, e memorizzare e richiamare memorie. Possono anche operare sotto identità delegate e comunicare con altri agenti.

In altre parole, sono meno simili a chatbot e più simili a dipendenti digitali junior. Ciò rappresenta un aumento significativo della superficie di attacco dell’agente di intelligenza artificiale.

Intelligenza artificiale generativa vs agente: cosa cambia?

Il rischio dell’intelligenza artificiale generativa si concentra sugli output. I team di sicurezza si chiedono se il modello sta perdendo dati, se sta allucinando o se sta generando contenuti dannosi o non conformi.

Gli esseri umani sono fermamente nella catena di comando. L’intelligenza artificiale propone, le persone approvano.

Il rischio dell’intelligenza artificiale agente è orientato all’azione. Ora, i team di sicurezza devono chiedersi con quali sistemi l’agente potrebbe interagire, quali autorizzazioni erediterà, quanto potrebbe raggiungere il suo piano e cosa succederebbe se fosse ingannato mentre esegue.

La distinzione potrebbe essere molto piccola, ma è significativa: l’intelligenza artificiale generativa crea contenuti. L’intelligenza artificiale agente crea conseguenze. Questo è il passaggio dal rischio di contenuto all’esposizione all’esecuzione.

Come l’intelligenza artificiale agente amplia le superfici di attacco aziendali?

L’intelligenza artificiale agente non aggiunge solo una nuova applicazione. Crea un nuovo livello operativo. Ecco come la superficie di attacco cresce:

1. Agenti di intelligenza artificiale privilegiati

Ci sono molti agenti che agiscono per conto di utenti o account di servizio. Quando l’ambito delle autorizzazioni non è stretto, diventano obiettivi preziosi.

Ciò può portare a problemi di deputy confusi, escalation di privilegi e movimento laterale. Ciò è un problema quando i sistemi cloud, SaaS e interni forniscono accesso dinamico o ereditato agli agenti.

2. Percorsi di esecuzione dinamici

I flussi di controllo nelle applicazioni tradizionali sono deterministici. I flussi di controllo nei sistemi di intelligenza artificiale agente non lo sono.

Ragionano sugli obiettivi, le azioni, riflettono, raffinano e invocano strumenti in modo non deterministico. Ciò porta a casi di fallimento difficili da analizzare, grafici di dipendenza complessi e fallimenti a cascata in sistemi multi-agente. I controlli di sicurezza sviluppati per flussi di controllo deterministici non sono applicabili qui.

3. Memoria persistente

La superficie di attacco portata dalla memoria dell’agente è persistente.

Quando la memoria a breve o lungo termine è compromessa, uno stato maligno può influenzare le decisioni in più sessioni. Ciò differisce da un’iniezione singola di un prompt, poiché la corruzione della memoria fornisce persistenza.

4. Rischi di decisione a velocità di macchina

Gli agenti autonomi prendono decisioni alla velocità che è impossibile da eguagliare. Ciò porta a sfide di decisione a velocità di macchina, come la rapida propagazione degli errori, i cicli di abuso molto più veloci della reazione umana e l’escalation prima che la rilevazione sia possibile.

Nei sistemi multi-agente, l’ambito di influenza è rapido. Un agente maligno può scatenare una cascata di fallimenti nelle catene di coordinamento.

Perché i controlli tradizionali falliscono con l’intelligenza artificiale agente

La maggior parte dei modelli di sicurezza aziendale tradizionali si basa su applicazioni statiche, grafici di chiamata prevedibili, approvazioni umane e una chiara separazione tra elaborazione dei dati e esecuzione. L’intelligenza artificiale agente rende queste ipotesi invalide.

Prendi, ad esempio, un controllo tradizionale come la convalida dell’input. Ciò salvaguarda il confine di un sistema. Tuttavia, il rischio dell’intelligenza artificiale agente si manifesta generalmente nel mezzo di un ciclo, nella fase di pianificazione, riflessione o strumentazione.

La scansione delle vulnerabilità tradizionale si concentra anche sull’infrastruttura e sul software. Tuttavia, il rischio di esecuzione dell’intelligenza artificiale risiede nel livello di ragionamento e azione dell’agente.

La domanda è: come si protegge qualcosa che può scegliere la sua prossima azione? Non si può semplicemente avvolgere i controlli intorno a una singola chiamata al modello. Bisogna proteggere il flusso di lavoro.

Proteggere l’intelligenza artificiale agente: cosa funziona veramente?

Quando si tratta di proteggere l’intelligenza artificiale agente, ci deve essere un passaggio dal pensiero perimetrale al pensiero di ciclo di vita. Gli agenti non dovrebbero essere autorizzati a reinterpretare gli obiettivi all’infinito e ci sono diversi modi per raggiungere ciò.

Stabilire sequenze di obiettivi ammissibili, regolare la profondità degli alberi di espansione del piano, monitorare la deriva del ragionamento e proibire gli obiettivi auto-creati al di fuori dell’ambito sono tutti controlli essenziali. Le variazioni inaspettate nel ragionamento sono spesso i precursori della manipolazione.

Rinforzare l’esecuzione degli strumenti. Gli strumenti sono dove il piano incontra la realtà e la sicurezza deve coprire i controlli delle autorizzazioni prima dell’esecuzione degli strumenti, gli ambienti di esecuzione sandbox, la convalida rigorosa dei parametri e il trasferimento delle credenziali just-in-time. Ogni esecuzione di strumenti deve essere registrata come un evento di sicurezza di prima classe.

Isolare la memoria e l’ambito dei privilegi. La memoria deve essere trattata come infrastruttura sensibile. Ciò significa convalidare le operazioni di scrittura, la partizione del dominio della memoria, limitare l’ambito delle operazioni di lettura per attività, utilizzare credenziali a breve durata e prevenire i privilegi ereditati. L’accumulo di autorizzazioni non convalidate è un rischio significativo per l’intelligenza artificiale agente.

Proteggere la coordinazione multi-agente. Nei sistemi di agenti distribuiti, la comunicazione stessa diventa un vettore di attacco. Ciò dovrebbe implicare l’autenticazione degli agenti, la convalida dello schema dei messaggi, canali di comunicazione restrittivi e il monitoraggio dei modelli di influenza anomali. Quando la coordinazione devia dai flussi previsti, l’isolamento dovrebbe verificarsi automaticamente.

Dal management dell’esposizione alla valutazione dell’esposizione per i sistemi di intelligenza artificiale

Questo è il punto in cui una filosofia di sicurezza più ampia diventa chiave. La gestione delle vulnerabilità tradizionale identifica le debolezze note. Tuttavia, i sistemi di intelligenza artificiale autonomi introducono un’esposizione emergente: rischi che sorgono dalla configurazione, dal design dei privilegi, dai percorsi di integrazione e dal comportamento dinamico.

Ciò si allinea con ciò che l’industria ha definito gestione dell’esposizione e, più recentemente, valutazione dell’esposizione.

La gestione dell’esposizione è tutta sulla visibilità continua di come i sistemi (inclusi asset cloud, identità, applicazioni e ora agenti di intelligenza artificiale) creano percorsi che gli attori malintenzionati possono sfruttare.

Per la sicurezza dei sistemi di intelligenza artificiale autonomi, ciò significa chiedersi: cosa può raggiungere questo agente? Quali autorizzazioni accumula? Quali sistemi orchestra? E dove l’esecuzione interseca i dati sensibili?

I team che già utilizzano strategie basate sull’esposizione per ridurre il rischio informatico sono in una posizione solida per estendere quei principi ai propri ambienti di intelligenza artificiale. Ad esempio, le piattaforme che uniscono la visibilità dell’identità, del cloud e della vulnerabilità forniscono un modo per comprendere come gli agenti di intelligenza artificiale privilegiati si intersecano con i percorsi di attacco esistenti.

La chiave non è il tooling del fornitore per sé. È la mentalità:

Non si protegge l’intelligenza artificiale agente proteggendo il modello. La si protegge continuamente misurando e riducendo l’esposizione.

Gestire i rischi a livello di esecuzione nell’intelligenza artificiale agente

Il marchio di fabbrica della sicurezza dell’intelligenza artificiale agente è questo: la superficie di attacco non è la risposta, ma il flusso di lavoro.

I rischi a livello di esecuzione sono molti, tra cui l’uso di strumenti non autenticati, lo spoofing delle identità, la escalation dei privilegi, l’avvelenamento della memoria, la manipolazione tra agenti e i sistemi umani nella catena di comando sotto costrizione.

Mitigare questi rischi significa avere visibilità nelle relazioni di identità, nell’eredità dei privilegi, nelle dipendenze delle API, nell’attività in tempo di esecuzione e nella telemetria dell’esecuzione.

Ciò non è più solo la sicurezza dell’intelligenza artificiale generativa; è anche la sicurezza operativa dell’intelligenza artificiale.

Il rischio dell’intelligenza artificiale agente è architettonico, non ipotetico

L’intelligenza artificiale agente è il prossimo passo nell’evoluzione dell’adozione dell’intelligenza artificiale aziendale. Promette efficienza, automazione e scalabilità. Tuttavia, introduce anche rischi da ciò che l’intelligenza artificiale dice a ciò che l’intelligenza artificiale fa.

La transizione dall’intelligenza artificiale generativa ai sistemi agenti impatta i seguenti:

• Rischio di contenuto a rischio di esecuzione
• Prompt statici a flussi di esecuzione dinamici
• Revisione umana a esecuzione autonoma
• Sicurezza dell’applicazione alla gestione dell’esposizione

I leader della sicurezza che comprendono questa transizione per primi possono progettare paratie di protezione che si adattano all’autonomia. Gli altri finiranno per avere insider digitali senza controlli interni.

Il futuro dell’intelligenza artificiale nell’impresa è agente. Il futuro della sicurezza dell’intelligenza artificiale deve essere guidato dall’esposizione, consapevole del flusso di lavoro e progettato per le operazioni a velocità di macchina.

Perché una volta che gli agenti di intelligenza artificiale hanno la capacità di eseguire, l’unico approccio praticabile è quello di comprendere costantemente (e mitigare) ciò a cui sono esposti.