Leader di pensiero

Dall’intento all’azione autonoma: governare gli agenti IA in azienda

Casey Kindiger
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveLa governance deve risiedere all'interno del prodotto perché definisce quali…
Vedi di più
  • La governance deve risiedere all'interno del prodotto perché definisce quali responsabilità un'organizzazione può delegare in sicurezza.
  • Un piano di controllo agentico collega l'identità dell'agente e le capacità approvate all'applicazione delle policy e alla supervisione dell'esecuzione.
  • Le organizzazioni dovrebbero iniziare con un flusso di lavoro ristretto ed espandere l'autorità dell'agente solo quando le prove operative lo supportano.

Un’istruzione come «ripristinare il servizio» sembra semplice, finché un agente IA non deve stabilire quali autorizzazioni comporti. Riavviare un’applicazione, modificare una configurazione e predisporre un’infrastruttura possono tutti contribuire a raggiungere l’obiettivo, ma ciascuna azione comporta conseguenze diverse. Man mano che gli agenti passano dal consigliare le azioni al metterle in atto, le organizzazioni devono stabilire un collegamento esplicito tra l’intento aziendale e l’autorità operativa.

La governance deve essere integrata nel prodotto, perché determina quali responsabilità un’organizzazione può delegare con fiducia. Un agente in grado di completare un’attività in modo affidabile, entro limiti concordati e fornendo prove delle proprie azioni, offre basi più solide per l’adozione in azienda rispetto a un agente la cui autorità resta ambigua. La sfida architetturale consiste nel fare in modo che tali limiti siano parte integrante del funzionamento del sistema.

Per tradurre questi limiti in pratica occorre un modo coerente di governare il comportamento degli agenti. Un piano di controllo per agenti può fornire queste basi, collegando l’identità degli agenti, le capacità approvate, l’applicazione delle policy, i controlli sulla memoria e la supervisione dell’esecuzione nei sistemi aziendali esistenti. Stabilisce chi ha richiesto un’azione, quale autorità la giustifica, quali risorse può interessare e come verificarne l’esito.

Ecco tre indicazioni pratiche che consigliamo per governare gli agenti IA in azienda:

Associare le capacità a un’autorità esplicita

Ogni agente dovrebbe avere un responsabile identificabile, uno scopo definito e autorizzazioni adeguate all’attività da svolgere. Questo approccio è in linea con il Framework del NIST per la gestione dei rischi dell’IA, che considera la governance una funzione continua lungo tutto il ciclo di vita dell’IA. Nel caso degli agenti, questo principio deve valere anche nel momento in cui un’azione modifica un sistema aziendale. Quando un agente ne incarica un altro, questi limiti devono rimanere invariati.

Anche l’individuazione delle capacità richiede un approccio rigoroso: un catalogo approvato dovrebbe descrivere lo scopo, gli input, gli output, gli ambienti consentiti e i potenziali effetti collaterali di ogni strumento. Individuare uno strumento non autorizza a eseguirlo: l’autorizzazione va quindi verificata quando si tenta un’azione. Le indicazioni di OWASP sul rischio di eccessiva autonomia ribadiscono questa distinzione, raccomandando di limitare funzionalità e autorizzazioni e di applicare i controlli di autorizzazione nei sistemi a valle.

Consideriamo, a titolo di esempio, un flusso di lavoro per il ripristino di un servizio in cui un agente analizza un rallentamento di un’applicazione e propone di riavviare un componente. Le policy consentono l’accesso ai dati di telemetria approvati, mentre per riavviare un sistema di produzione è necessario dimostrare che la ridondanza funzioni correttamente e ottenere l’approvazione del responsabile del servizio. Queste condizioni trasformano un’istruzione generica in una decisione operativa circoscritta.

Tradurre l’intento operativo in strumenti governati

Se esiste uno strumento di ripristino approvato, l’agente può preparare una richiesta utilizzando tale capacità. Se non esiste, può contribuire a creare uno script, una procedura operativa, uno schema di input e una descrizione dello strumento, traducendo l’intento operativo in una capacità proposta che altri possano esaminare. Questo è il valore pratico della programmazione di strumenti tramite agenti: gli agenti possono contribuire ai meccanismi operativi, oltre che utilizzarli.

La generazione di questi meccanismi, tuttavia, non dovrebbe renderli automaticamente eseguibili in produzione. Una capacità proposta deve seguire un processo di rilascio indipendente, con responsabilità chiaramente assegnate, controlli di sicurezza, controllo delle versioni e test che coprano input non validi, ambito eccessivo, errori parziali ed esecuzioni ripetute. I test generati dagli agenti possono fornire elementi utili, ma una convalida indipendente dovrebbe accertare che la capacità soddisfi i requisiti operativi prima di inserirla nel catalogo approvato.

I limiti di esecuzione dovrebbero quindi circoscrivere l’ambito delle risorse, l’accesso alla rete, la durata e la spesa, associando ogni approvazione richiesta all’azione, alla destinazione e alla versione specifiche. Anche le procedure di ripristino richiedono la stessa attenzione, perché alcune modifiche possono essere annullate, mentre altre richiedono interventi compensativi o non possono essere annullate. Ogni capacità dovrebbe chiarire questi limiti e fornire agli operatori un metodo collaudato per sospendere ulteriori esecuzioni.

La memoria introduce un’ulteriore responsabilità di governance, perché le osservazioni conservate possono influenzare decisioni future molto tempo dopo che il contesto originario è cambiato. Le organizzazioni dovrebbero definire quali informazioni gli agenti possono memorizzare, per quanto tempo restano disponibili e quali limiti di accesso si applicano, con meccanismi di tracciabilità della provenienza e di correzione. Un’autorizzazione ricordata non deve mai diventare un’autorità permanente, e informazioni operative obsolete non dovrebbero orientare tacitamente nuove azioni.

Ampliare l’autonomia sulla base delle evidenze

Una supervisione efficace richiede evidenze che colleghino la richiesta iniziale, la policy applicabile, l’approvazione, la versione dello strumento, il risultato dell’esecuzione e la verifica successiva. I revisori umani devono disporre di un contesto sufficiente per valutare la modifica proposta, le relative incertezze e le opzioni di ripristino, senza essere sommersi da dettagli superflui. Per rendere possibile tale supervisione, l’escalation dovrebbe basarsi su condizioni definite, come osservazioni contrastanti o uno stato del sistema non familiare, anziché affidarsi esclusivamente alla sicurezza espressa dall’agente.

I responsabili IT dovrebbero iniziare con un flusso di lavoro circoscritto e ampliare l’autorità dell’agente man mano che le evidenze operative lo consentono, misurando i risultati positivi insieme alle eccezioni, ai tempi di ripristino, alle violazioni delle policy e all’impegno richiesto dalla supervisione. Queste misure aiutano a stabilire se un agente è pronto ad assumersi maggiori responsabilità e in quali ambiti servano ulteriori misure di protezione o test.

L’opportunità consiste nel rendere la delega ripetibile, facendo sì che ogni capacità approvata definisca cosa può fare un agente, a quali condizioni e con quale responsabilità. Questa disciplina può rafforzare la resilienza e l’efficienza, offrendo al contempo alle organizzazioni basi solide e difendibili per concedere maggiore autonomia. Il messaggio principale è questo: la governance si dimostra parte integrante del prodotto rendendo possibile questo percorso.

Casey Kindiger è il Fondatore e CEO di Droma (precedentemente Grokstream), un'azienda di IA aziendale che avanza operazioni predittive e agentiche, e un imprenditore seriale che in precedenza ha fondato Resolve Systems. Con più di 25 anni di esperienza nella tecnologia aziendale, un decennio alla guida di team di ricerca applicata AI/ML e una laurea magistrale in Psicologia & Neuroscienze della Salute Mentale presso il King’s College London, porta una prospettiva distintiva su come la cognizione umana possa informare lo sviluppo di sistemi di IA più capaci e affidabili.