Leader di pensiero

La Minaccia Nascosta degli Agenti di Intelligenza Artificiale Richiede un Nuovo Modello di Sicurezza

mm
Aggiungi Unite.AI alle tue fonti preferite su Google

I sistemi di intelligenza artificiale agente sono diventati mainstream nell’ultimo anno. Vengono utilizzati per diverse funzioni, tra cui l’autenticazione degli utenti, il trasferimento di capitali, l’attivazione dei flussi di conformità e la coordinazione tra ambienti aziendali con un minimo di supervisione umana.

Tuttavia, un problema più silenzioso sta emergendo con l’aumento dell’autonomia, non a livello di prompt o politiche, ma a livello di infrastruttura di fiducia. I sistemi agente stanno ricevendo autorità di insider mentre continuano a eseguire su ambienti di calcolo che non sono stati progettati per proteggere i decisori autonomi dall’infrastruttura sottostante.

La sicurezza tradizionale presume che il software sia passivo, ma i sistemi agente non lo sono. Ragionano, ricordano e agiscono continuamente, autonomamente e con autorità delegata.

Inoltre, gli agenti di intelligenza artificiale sono probabilmente in grado di accedere a dati personali, in base al loro caso d’uso, come ad esempio email e registri di chiamate, tra le altre cose.

Inoltre, mentre esistono protezioni basate su hardware, come macchine virtuali confidenti e ambienti sicuri, non sono ancora la base di default per la maggior parte dei sistemi di intelligenza artificiale agente. Di conseguenza, molti agenti continuano a eseguire in ambienti in cui i dati sensibili sono esposti all’infrastruttura sottostante durante l’esecuzione.

Gli Agenti Sono Insider, Non Strumenti

Le squadre di sicurezza già sanno quanto sia difficile contenere le minacce interne, un problema evidenziato nel rapporto di data breach di Verizon del 2025, che mostra che l’intrusione nel sistema è stata responsabile di più del 53% delle violazioni confermate lo scorso anno. Nel 22% di questi casi, gli attaccanti hanno utilizzato credenziali rubate per ottenere l’accesso, il che evidenzia quanto spesso riescano utilizzando identità legittime invece di sfruttare vulnerabilità tecniche.

Ora, considera un agente, che è composto da logica di prompt, strumenti e plugin, credenziali, nonché politiche. Non solo può eseguire codice e navigare nel web, ma può anche interrogare CRM, leggere email e inviare biglietti, tra molte altre cose. Ciò che la combinazione di funzioni ha portato è l’introduzione di superfici di attacco tradizionali in un’interfaccia moderna.

Il pericolo rappresentato da tali minacce interne non è speculativo. Il progetto Open Web Application Security (OWASP) elenca ora “Prompt Injection” come una vulnerabilità critica per le applicazioni LLM, notando il suo particolare pericolo per i sistemi agente che concatenano azioni. Il team di intelligence delle minacce di Microsoft ha anche pubblicato avvisi che avvertano che i sistemi di intelligenza artificiale con accesso agli strumenti possono essere soggetti a furto di dati se le salvaguardie non sono applicate architettonicamente.

Questi rapporti offrono un promemoria tempestivo che gli agenti che hanno accesso legittimo ai sistemi e ai dati possono essere rivolti contro i loro proprietari. Tuttavia, il panorama del rischio per i sistemi agente non è unitario. Le minacce a livello di applicazione come l’iniezione di prompt e l’abuso di strumenti derivano dall’incapacità del modello di distinguere tra istruzioni attendibili e input di utente non attendibili, una limitazione di progettazione che nessun tipo di hardening della memoria può risolvere.

Un problema diverso e altrettanto importante esiste a livello di infrastruttura: alcuni agenti eseguono in memoria in chiaro, il che significa che le informazioni sensibili, come la cronologia delle chat, le risposte dell’API e i documenti, possono essere viste mentre vengono elaborate e possono rimanere accessibili in seguito. L’OWASP identifica questo rischio come Sensitive Information Disclosure (LLM02) e System Prompt Leakage (LLM07) e suggerisce l’utilizzo di isolamento del contesto, segmentazione dei namespace e sandboxing della memoria come importanti misure di sicurezza.

Pertanto, gli utenti non dovrebbero trattare questi agenti come semplici applicazioni, considerando che sono esecutori dinamici e ragionatori che richiedono un modello di sicurezza che tenga conto della loro natura unica di entità non umane con agenzia. Questo approccio deve includere sia controlli software per limitare come il modello agisce, sia protezioni hardware per mantenere i dati al sicuro mentre vengono utilizzati.

L’Architettura della Fiducia Ha un Difetto Critico

Le pratiche di sicurezza attuali si concentrano sulla protezione dei dati in stato di riposo e in transito. L’ultima frontiera, i dati in uso, rimane quasi interamente esposta. Quando un agente di intelligenza artificiale ragiona su un set di dati confidenziali per approvare un prestito, analizzare registri di pazienti o eseguire una transazione, quei dati sono di solito decrittati e elaborati in testo normale all’interno della memoria del server.

Nei modelli cloud standard, chiunque abbia un controllo sufficiente sull’infrastruttura, compresi amministratori di hypervisor o attaccanti co-tenant, può potenzialmente spiare cosa sta succedendo mentre un carico di lavoro è in esecuzione. Per gli agenti di intelligenza artificiale, tale esposizione è particolarmente pericolosa, poiché hanno bisogno di accedere a informazioni sensibili per svolgere il loro lavoro, che può potenzialmente diventare una superficie di attacco.

Come ha dimostrato Lumia Security, gli attaccanti con accesso a una macchina locale possono ottenere JWT e chiavi di sessione direttamente dalla memoria del processo delle applicazioni desktop di ChatGPT, Claude e Copilot. Queste credenziali rubate possono consentire loro di fingere di essere un altro utente, rubare la cronologia delle conversazioni e iniettare prompt nelle sessioni in corso che possono modificare il comportamento dell’agente o impiantare falsi ricordi.

Un esempio di ciò potrebbe essere l’incidente di dump della memoria di AWS CodeBuild nel luglio 2025. Gli attaccanti hanno aggiunto segretamente codice malintenzionato a un progetto, e quando il sistema lo ha eseguito, il codice ha spiato nella memoria del computer e rubato token di accesso nascosti lì. Con quei token, gli attaccanti potevano modificare il codice del progetto e potenzialmente accedere ad altri sistemi.

Per le istituzioni finanziarie, la manipolazione silenziosa è esistenziale. Le banche, le assicurazioni e le società di investimento già assorbono costi di violazione dei dati medi superiori a 10 milioni di dollari, e capiscono che l’integrità conta quanto la riservatezza. Secondo un recente rapporto di Informatica, il “paradosso della fiducia” è stato spiegato come segue: le organizzazioni stanno distribuendo agenti autonomi più velocemente di quanto possano verificare i loro output. Il risultato è un’automazione che può hardwire errori o pregiudizi direttamente nei processi di base, operando a velocità di macchina.

Calcolo Confidenziale e il Caso per l’Isolamento

Le soluzioni incrementali non risolveranno il problema in questione, anche se controlli di accesso più rigorosi e una migliore sorveglianza possono aiutare. Tuttavia, nessuno dei due può cambiare il problema sottostante. Il problema è architettonico, e fintanto che il calcolo avviene in memoria esposta, gli agenti saranno vulnerabili nel momento in cui contano di più, che è il ragionamento.

Il calcolo confidenziale, definito dal Consorzio per il calcolo confidenziale (CCC) come la protezione dei dati in uso tramite ambienti di esecuzione attendibili basati su hardware (TEEs), affronta direttamente il difetto di base.

Per gli agenti di intelligenza artificiale, questo isolamento a livello di hardware è trasformativo, poiché consente all’agente di mantenere le credenziali di identità, i pesi del modello, i prompt proprietari e i dati sensibili degli utenti che elabora rimanere criptati non solo su disco o su rete, ma attivamente in memoria durante l’esecuzione. La separazione spezza definitivamente il modello tradizionale in cui il controllo sull’infrastruttura garantisce il controllo sul carico di lavoro.

L’attestazione remota fornisce prove criptografiche verificabili che una specifica richiesta di inferenza è stata eseguita all’interno di un ambiente di esecuzione attendibile supportato da hardware, che sia un processore o una GPU. La prova è generata da misurazioni hardware e consegnata insieme alla risposta, consentendo una verifica indipendente di dove e come è stato eseguito il carico di lavoro.

I record di attestazione non rivelano il codice che è stato eseguito. Invece, ogni carico di lavoro è associato a un ID di carico di lavoro univoco o a un ID di transazione, e il record di attestazione del TEE è collegato a quell’identificatore. L’attestazione conferma che il calcolo è stato eseguito all’interno di un ambiente attendibile senza rivelarne il contenuto.

La configurazione crea una nuova base per la conformità e la verificabilità, consentendo di collegare le azioni di un agente a una versione specifica del codice che è stata attestata e a un set noto di dati di input.

Verso un’Autonomia Responsabile

Le implicazioni per il sistema descritto sopra vanno oltre la sicurezza di base. Considera le leggi che regolano la finanza, la sanità e le informazioni personali. Molti paesi applicano regole di sovranità dei dati che limitano dove le informazioni possono essere elaborate. In Cina, la Legge sulla protezione delle informazioni personali e la Legge sulla sicurezza dei dati richiedono che certe categorie di dati, come i dati personali importanti, siano archiviati a livello nazionale e verificati prima del trasferimento all’estero.

Allo stesso modo, diversi paesi del Golfo, come gli Emirati Arabi Uniti e l’Arabia Saudita, ad esempio, hanno adottato approcci simili, in particolare per i dati finanziari, governativi e critici per l’infrastruttura.

Il calcolo confidenziale può rafforzare la sicurezza e la verificabilità proteggendo i dati mentre vengono elaborati e consentendo l’attestazione dell’ambiente di runtime. Tuttavia, non cambia dove si verifica l’elaborazione. Dove le regole di sovranità dei dati richiedono l’elaborazione locale o impongono condizioni sui trasferimenti transfrontalieri, gli ambienti di esecuzione attendibili possono supportare i controlli di conformità, non sostituire i requisiti legali.

Inoltre, il calcolo confidenziale consente una collaborazione sicura in sistemi multi-agente, dove gli agenti di diverse organizzazioni o all’interno di diverse divisioni spesso devono condividere informazioni o validare output senza esporre dati proprietari.

E quando la tecnologia è abbinata a un’architettura zero-trust, il risultato è una base molto più solida. La zero-trust continua a validare l’identità e l’accesso, mentre il calcolo confidenziale protegge la memoria dell’hardware da estrazioni non autorizzate e impedisce la ripristinazione di informazioni sensibili in testo normale.

Insieme, difendono ciò che conta veramente, ad esempio la logica decisionale, gli input sensibili e le chiavi crittografiche che autorizzano l’azione.

Un Nuovo Standard per i Sistemi Autonomi

Se ogni interazione mette le persone a rischio di esposizione, non lasceranno che l’intelligenza artificiale gestisca cose come i registri sanitari o prenda decisioni finanziarie. Allo stesso modo, le aziende non automizzeranno i loro compiti più importanti se ciò potrebbe portare a problemi regolatori o alla perdita di dati importanti.

I costruttori seri riconoscono che le soluzioni a livello di applicazione da sole sono insufficienti in ambienti ad alta garanzia.

Quando gli agenti sono autorizzati con autorità finanziaria, dati regolamentati o coordinamento interorganizzativo, l’esposizione a livello di infrastruttura diventa più di una preoccupazione teorica. E senza esecuzione confidenziale in tali contesti, molti agenti rimangono un bersaglio facile, con le loro chiavi rubabili e la loro logica malleabile. La dimensione delle violazioni moderne mostra esattamente dove porta quella strada.

La privacy e l’integrità non sono caratteristiche opzionali da aggiungere dopo il deploy. Devono essere progettate fin dall’inizio, a partire dal silicio. Pertanto, perché l’intelligenza artificiale agente possa scalare in modo sicuro, la confidenzialità applicata dall’hardware non può essere considerata solo un vantaggio competitivo, ma la base.

Ahmad Shadid è il fondatore di O Foundation, un laboratorio di ricerca sull'intelligenza artificiale con sede in Svizzera, focalizzato sulla costruzione e sulla ricerca di infrastrutture di intelligenza artificiale private, o.capital, un fondo quantitativo che opera sul Nasdaq e il fondatore e ex amministratore delegato di io.net, attualmente la più grande rete di calcolo di intelligenza artificiale decentralizzata basata su Solana.