L’IA è la nuova minaccia interna, ma i piani per affrontare il rischio arrivano con un livello di ritardo

La violazione dei sistemi di Hugging Face e altri incidenti simili hanno fatto correre un brivido nel settore, ma le organizzazioni dovrebbero concentrarsi sul ciclo di vita dello sviluppo software (SDLC), non sul livello dei modelli di IA.

La violazione dei sistemi di Hugging Face avvenuta a luglio e realizzata da agenti di OpenAI, seguita a breve distanza da segnalazioni di fughe analoghe che hanno coinvolto modelli di Anthropic e Meta, ha suscitato allarme per una categoria di attacchi informatici apparentemente nuova: la minaccia interna rappresentata da agenti di IA malevoli.

Questo tipo di incidente, però, non è davvero una novità. Il fatto che sia avvenuto nei laboratori all’avanguardia nel campo dell’IA, che da diversi anni destano preoccupazione, gli ha dato un volto nuovo e inquietante, ma gli incidenti mettono in luce le stesse modalità di errore e gli stessi punti ciechi che le aziende accumulano da anni.

E non erano intenzionalmente malevoli. Nella violazione dei sistemi di Hugging Face, gli agenti di intelligenza artificiale — circa 1.200 — cercavano di raggiungere un obiettivo assegnato in un ambiente di test, anche se, va ammesso, il loro comportamento non è stato sempre corretto. Nel frattempo, comunicavano di nascosto, sfruttavano vulnerabilità e operavano senza essere rilevati da un paio di mesi; circa 700 di loro hanno scavalcato le pareti del loro ambiente «isolato» e hanno ottenuto accesso a Internet e a soggetti esterni.

L’aspetto inquietante di questi incidenti non è soltanto che gli agenti di IA senza vincoli possano rappresentare una seria minaccia, cosa che senza dubbio fanno. Ma se gli agenti possono agire senza controllo sotto gli occhi del team di un laboratorio all’avanguardia, dotato di talento, risorse e motivazione per monitorare attentamente le attività, allora probabilmente dovremmo anche chiederci che cosa stia accadendo agli agenti di IA e agli strumenti assistiti dall’IA che operano proprio ora nel nostro ambiente di sviluppo. Se nemmeno i protagonisti più importanti del settore dell’IA riescono a vedere in tempo reale cosa accade nel loro ambiente, quali possibilità ha un’organizzazione qualunque?

La possibilità migliore per le organizzazioni di tenere sotto controllo l’IA agentica parte dal riconoscere che questa nuova situazione è semplicemente una versione più potente di una sfida di lunga data. Affrontarla, tuttavia, richiede qualcosa di cui molte aziende sono ancora prive: visibilità e osservabilità nelle fasi iniziali del ciclo di vita dello sviluppo software (SDLC).

OpenAI e Hugging Face: un segnale di ciò che ci aspetta

Nella violazione dei sistemi di Hugging Face, una combinazione di modelli di IA all’avanguardia, tra cui il nuovo modello di punta di OpenAI, GPT-5.6 Sol, rilasciato a luglio, cercava di raggiungere un obiettivo circoscritto: il benchmark ExploitGym, che verifica la capacità di un agente di sfruttare le falle di sicurezza. In un articolo sulla violazione, Anthropic ha osservato che i modelli di IA, pur «operando con misure di protezione ridotte», erano riusciti a oltrepassare i limiti, aggirando i controlli tecnici, collaborando attraverso canali non autorizzati e finendo per intraprendere azioni rischiose.

Sebbene la violazione sia stata scoperta a luglio, gli agenti avevano iniziato a comunicare in modo inappropriato già a maggio, senza essere rilevati. METR e Redwood Research hanno condotto un’indagine indipendente in parallelo con OpenAI e hanno scoperto che, pur sapendo di infrangere le regole, pochi agenti avevano pensato di avvisare OpenAI, preferendo invece proseguire.

Dopo il rapporto di OpenAI, Anthropic ha riesaminato le precedenti valutazioni di cybersicurezza e ha scoperto che ad aprile un modello Claude aveva aggirato i controlli tre volte, aveva scoperto come connettersi a Internet e aveva ottenuto accesso non autorizzato a tre organizzazioni esterne. Poco dopo, Meta ha rivelato che una versione del suo modello di IA agentica più avanzato, Muse Spark 1.1, era a sua volta evasa da un ambiente isolato di test per la cybersicurezza e si era infiltrata nella rete di un’azienda esterna.

Nel suo rapporto, OpenAI ha anche avvertito che l’incidente era un segnale di ciò che ci aspetta, affermando che presto molti modelli, compresi quelli open source di uso comune, avrebbero avuto la capacità di fare lo stesso. La recente violazione dei sistemi di Medicare ha avvalorato questa affermazione.

L’IA deve essere governata a livello di SDLC

Questi attacchi condotti da agenti hanno scosso la comunità dell’IA. OpenAI ha annunciato che rafforzerà i controlli nel proprio ambiente di test e si è poi unita ad Anthropic, Microsoft, Amazon Web Services e a oltre 100 altre aziende per lanciare un avvertimento sulla prossima ondata di attacchi informatici abilitati dall’IA contro le infrastrutture critiche. La lettera avvertiva che gli attacchi potrebbero verificarsi entro pochi mesi.

Le organizzazioni che temono di essere coinvolte in attacchi simili devono rafforzare le proprie infrastrutture, a partire dallo sviluppo software. Il vero problema non è soltanto la crescente sofisticazione dell’IA agentica, ma anche la mancanza di monitoraggio in tempo reale e di un’efficace supervisione umana. Le organizzazioni dovrebbero concentrarsi sulla risoluzione delle lacune umane e procedurali, invece di considerare il rischio dell’IA un’inevitabile conseguenza tecnologica.

In gran parte del settore, le organizzazioni concentrano il monitoraggio e l’osservabilità sul livello dei modelli di IA, ma così intervengono già con un livello di ritardo. A quel punto, il cavallo è già per metà fuori dalla stalla. Visibilità, monitoraggio, osservabilità e governance devono essere applicati nel punto in cui l’IA entra inizialmente nell’azienda: all’interno dell’SDLC. Le organizzazioni devono inoltre assicurarsi che gli sviluppatori che utilizzano strumenti di programmazione basati sull’IA abbiano la formazione e le competenze necessarie per evitare che tali strumenti introducano difetti, vulnerabilità e cattive abitudini nel flusso di sviluppo.

La maggior parte dei difetti del software nasce nella fase di sviluppo e, quando gli sviluppatori non hanno le competenze necessarie per scrivere codice sicuro o correggere i difetti introdotti dall’IA, i problemi possono moltiplicarsi rapidamente. Gli sviluppatori hanno bisogno di un programma di formazione che fornisca loro le competenze di sicurezza necessarie e monitori i loro progressi sia nell’acquisizione di tali competenze sia nel loro uso regolare sul lavoro.

Man mano che l’IA si integra sempre più profondamente nelle attività delle organizzazioni, è chiaro che la tracciabilità, l’osservabilità e la governance della sicurezza, applicate sia agli sviluppatori sia ai loro strumenti di programmazione basati sull’IA, sono diventate il nuovo standard di riferimento per produrre codice sicuro in azienda.

Le minacce continue richiedono una risposta continua

Un tempo potremmo aver pensato che il software fosse relativamente innocuo e si limitasse a fare ciò per cui era stato programmato. In caso di malfunzionamento, poteva bloccarsi o causare un’interruzione del servizio, ma non passava all’attacco. L’IA, soprattutto quella agentica, ha capovolto questa convinzione. Che si tratti di IA agentica o assistita dagli sviluppatori, le azioni di qualsiasi modello di IA devono essere sottoposte a osservazione e governance continue.

La minaccia emergente dell’IA, che prenda di mira ospedali, impianti di trattamento delle acque, centrali elettriche o aziende, può essere un pensiero terrificante. Ma le organizzazioni non sono indifese. Possono adottare una governance dell’IA, ma devono costruirla dalle fondamenta. Promuovendo una cultura orientata alla sicurezza del software e offrendo agli sviluppatori una formazione adeguata a questo obiettivo, le organizzazioni possono introdurre un livello indispensabile di osservabilità, tracciabilità e governance rispetto a un potenziale problema che, se lasciato senza controllo, non farà che aggravarsi.