Quando la Capacità dell’Intelligenza Artificiale Aumenta più Velocemente dei Modelli di Sicurezza Progettati per Contenerla

Gli strumenti di intelligenza artificiale di solito arrivano con una presentazione familiare. Promettono di semplificare i flussi di lavoro, aumentare la produttività e svolgere compiti che nessuno ama. E la maggior parte delle volte, mantengono esattamente ciò che promettono. Semplificano gli accessi, riassumono documenti, automatizzano i flussi di lavoro e rendono le attività di routine quasi prive di sforzo.

Ma sotto tutta quella comodità si nasconde una storia diversa. Questi strumenti non sono più confinati in una casella di testo. Stanno iniziando ad agire sul sistema operativo stesso. Possono sfogliare file, redigere email, interagire con applicazioni e eseguire azioni che un tempo richiedevano un essere umano attento che capiva le conseguenze. Quel passaggio colloca l’intelligenza artificiale in una posizione che le attuali ipotesi di sicurezza non sono state progettate per gestire.

Il Momento in cui l’Intelligenza Artificiale Ottiene l’Accesso al Sistema

Una volta che un sistema di intelligenza artificiale può leggere file reali ed eseguire comandi reali, diventa parte della base di calcolo affidabile. È il momento in cui le aspettative di lunga data sulla sicurezza dell’intelligenza artificiale iniziano a rompersi.

Per anni, l’iniezione di prompt è stata considerata una strana modalità di comportamento del modello. Causava la produzione di risposte fuorvianti o inadeguate da parte dei chatbot, ma il danno si fermava con la conversazione. Ora, lo stesso difetto può scatenare azioni a livello di host, non solo testo. Un istruzione maliziosa nascosta all’interno di un PDF, un sito web o un’email non produce più una risposta strana. Produce un’azione eseguita sulla macchina.

Questo non è qualcosa che l’industria possa liquidare come teorico. I ricercatori di Carnegie Mellon e dell’Università di Washington hanno dimostrato ripetutamente che istruzioni nascoste possono guidare i grandi modelli linguistici nell’esecuzione di azioni che gli utenti non intendevano mai. Nel frattempo, i ricercatori che studiano i modelli di visione hanno mostrato come immagini manipolate possano alterare la percezione del modello in modi che influenzano il comportamento a valle.

Questi esperimenti erano una volta trattati come curiosità di laboratorio. Non si sentono più accademici quando l’intelligenza artificiale ha accesso al sistema operativo.

Quando la Capacità dell’Agente Supera il Controllo del Difensore

Anche le aziende che costruiscono questi agenti riconoscono la gravità della sfida. Hanno rafforzato i filtri per gestire i prompt, ma ammettono apertamente che controllare le azioni nel mondo reale di un sistema di intelligenza artificiale rimane un’area di lavoro attiva e irrisolta in tutta l’industria. Quella lacuna tra ciò che l’agente può fare e ciò che i difensori possono controllare introduce una nuova categoria di rischio che i playbook di sicurezza esistenti non possono assorbire.

Gli agenti di intelligenza artificiale hanno superato un confine che l’industria non è ancora pienamente pronta ad affrontare. L’unico modo per capire questo è guardare come l’iniezione di prompt si interseca ora con le stesse catene di attacco che i difensori hanno seguito per più di un decennio.

Come l’Iniezione di Prompt si Collega ora alle Catene di Attacco che Tutti Conoscono

Gli attaccanti hanno sempre seguito un modello prevedibile. Il framework MITRE ATT&CK li elenca chiaramente. L’accesso iniziale è seguito dall’esecuzione, dalla persistenza, dalla scoperta, dal movimento laterale, dalla raccolta e dall’esfiltrazione. Le tecniche variano, ma la struttura è stabile.

Ciò che sta cambiando è il meccanismo di consegna. Invece di convincere un utente ad aprire un allegato malizioso o a cliccare su un collegamento pericoloso, gli attaccanti possono collocare istruzioni dove l’agente di intelligenza artificiale le leggerà. L’agente diventa l’ambiente di esecuzione. Esegue i passaggi esattamente come descritto. Il modello non mette in discussione se l’istruzione è dannosa. Non applica il giudizio o l’intuizione. Si limita ad agire.

Una volta che un attaccante può influenzare il ragionamento dell’agente, la catena di attacco si compone rapidamente. Un file manipolato scatena l’esecuzione, le istruzioni successive creano la persistenza, le ricerche di sistema forniscono la scoperta e il caricamento di file abilita la raccolta e l’esfiltrazione. Non è necessario alcun malware. L’agente esegue semplicemente i passaggi come scritto.

Questo è il punto della storia a cui le squadre di sicurezza stanno lottando per adattarsi. Hanno trascorso anni a costruire regole di rilevamento, controlli e processi di risposta attorno all’esecuzione basata sul codice. Gli agenti di intelligenza artificiale introducono tipi diversi di interpreti. Eseguono attraverso il linguaggio naturale, non i binari compilati. Gli strumenti esistenti non sono progettati per tracciare o anche analizzare quel processo di ragionamento.

Le Squadre di Sicurezza non Sono Pronte e non si Rendono nemmeno Conto

I programmi di sicurezza suppongono ancora che un essere umano si trovi tra il contenuto e l’azione. Gli esseri umani possono essere ingannati, ma si fermano quando qualcosa sembra sbagliato. Notano frasi strane, mettono in discussione comportamenti inaspettati e portano il giudizio all’ultimo miglio della decisione.

Gli agenti di intelligenza artificiale non fanno nulla di tutto ciò; sono coerenti, letterali e più veloci di qualsiasi avversario. Una singola riga di testo nascosto è sufficiente per istruire l’agente a leggere file sensibili, spostarsi tra le applicazioni o contattare un server remoto. Ciò colloca i difensori in una posizione in cui non sono mai stati prima.

Le squadre di sicurezza hanno una visibilità limitata su come un agente raggiunga una decisione e non possono facilmente determinare se un’azione sia originata dall’utente o dall’intelligenza artificiale. La tradizionale rilevazione del malware non offre alcun aiuto perché nulla di malizioso viene eseguito nel senso usuale, e non c’è garanzia che l’agente metterà in discussione o rifiuterà istruzioni dannose nascoste in contenuti normali.

Gli strumenti progettati per il comportamento umano semplicemente non si trasferiscono in un mondo in cui il linguaggio naturale diventa lo script che guida il comportamento del sistema.

Cosa sono i Controlli Compensativi che Funzionano Veramente

L’indurimento del modello non è sufficiente. Le squadre di sicurezza necessitano di controlli attorno all’agente che limitino ciò che l’intelligenza artificiale può fare, anche quando il suo ragionamento è influenzato.

Diverse strategie stanno mostrando promesse:

• L’accesso con il minimo privilegio è essenziale. Gli agenti dovrebbero avere accesso solo ai file e alle azioni richieste per i loro compiti. Ridurre i permessi non necessari limita l’impatto di istruzioni manipolate.
• I passaggi di approvazione umana possono fermare azioni dannose prima che si verifichino. Quando un agente tenta un’operazione sensibile, come l’esecuzione di un comando o l’accesso a dati protetti, l’utente dovrebbe approvare o rifiutare la richiesta.
• La filtrazione del contenuto crea un buffer tra materiali non attendibili e l’agente. La selezione di documenti, URL e testo esterno riduce le possibilità che istruzioni nascoste raggiungano il modello.
• La registrazione completa è obbligatoria. Ogni azione iniziata dall’agente deve essere registrata e revisionata. Queste azioni dovrebbero essere trattate allo stesso modo di qualsiasi attività di utente privilegiato.
• La mappatura dei comportamenti dell’agente alle tecniche ATT&CK aiuta i difensori a identificare dove l’agente possa essere spinto in azioni dannose e dove devono essere posizionate le barriere di sicurezza. Utilizza lo stesso sistema che già struttura la strategia difensiva.

Questi controlli compensativi non elimineranno il rischio. Ma lo contengono in modi che le difese a livello di modello non possono.

Dove l’Industria Va Ora

Gli agenti di intelligenza artificiale rappresentano un grande passo avanti in come funziona il calcolo. Offrono una produttività incredibile, ma introducono anche una categoria di rischio operativo che non si adatta all’interno dei quadri di sicurezza esistenti. La guida del National Cyber Security Centre del Regno Unito è un inizio, ma la maggior parte delle organizzazioni manca ancora di un modo chiaro per governare gli agenti che possono agire sul sistema.

Questo momento sembra simile ai primi giorni dell’adozione del cloud. La tecnologia si è mossa più velocemente dei controlli. Le organizzazioni che si sono adattate rapidamente sono state quelle che hanno riconosciuto lo spostamento presto e hanno costruito processi per corrispondere.

Lo stesso sarà vero qui. Gli agenti di intelligenza artificiale non sono solo aiutanti. Sono operatori con portata a livello di sistema. La loro sicurezza richiede nuovi playbook, nuove barriere di sicurezza e nuovi modi di modellare l’esposizione.

L’industria non deve temere questi strumenti. Ma deve capirli. E deve muoversi rapidamente, perché gli attaccanti già vedono l’opportunità. La domanda è se i difensori costruiranno le protezioni adeguate mentre ancora hanno il tempo.