Le Vulnerabilità di Sicurezza che Abbiamo Costruito: Agenti AI e il Problema dell’Obedienza

Gli agenti AI basati su LLM stanno introducendo una nuova classe di vulnerabilità, in cui gli attaccanti iniettano istruzioni maliziose nei dati, trasformando sistemi utili in complici involontari.

Microsoft Copilot non è stato violato nel senso classico. Non c’è stato malware, nessun link di phishing, nessun codice malizioso. Nessuno ha cliccato nulla o distribuito alcun exploit.

Il soggetto minaccioso ha semplicemente chiesto. Microsoft 365 Copilot, facendo esattamente ciò per cui era stato costruito, ha obbedito. Nell’attacco recente Echoleak zero click, l’agente AI è stato manipolato da un prompt mascherato da dati. Ha obbedito, non perché era rotto, ma perché funzionava come era stato progettato.

Questa vulnerabilità non ha sfruttato bug del software. Ha sfruttato il linguaggio. E questo segna un punto di svolta importante nella sicurezza informatica, in cui la superficie di attacco non è più il codice, ma la conversazione.

Il Nuovo Problema di Obedienza AI

Gli agenti AI sono progettati per aiutare. Il loro scopo è comprendere l’intento dell’utente e agire su di esso in modo efficiente. Quell’utilità comporta un rischio. Quando integrati in sistemi di file, piattaforme di produttività o sistemi operativi, questi agenti seguono comandi di linguaggio naturale con minima resistenza.

I soggetti minacciosi stanno sfruttando proprio quel tratto. Con iniezioni di prompt che appaiono innocue, possono scatenare azioni sensibili. Questi prompt possono includere:

• Fragmenti di codice multilingue
• Formati di file oscuri e istruzioni incorporate
• Input in lingue non inglesi
• Comandi multi-step nascosti in linguaggio informale

Poiché i modelli di linguaggio grandi (LLM) sono addestrati a comprendere la complessità e l’ambiguità, il prompt diventa il payload.

Il Fantasma di Siri e Alexa

Questo pattern non è nuovo. Nei primi giorni di Siri e Alexa, i ricercatori hanno dimostrato come riprodurre un comando vocale come “Invia tutte le mie foto a questo indirizzo email” potesse scatenare un’azione senza verifica dell’utente.

Ora la minaccia è più grande. Gli agenti AI come Microsoft Copilot sono integrati profondamente in Office 365, Outlook e il sistema operativo. Hanno accesso a email, documenti, credenziali e API. Gli attaccanti hanno solo bisogno del prompt giusto per estrarre dati critici, tutto mentre si spacciano per utenti legittimi.

Quando i Computer Scambiano Istruzioni per Dati

Questo non è un principio nuovo nella sicurezza informatica. Iniezioni come attacchi SQL sono riusciti perché i sistemi non potevano distinguere tra input e istruzione. Oggi, quella stessa falla esiste, ma a livello di linguaggio.

Gli agenti AI trattano il linguaggio naturale come input e intento. Un oggetto JSON, una domanda o anche una frase possono iniziare un’azione. Questa ambiguità è ciò che gli attaccanti sfruttano, incorporando comandi all’interno di contenuti che sembrano inoffensivi.

Abbiamo incorporato l’intento nella nostra infrastruttura. Ora, gli attaccanti hanno imparato come estrarlo per fare la loro volontà.

L’Adozione di AI Sta Superando la Sicurezza Informatica

Mentre le imprese si affrettano a integrare i LLM, molte trascurano una domanda critica: a cosa ha accesso l’AI?

Quando Copilot può toccare il sistema operativo, il raggio di azione si estende ben oltre la casella di posta. Secondo il Rapporto sulla sicurezza AI di Check Point:

• Il 62 percento dei Chief Information Security Officers (CISO) globali teme di poter essere ritenuti personalmente responsabili per violazioni relative all’AI
• Quasi il 40 percento delle organizzazioni segnala l’uso interno non autorizzato di AI, spesso senza supervisione della sicurezza
• Il 20 percento dei gruppi di criminali informatici incorpora ora l’AI nelle loro operazioni, compreso per creare phishing e condurre ricognizioni

Questo non è solo un rischio emergente. È un rischio presente che sta già causando danni.

Perché le Misure di Sicurezza Esistenti non Sono Sufficienti

Alcuni vendor utilizzano watchdog — modelli secondari addestrati a rilevare prompt pericolosi o comportamenti sospetti. Questi filtri possono rilevare minacce di base, ma sono vulnerabili a tecniche di evasione.

Gli attaccanti possono:

• Sovraccaricare i filtri con rumore
• Dividere l’intento in più passaggi
• Utilizzare una fraseologia non ovvia per bypassare la rilevazione

Nel caso di Echoleak, le misure di sicurezza erano presenti — e sono state bypassate. Ciò riflette non solo un fallimento della politica, ma un fallimento dell’architettura. Quando un agente ha autorizzazioni di alto livello ma contesto di basso livello, anche le buone barriere di sicurezza non sono sufficienti.

Rilevamento, non Perfezione

Prevenire ogni attacco potrebbe essere irrealistico. L’obiettivo deve essere il rilevamento rapido e la contenimento rapido.

Le organizzazioni possono iniziare:

• Monitorando l’attività degli agenti AI in tempo reale e mantenendo registri di prompt
• Applicando l’accesso con privilegi minimi agli strumenti AI, specchiando i controlli di amministrazione
• Aggiungendo attrito alle operazioni sensibili, come ad esempio richiedendo conferme
• Segnalando modelli di prompt insoliti o avversari per la revisione

Gli attacchi basati sul linguaggio non appariranno negli strumenti di rilevamento e risposta tradizionali. Richiedono un nuovo modello di rilevamento.

Cosa le Organizzazioni Dovrebbero Fare Ora per Proteggersi

Prima di distribuire gli agenti AI, le organizzazioni devono capire come funzionano questi sistemi e quali rischi introducono.

Le raccomandazioni chiave includono:

1. Verificare tutti gli accessi: sapere cosa gli agenti possono toccare o scatenare
2. Limitare l’ambito: concedere autorizzazioni minime necessarie
3. Tracciare tutte le interazioni: registrare prompt, risposte e azioni risultanti
4. Test di stress: simulare input avversari internamente e frequentemente
5. Pianificare l’evasione: supporre che i filtri saranno bypassati
6. Allineare con la sicurezza: assicurarsi che i sistemi LLM supportino, non compromettano, gli obiettivi di sicurezza

La Nuova Superficie di Attacco

Echoleak è un’anteprima di ciò che verrà. Mentre i LLM evolvono, la loro utilità diventa una responsabilità. Integrati profondamente nei sistemi aziendali, offrono agli attaccanti un nuovo modo per entrare — attraverso prompt semplici e ben costruiti.

Questo non è più solo questione di proteggere il codice. È questione di proteggere il linguaggio, l’intento e il contesto. Il piano deve cambiare ora, prima che sia troppo tardi.

Eppure, c’è una buona notizia. Ci sono progressi nella leveraggio degli agenti AI per difendere contro nuove e emergenti minacce informatiche. Quando utilizzati correttamente, questi agenti AI autonomi possono rispondere alle minacce più velocemente di qualsiasi essere umano, collaborare attraverso ambienti e difendere proattivamente contro rischi emergenti imparando da un solo tentativo di intrusione.

Gli agenti AI possono imparare da ogni attacco, adattarsi in tempo reale e prevenire minacce prima che si diffondano. Hanno il potenziale di stabilire una nuova era di resilienza informatica, ma solo se cogliamo questo momento e plasmiamo il futuro della sicurezza informatica insieme. Se non lo facciamo, questa nuova era potrebbe segnalare un incubo di sicurezza informatica e privacy dei dati per le organizzazioni che hanno già implementato l’AI (a volte anche senza saperlo con strumenti di shadow IT). Ora è il momento di agire per assicurarsi che gli agenti AI siano utilizzati per il nostro beneficio e non per la nostra rovina.