L’onda imminente di attacchi multimodali: quando gli strumenti di intelligenza artificiale diventano la nuova superficie di attacco

Man mano che i grandi modelli linguistici (LLM) evolvono in sistemi multimodali in grado di gestire testo, immagini, voce e codice, diventano anche potenti orchestratori di strumenti e connettori esterni. Con questa evoluzione arriva una superficie di attacco ampliata che le organizzazioni devono tenere presente.

Un esempio emblematico è l’ingegneria sociale, alla quale gli agenti possono essere vittime perché sono stati addestrati ad agire come gli esseri umani e hanno ancora meno scetticismo. Un agente, ad esempio, è improbabile che possa determinare la differenza tra un’e-mail contraffatta e una proveniente da un rivenditore legittimo.

La convergenza della multimodalità e dell’accesso agli strumenti trasforma l’intelligenza artificiale da assistente a mezzo per attacchi. Gli attaccanti possono ora utilizzare semplici prompt di testo per attivare l’uso improprio degli strumenti, eseguire azioni non autorizzate o esfiltrare dati sensibili attraverso canali legittimi. Poiché queste capacità sono progettate per l’accessibilità e non per la difesa, anche gli avversari con scarsa competenza possono sfruttare i sistemi di intelligenza artificiale per eseguire operazioni complesse senza scrivere una sola riga di codice.

Come l’intelligenza artificiale multimodale diventa una catena di sfruttamento

I LLM stanno diventando sempre più orchestratori di sistemi esterni, con integrazioni che includono oggi tutto, dalle API alle e-mail, allo storage cloud e agli strumenti di esecuzione del codice. Questi connettori sono spesso costruiti per l’accessibilità, non per la difesa.

Il lato negativo di questo è che può portare a una ondata di nuovi exploit.

Uno di questi è l’uso improprio degli strumenti guidato da prompt. Ad esempio, un attaccante potrebbe utilizzare un’immagine con istruzioni di iniezione di prompt inserite in un’e-mail. Uno strumento di riconoscimento ottico dei caratteri (OCR) è necessario per estrarre il testo dall’immagine. L’agente è istruito a rispondere all’e-mail e allegare una mappa di Google all’indirizzo di casa della vittima, così de-anonimizzando la posizione della vittima.

Un altro meccanismo è l’evasione delle barriere di guardia cross-modale. Ciò si riferisce alle barriere di guardia che si trovano tra i punti di ingresso e di uscita degli strumenti. Ad esempio, analizzando l’output di un estrattore OCR, potrebbe non esserci una barriera di guardia sufficientemente forte intorno alle iniezioni di prompt scoperte dal suo output.

Esistono anche debolezze strutturali che possono essere sfruttate. Uno di questi problemi è la leggera e permissiva connessione tra il modello e gli strumenti esterni che può chiamare, il che significa che un semplice prompt di linguaggio naturale può attivare azioni reali come l’esecuzione del codice, l’accesso ai file o l’interazione con le e-mail. Inoltre, molti di questi sistemi mancano di controlli di accesso rigorosi, quindi l’intelligenza artificiale potrebbe avere la capacità di scrivere, cancellare o modificare dati ben al di là di quanto un essere umano autorizzerebbe mai. Il problema diventa ancora più grave quando si guarda ai connettori e alle estensioni di tipo MCP, che spesso arrivano con quasi nessuna barriera di guardia; una volta attaccati, ampliano la portata dell’intelligenza artificiale nei repository personali, nelle caselle di posta e nelle piattaforme cloud con scarsa supervisione. Insieme, queste debolezze strutturali creano un ambiente in cui i classici problemi di sicurezza – l’esfiltrazione, la fuga dalla sandbox e persino l’avvelenamento della memoria – possono essere attivati attraverso nulla più di un prompt astutamente progettato.

Minacce emergenti: cosa arriva dopo?

In questo nuovo normale, gli attacchi di ingegneria sociale e di phishing abilitati dall’intelligenza artificiale sono imminenti. Il phishing aumenterà a causa dell’uso dei LLM da parte degli attaccanti; il punto di strozzatura è bypassare i normali filtri antispam delle e-mail dei provider come Google. Gli agenti connessi alla casella di posta aumentano la probabilità che gli attacchi di phishing abbiano successo. Ci sarà probabilmente un aumento delle minacce basate su e-mail poiché gli utenti connettono gli agenti a Gmail o Outlook.

Gli attaccanti possono dirigere l’intelligenza artificiale per eseguire intere campagne di spam o di phishing. In questo scenario,

il phishing da intelligenza artificiale a intelligenza artificiale diventa plausibile.

I sistemi multimodali offrono sempre più capacità di esecuzione del codice. Le vie di fuga consentono agli attaccanti di violare l’infrastruttura sottostante. E le fughe dalla sandbox rappresentano il peggiore incubo per la reputazione dei venditori.

L’avvelenamento della memoria a lungo termine e i trigger differiti rappresentano ulteriori minacce. La memoria persistente consente di attivare payload nascosti su prompt futuri. I trigger cross-modali (ad esempio, immagini o snippet di testo) potrebbero attivare comportamenti a tempo.

Perché gli attacchi multimodali sono così accessibili e pericolosi

L’intelligenza artificiale ha democratizzato le capacità di attacco. Gli utenti non hanno più bisogno di competenze di codifica o di sviluppo di malware; il linguaggio naturale diventa l’interfaccia per la creazione di malware o l’esfiltrazione di dati. Ciò significa che anche gli individui non tecnici possono generare malware o eseguire campagne tramite prompt.

L’intelligenza artificiale consente anche l’accelerazione e la scalabilità delle operazioni dannose. Gli agenti multimodali possono automatizzare il lavoro che una volta richiedeva uno sforzo esperto. Il codice, le e-mail, la ricerca e la ricognizione possono essere prodotti istantaneamente.

La fiducia eccessiva degli utenti e l’esposizione involontaria contribuiscono al potenziale di danno dell’intelligenza artificiale. Gli utenti spesso non capiscono cosa l’intelligenza artificiale possa accedere, e le impostazioni predefinite abilitano sempre più le integrazioni dell’intelligenza artificiale. Molti non si rendono conto di aver concesso all’intelligenza artificiale un accesso eccessivo alle e-mail o ai documenti.

Principi e controlli per la sicurezza multimodale

Le organizzazioni devono mettere in atto misure di sicurezza contro gli attacchi multimodali. I team di sicurezza devono limitare l’accesso agli strumenti per impostazione predefinita. I controlli di opt-in devono sostituire le integrazioni abilitate automaticamente. Devono anche applicare l’accesso con privilegi minimi a tutti i sistemi connessi all’intelligenza artificiale e rimuovere l’accesso di scrittura/eliminazione. Ciò dovrebbe includere regole cross-origin e whitelisting di dominio (whitelisting dell’infrastruttura e non a livello di LLM).

Un altro passo fondamentale è costruire barriere di guardia esplicite per l’invocazione degli strumenti. Sostituire i trigger di linguaggio naturale con una convalida di comando strutturata e tipizzata. Le barriere di guardia dovrebbero essere sia punti di controllo di input che di output.

Altri principi e controlli importanti includono:

• Applicare flussi di approvazione rigorosi per le operazioni sensibili.
• Evitare di mettere i dati utente nella memoria del modello persistente. Applicare la sanificazione della memoria automatizzata e i controlli di provenienza.
• Rinforzare e isolare gli ambienti di esecuzione del codice.
• Monitorare i comportamenti sospetti e i tentativi di fuga.
• Rafforzare l’istruzione e la trasparenza degli utenti.
• Aggiungere ulteriori conferme dell’utente quando l’agente esegue attività a rischio.
• Chiarire quando gli strumenti di intelligenza artificiale accedono alle e-mail, ai file o alle risorse cloud.
• Avvertire gli utenti sui connettori ad alto rischio.

Superare gli attacchi multimodali

Le tecnologie di intelligenza artificiale si sono rapidamente trasformate in agenti delle operazioni aziendali, creando una situazione in cui il linguaggio naturale stesso diventa una forma di sfruttamento. La convergenza della multimodalità e dell’accesso agli strumenti apre la superficie di attacco, trasformando l’intelligenza artificiale da assistente a mezzo per attacchi. Gli attacchi multimodali sfruttano l’integrazione lasca tra i LLM e i sistemi esterni che controllano, come le API, lo storage dei file e le piattaforme di automazione.

Man mano che le minacce evolvono, le organizzazioni devono adottare strategie che tengano esplicitamente conto dei percorsi di attacco multimodali. Rafforzare le difese utilizzando le migliori pratiche sopra indicate è essenziale per prevenire che gli strumenti di intelligenza artificiale servano involontariamente come collegamenti nella catena di sfruttamento di un attaccante.