Sandy Dunn, CISO at SPLX – Intervista della serie

Sandy Dunn, CISO at SPLX è un veterano CISO con oltre 20 anni di esperienza nel settore sanitario e nelle startup, fornendo consulenza CISO attraverso QuarkIQ. Guida la checklist di sicurezza OWASP Top 10 per applicazioni LLM e contribuisce a OWASP AI Exchange, OWASP Top 10 per LLM e Cloud Security Alliance. È anche professore aggiunto di sicurezza informatica all’Università statale di Boise e frequente relatore, consulente e membro del consiglio di amministrazione dell’Istituto per la sicurezza informatica pervasiva di Boise State. Sandy detiene un master in gestione della sicurezza informatica presso SANS e numerose certificazioni, tra cui CISSP, multiple credenziali SANS GIAC, Security+, ISTQB e FAIR.

SPLX è un’azienda di sicurezza informatica che fornisce protezione end-to-end per sistemi di intelligenza artificiale attraverso red teaming automatizzato, protezione in fase di esecuzione, governance, risoluzione, ispezione delle minacce e sicurezza dei modelli. La sua piattaforma esegue migliaia di simulazioni di attacchi in meno di un’ora per identificare le vulnerabilità, rinforza i prompt dei sistemi prima della distribuzione e include Agentic Radar, uno strumento open-source per mappare e analizzare i rischi nei flussi di lavoro di intelligenza artificiale multi-agente.

Cosa ti ha portato per la prima volta all’intersezione di intelligenza artificiale e sicurezza informatica, e come questo percorso ti ha portato al tuo ruolo in SPLX e al coinvolgimento con OWASP?

L’intelligenza artificiale faceva parte delle conversazioni sulla sicurezza informatica da anni prima di ChatGPT, ma spesso sembrava che non avesse mantenuto le promesse. Quindi, quando è stato lanciato, mi aspettavo di essere deluso, ma invece ho avuto la reazione opposta. Quando ho utilizzato per la prima volta ChatGPT, sono stato sia ammaliato da ciò che poteva fare che terrorizzato da quanto velocemente poteva essere utilizzato per attacchi avversari o abuso della privacy. Quel momento ha acceso un fuoco. Mi sono tuffato a capofitto nell’LLM, leggendo ogni carta di ricerca che potevo trovare, unendomi a ogni comunità Slack e Discord rilevante e conducendo i miei esperimenti. Ho gironzolato per un po’ nel canale OWASP Top 10 per LLM, e quando è stata pubblicata la prima lista, ho capito che era un importante traguardo. Ma come CISO, ho sentito che i team di sicurezza avevano bisogno di ulteriori informazioni. Avevamo detto alle persone cosa temere, ma non cosa fare. Mi sono avvicinato a Steve Wilson, il capo del progetto, per creare una “Checklist di sicurezza LLM per CISO”. È poi diventata il primo sottoprogetto OWASP GenAI, che ha ispirato molti altri sottoprogetti.

Attraverso quel lavoro, ho conosciuto Kristian Kamber e Ante Gojsalic (i fondatori di SPLX) e ho anche consigliato numerose startup di sicurezza dell’intelligenza artificiale, alcune con idee promettenti, altre meno. Al momento, ero CISO in una società di chatbot B2B, creando un’estesa playbook di test di attacchi avversari dell’intelligenza artificiale. Quando ho visto la demo di SPLX, ho immediatamente riconosciuto che avevano risolto il problema con cui mi stavo confrontando: come operazionalizzare il test di attacchi avversari. Quando SPLX aveva bisogno di un CISO, ho colto l’opportunità di far parte di un’azienda incredibile con persone incredibili che risolvevano sfide importanti.

Come CISO di SPLX, quali sono le tecniche di attacco più innovative che stai scoprendo, in particolare per quanto riguarda l’intelligenza artificiale agente?

A causa delle sfumature della progettazione dei sistemi GenAI, non è possibile eliminare le vulnerabilità e gli attacchi GenAI che sfruttano l’autonomia e le capacità dell’agente. Gli attacchi di avvelenamento della memoria, come MINJA, sono un esempio recente di questo. Con MINJA, gli attaccanti possono corrompere sottilmente le banche di memoria di un agente attraverso interazioni elaborate, impiantando “ricordi” dannosi con prompt che comportano comportamenti ingannevoli o pericolosi in seguito. Un altro esempio è l’attacco della camera dell’eco. Questo è dove un avversario crea cicli conversazionali inviando a un agente ripetuti contesti maliziosi. I ricercatori sono stati in grado di bypassare i meccanismi di sicurezza rafforzando istruzioni dannose su più turni.

L’iniezione di prompt indiretta e cross-modale è un altro esempio. Le istruzioni maliziose si nascondono in contenuti esterni come immagini o documenti che gli agenti consumano. Queste istruzioni possono dirottare decisioni autonome senza input diretto dell’utente.

Gli attacchi sofisticati all’ecosistema degli agenti di intelligenza artificiale, come l’avvelenamento degli strumenti, richiedono una revisione attenta dell’intera fornitura per i dispiegamenti degli agenti di intelligenza artificiale. Gli attaccanti creano strumenti apparentemente legittimi per le piattaforme degli agenti, ma incorporano istruzioni maliziose all’interno delle descrizioni degli strumenti e della documentazione. Quando gli agenti caricano questi strumenti, le istruzioni incorporate diventano parte del contesto dell’agente, abilitando azioni non autorizzate, come l’esfiltrazione dei dati o il compromesso del sistema.

Come la piattaforma SPLX aiuta le organizzazioni a rilevare e rispondere a minacce specifiche di LLM, come l’iniezione di prompt o gli attacchi di jailbreak avversari?

SPLX è una piattaforma di sicurezza end-to-end che protegge le applicazioni alimentate da LLM e i sistemi multi-agente in tutta la vita dell’intelligenza artificiale, dalla fase di sviluppo alla distribuzione fino all’operazione in tempo reale. La nostra protezione in fase di esecuzione dell’intelligenza artificiale è progettata per fermare queste minacce mentre si verificano, monitorando e filtrando continuamente input e output. Agisce come un firewall in tempo reale per l’intelligenza artificiale e impone rigidi confini comportamentali sull’intelligenza artificiale. Il motore di rilevamento dinamico di SPLX segnala l’attività maliziosa in tempo reale, garantendo che i sistemi di intelligenza artificiale rispondano in modo sicuro e rimangano all’interno dei confini previsti.

Il GenAI Security Top 10 aggiornato di OWASP amplia rischi chiave come la perdita di prompt di sistema e le vulnerabilità del database vettoriale. Come queste nuove minacce riflettono il panorama avversario in evoluzione?

Gli aggiornamenti del 2025 di OWASP Top 10 riflettono una comprensione in evoluzione di come le LLM e le tecnologie di intelligenza artificiale generativa vengono utilizzate in scenari del mondo reale. È importante sottolineare che ci sono molte più di dieci minacce LLM, ma l’obiettivo è identificare le prime dieci. I grandi cambiamenti sono LLM07 Progettazione dei plugin non sicura è stata inclusa nella catena di approvvigionamento e LLM010 Furto di modello è stato incluso nel consumo illimitato per l’elenco del 2025, che ha creato spazio per aggiungere:

1. Perdita di prompt di sistema che identifica la minaccia di esporre il prompt di sistema può rivelare guardrail, flussi logici o anche segreti incorporati nei prompt LLM.

2. Vulnerabilità del database vettoriale che segnala le potenziali questioni di sicurezza all’interno dei sistemi RAG, come la perdita di dati tra tenant, l’inversione dell’incorporamento o i documenti avvelenati che in seguito presentano output pericolosi.

3. Gli aggiornamenti mostrano che gli attacchi di intelligenza artificiale sono evoluti da attacchi di prompt opportunamente elaborati ad attacchi sofisticati che prendono di mira l’intera catena di approvvigionamento dell’intelligenza artificiale. Gli attacchi moderni dimostrano un pensiero strategico dell’intero sistema di intelligenza artificiale, concentrandosi sulla persistenza, sulla scala e sull’impatto sistemico piuttosto che su sfruttamenti una tantum.

La copertura estesa delle architetture agente riconosce un’altra critica evoluzione. Man mano che i sistemi di intelligenza artificiale guadagnano maggiore autonomia e capacità decisionale, le conseguenze potenziali dei fallimenti della sicurezza si moltiplicano esponenzialmente. Ridurre la supervisione umana, pur consentendo applicazioni più potenti, ha un effetto di moltiplicazione che amplifica l’impatto degli attacchi riusciti.

Nella tua opinione, quali sono le vulnerabilità più comunemente trascurate nelle aziende che distribuiscono intelligenza artificiale agente oggi?

La questione più comunemente trascurata è la stessa sfida che affrontiamo con i tradizionali software e sistemi di distribuzione, il principio del minimo privilegio. Stiamo ancora lottando con il minimo privilegio per gli utenti umani e gli account di servizio e ora le organizzazioni affrontano una nuova sfida nella gestione delle identità non umane (NIH). Le persone stanno distribuendo agenti mentre l’identità e l’accesso degli agenti non sono ancora pienamente compresi o risolti. Vediamo agenti con ampie autorizzazioni per leggere documenti, accedere a API esterne e anche modificare sistemi. Ciò non è un difetto tecnico nel modello stesso, è un errore fondamentale di architettura. Un agente compromesso con privilegi eccessivi può provocare devastazione, dall’esfiltrazione di enormi quantità di dati all’avvio di transazioni finanziarie.

Un’altra questione spesso trascurata o ignorata è la “relazione di fiducia” tra gli agenti. Nei sistemi agente, gli agenti sono spesso progettati per comunicare e cooperare tra loro. Stiamo vedendo una nuova classe di attacchi in cui un agente compromesso può impersonare un agente legittimo, diventando essenzialmente un “Agente-nel-mezzo”. È come un cavallo di Troia, ma a livello architettonico.

Puoi guidarci attraverso i passaggi azionabili che i team di sicurezza aziendale dovrebbero intraprendere quando distribuiscono strumenti di intelligenza artificiale agente in ambienti di produzione?

1. Inizia con i piani di risposta agli incidenti. Cosa sembra il peggiore dei giorni, poi lavora a ritroso per assicurarti che i controlli di sicurezza e la visibilità siano in atto. Quando si verifica una violazione dell’intelligenza artificiale, il tuo centro operativo di sicurezza ha bisogno di una playbook. Chi viene notificato? Come isoli un agente compromesso? Qual è il processo per tornare a uno stato noto-buono? Avere un piano prima che si verifichi una crisi è vitale.

2. Inventariazione della superficie di attacco e valutazione delle minacce. Non puoi proteggere ciò che non sai di avere. Il primo passo è ottenere un inventario completo di tutti gli agenti di intelligenza artificiale, gli strumenti in uso e l’accesso ai dati. Quali dati tocca? Quali autorizzazioni ha? Qual è l’impatto potenziale se viene compromesso? Priorizza le minacce ad alto impatto e più probabili. Quindi, hai una conversazione sincera con il team esecutivo sul rischio appetito. Un vantaggio dell’attività di intelligenza artificiale accelerata è che i CISO, gli ufficiali di rischio, i team legali e la leadership esecutiva saranno costretti ad avere una conversazione reale sugli obiettivi aziendali, il rischio appetito e i budget di sicurezza. Storicamente c’era un’aspettativa di zero incidenti con un budget minimo. I CISO hanno (per lo più) evitato un grande incidente implementando solo abbastanza sicurezza per rendere la loro organizzazione un bersaglio meno attraente di quella con meno sicurezza. Gli avversari abilitati dall’intelligenza artificiale rendono quella strategia irrealistica ora.

3. Implementa guardrail, minimo privilegio e strumenti di monitoraggio. L’ambito è importante per qualsiasi distribuzione di agenti. Definisci lo scopo di un agente, i suoi confini e le sue autorizzazioni. Non dare a un agente l’accesso alla tua intera libreria di SharePoint se ha solo bisogno di una cartella. Implementa controlli che limitano quali API può chiamare e quali azioni può eseguire. Pensalo come a un nuovo, molto intelligente, stagista ubriaco. Riconosci che ha capacità incredibili, ma non ti fideresti. Limiteresti ciò che potrebbe fare all’interno dell’azienda, non gli daresti accesso a nulla di importante, monitoreresti ciò che fa e potresti avere sistemi di allarme in atto se provasse a fare qualcosa che assolutamente non dovrebbe fare, come accedere all’ufficio del CEO.

4. Implementa uno stack di sicurezza specifico per l’intelligenza artificiale che si fonde con il tuo tradizionale stack di sicurezza. Gli strumenti di sicurezza tradizionali non sono stati progettati per i sistemi GenAI o agente. Devi implementare strumenti progettati per questioni uniche di GenAI, come la convalida dei prompt, la sanificazione dell’output e il monitoraggio continuo del comportamento dell’agente. Questi strumenti devono essere in grado di rilevare gli attacchi sottili e basati sulla semantica specifici di GenAI e agente.

5. Integra il red teaming dell’intelligenza artificiale nella pipeline CI/CD. Devi testare continuamente i tuoi agenti per le vulnerabilità in base alla significatività delle modifiche e al rischio appetito dell’organizzazione. L’aggiornamento recente di GPT-5 è un esempio di come i cambiamenti disruptivi possano essere sui flussi di lavoro agente. Rendi il red teaming automatizzato una parte fondamentale del tuo ciclo di sviluppo. Ciò ti aiuta a identificare le questioni man mano che aggiorni e modifichi i tuoi agenti.

Come le organizzazioni dovrebbero incorporare il red teaming automatizzato, il CIAM, la governance RAG e il monitoraggio nella loro strategia di gestione del rischio GenAI?

La chiave è l’integrazione piuttosto che trattarli come iniziative separate. La tua strategia di gestione del rischio GenAI deve essere un framework coerente in cui ogni componente rafforza gli altri.

Inizia con il red teaming automatizzato come fondamento. È importante avere test di attacchi avversari continui che evolvono con il panorama delle minacce. La piattaforma SPLX simula migliaia di scenari di attacco in diverse categorie di rischio, testando l’iniezione di prompt, il jailbreak, la manipolazione del contesto e l’avvelenamento degli strumenti. L’aspetto critico è renderlo parte della tua pipeline CI/CD in modo che ogni aggiornamento dell’agente sia convalidato per la sicurezza prima della distribuzione.

Il CIAM per i sistemi di intelligenza artificiale richiede una rielaborazione dei modelli di identità tradizionali. Gli agenti di intelligenza artificiale necessitano di autorizzazioni granulari che possono essere regolate dinamicamente in base al contesto e ai livelli di rischio. Implementa il controllo dell’accesso basato sugli attributi che considera non solo l’identità dell’agente, ma anche i dati che sta elaborando, gli strumenti a cui sta richiedendo l’accesso e il contesto della minaccia.

La governance RAG è particolarmente cruciale. Stabilisci la tracciabilità della linea di dati per tutti i contenuti ingeriti negli archivi vettoriali. Implementa pipeline di convalida dei contenuti che possano rilevare esempi avversari o istruzioni maliziose incorporate nei documenti.

Per il monitoraggio, hai bisogno di telemetria che catturi sia indicatori tecnici che comportamentali. Il monitoraggio tecnico include l’analisi input/output, i modelli di chiamata API e il consumo di risorse. Il monitoraggio comportamentale si concentra sulla qualità della decisione, i modelli di completamento del compito e i contesti di interazione che potrebbero indicare un compromesso.

L’integrazione è importante. I risultati del red teaming devono informare le politiche CIAM, i sistemi di monitoraggio devono alimentare i processi di governance RAG e tutto ciò deve essere coordinato attraverso una piattaforma di gestione del rischio aziendale centralizzata che possa correlare segnali in tutti questi domini.

Con le violazioni di sicurezza relative all’intelligenza artificiale ancora in una fase iniziale ma pronte a crescere, quali tendenze dovrebbero prepararsi i leader della sicurezza nei prossimi 12-18 mesi?

Mi aspetto di vedere un aumento significativo degli attacchi alla catena di approvvigionamento che prendono di mira tutto, compresa l’infrastruttura di intelligenza artificiale. Gli attacchi alla catena di approvvigionamento di intelligenza artificiale avvelenano i set di dati di training, compromettono i repository di modelli o iniettano codice malizioso nelle dipendenze software per ottenere l’accesso persistente ai sistemi di intelligenza artificiale.

C’è già un aumento degli attacchi di ingegneria sociale autonomi, come gli incidenti di vishing deepfake, ma l’evoluzione verso la generazione completamente autonoma è ciò che mi preoccupa di più. Gli agenti di intelligenza artificiale che gestiscono intere campagne di ingegneria sociale su più piattaforme contemporaneamente, ciascuna personalizzata per bersagli e contesti specifici, creano un effetto moltiplicatore che le difese tradizionali non sono preparate ad affrontare.

Mi aspetto di vedere il sorgere di attacchi nativi di intelligenza artificiale che operano alla velocità della macchina. Gli strumenti di sicurezza tradizionali e gli analisti umani non possono tenere il passo con un attaccante che può eseguire exploit complessi e multistage in millisecondi.

Come prevedi che i framework normativi e di conformità evolveranno in risposta ai rischi di intelligenza artificiale generativa?

Mi aspetto un grande cambiamento nei framework normativi, finalizzato a bilanciare l’innovazione con un focus sull’affidabilità, la trasparenza, le pratiche di sviluppo sicure e la sicurezza della catena di approvvigionamento.

Mi aspetto di vedere un focus sulla provenienza e sull’integrità dei dati. Gli organismi di regolamentazione vorranno sapere da dove provengono i dati utilizzati per addestrare e arricchire i modelli di intelligenza artificiale. Vorranno vedere la prova che i dati sono stati sanificati, che non contengono informazioni sensibili e che non sono stati avvelenati.

Infine, credo che vedremo regolamentazioni specifiche per settore. I rischi per un’istituzione finanziaria che utilizza un agente di intelligenza artificiale per gestire le transazioni sono diversi da quelli di un’azienda sanitaria che lo utilizza per la diagnostica.

I regolatori inizieranno a definire standard specifici per settori critici, richiedendo cose come il red teaming automatizzato, la supervisione umana e una rigorosa revisione per i sistemi di intelligenza artificiale che potrebbero avere conseguenze di vita o di morte.

Come professore aggiunto e membro del consiglio di amministrazione dell’Istituto per la sicurezza informatica pervasiva di Boise State, come stai preparando la prossima generazione di professionisti della sicurezza dell’intelligenza artificiale, e quali competenze ritieni più critiche nel panorama in evoluzione di oggi?

Il pensiero critico e la risoluzione dei problemi sono ancora le competenze più importanti che gli studenti devono avere per una grande carriera nella sicurezza informatica, ma competenze come la psicologia umana e la linguistica, un tempo trovate solo all’interno dei team di intelligence delle minacce, sono competenze che beneficeranno una varietà di ruoli nella sicurezza informatica nel futuro dell’intelligenza artificiale.

Le competenze delle persone e della comunicazione sono importanti anche loro. La sicurezza informatica è più che sistemi IT, è questione di persone, aiutare un’azienda a raggiungere i suoi obiettivi aziendali e essere in grado di tradurre e comunicare rischi tecnici complessi a stakeholder non tecnici in modo che possano prendere le decisioni giuste per l’azienda. Il futuro della sicurezza informatica dipenderà da professionisti che sono non solo tecnicamente intelligenti ma anche comunicatori radicati e abili.

Infine, il panorama della sicurezza dell’intelligenza artificiale sta evolvendo così rapidamente, quindi sarà importante essere in grado di imparare e adattarsi rapidamente.

Grazie per la grande intervista e le approfondite informazioni, i lettori che desiderano saperne di più possono visitare SPLX.