Sandy Dunn, CISO di SPLX – Serie di Interviste

Sandy Dunn, CISO di SPLX, è un veterano CISO con oltre 20 anni di esperienza nel settore sanitario e nelle startup, fornendo consulenza CISO attraverso QuarkIQ. Guida la checklist di sicurezza e governance per applicazioni LLM dell’OWASP Top 10 e contribuisce all’OWASP AI Exchange, all’OWASP Top 10 per LLM e alla Cloud Security Alliance. È anche professore aggiunto di sicurezza informatica all’Università statale di Boise e frequente relatore, consulente e membro del consiglio di amministrazione dell’Istituto per la sicurezza informatica pervasiva di Boise State. Sandy ha un master in gestione della sicurezza delle informazioni presso la SANS e numerose certificazioni, tra cui CISSP, multiple credenziali SANS GIAC, Security+, ISTQB e FAIR.

SPLX è un’azienda di sicurezza informatica che fornisce una protezione completa per i sistemi di intelligenza artificiale attraverso il red teaming automatizzato, la protezione in fase di esecuzione, la governance, la risoluzione, l’ispezione delle minacce e la sicurezza dei modelli. La sua piattaforma esegue migliaia di simulazioni di attacchi in meno di un’ora per identificare le vulnerabilità, rinforza i prompt dei sistemi prima della distribuzione e include Agentic Radar, uno strumento open-source per la mappatura e l’analisi dei rischi nei flussi di lavoro di intelligenza artificiale multi-agente.

Cosa ti ha portato all’intersezione tra intelligenza artificiale e sicurezza informatica, e come questo percorso ti ha condotto al tuo ruolo in SPLX e al tuo coinvolgimento con l’OWASP?

L’intelligenza artificiale faceva parte delle conversazioni sulla sicurezza informatica da anni prima di ChatGPT, ma spesso sembrava che non avesse mantenuto le promesse. Quindi, quando è stato lanciato, mi aspettavo di essere deluso, ma invece ho avuto la reazione opposta. Quando ho utilizzato ChatGPT per la prima volta, sono stato sia ammaliato da ciò che poteva fare che terrorizzato da come poteva essere utilizzato per attacchi ostili o abusi di privacy. Quel momento ha acceso una scintilla. Mi sono immerso nell’LLM a tempo pieno, leggendo ogni carta di ricerca che potevo trovare, unendomi a ogni comunità Slack e Discord rilevante e conducendo i miei esperimenti. Ho partecipato per un po’ al canale OWASP Top 10 per LLM, e quando è stata pubblicata la prima lista, ho capito che era un momento importante. Ma come CISO, ho sentito che i team di sicurezza avevano bisogno di ulteriori informazioni. Avevamo detto alle persone cosa preoccuparsi, ma non cosa fare. Mi sono avvicinato a Steve Wilson, il capo del progetto, per creare una “Checklist di sicurezza LLM per CISO”. È poi diventata il primo sottoprogetto OWASP GenAI, che ha ispirato molti altri sottoprogetti.

Attraverso quel lavoro, ho conosciuto Kristian Kamber e Ante Gojsalic (i fondatori di SPLX) e ho anche consigliato numerose startup di sicurezza informatica per l’intelligenza artificiale, alcune con idee promettenti, altre meno. Al momento, ero CISO in un’azienda di chatbot B2B, creando un’esaustiva playbook di test di attacchi ostili per l’intelligenza artificiale. Quando ho visto la demo di SPLX, ho immediatamente riconosciuto che avevano risolto il problema con cui mi stavo confrontando: come operazionalizzare i test di attacchi ostili. Quando SPLX aveva bisogno di un CISO, ho colto l’opportunità di far parte di un’azienda incredibile con persone incredibili che risolvevano sfide importanti.

Come CISO di SPLX, quali sono le tecniche di attacco più innovative che stai scoprendo, in particolare riguardo all’intelligenza artificiale agente?

A causa delle sfumature del design dei sistemi GenAI, non è possibile eliminare le vulnerabilità e gli attacchi GenAI che sfruttano l’autonomia e le capacità dell’agente. Gli attacchi di avvelenamento della memoria, come MINJA, sono un esempio recente di ciò. Con MINJA, gli attaccanti possono corrompere sottilmente le banche di memoria di un agente attraverso interazioni progettate, impiantando “ricordi” dannosi con prompt che risultano in comportamenti ingannevoli o pericolosi in seguito. Un altro esempio è l’attacco della camera dell’eco. Questo è dove un avversario crea cicli conversazionali inviando un agente ripetuti contesti maligni. I ricercatori sono stati in grado di bypassare i meccanismi di sicurezza rafforzando istruzioni dannose su più turni.

L’iniezione di prompt indiretta e cross-modale è un altro esempio. Le istruzioni maliziose si nascondono in contenuti esterni come immagini o documenti che gli agenti consumano. Queste istruzioni possono dirottare le decisioni autonome senza input diretto dell’utente.

Gli attacchi sofisticati all’ecosistema degli agenti di intelligenza artificiale, come l’avvelenamento degli strumenti, richiedono una revisione attenta dell’intera fornitura per i dispiegamenti degli agenti di intelligenza artificiale. Gli attaccanti creano strumenti apparentemente legittimi per le piattaforme degli agenti, ma incorporano istruzioni maliziose all’interno delle descrizioni e della documentazione degli strumenti. Quando gli agenti caricano questi strumenti, le istruzioni incorporate diventano parte del contesto dell’agente, abilitando azioni non autorizzate come l’esfiltrazione dei dati o il compromesso del sistema.

Come aiuta la piattaforma SPLX le organizzazioni a rilevare e rispondere a minacce specifiche di LLM, come iniezioni di prompt o attacchi di jailbreak?

SPLX è una piattaforma di sicurezza end-to-end che protegge le applicazioni alimentate da LLM e i sistemi multi-agente in tutta la vita dell’intelligenza artificiale, dalla fase di sviluppo alla distribuzione fino all’operazione in tempo reale. La nostra protezione in fase di esecuzione dell’intelligenza artificiale è progettata per fermare queste minacce mentre si verificano, monitorando e filtrando continuamente input e output. Funziona come un firewall in tempo reale per l’intelligenza artificiale e applica rigidi confini comportamentali all’intelligenza artificiale. Il motore di rilevamento dinamico di SPLX segnala l’attività maliziosa in tempo reale, garantendo che i sistemi di intelligenza artificiale rispondano in modo sicuro e rimangano all’interno dei confini previsti.

L’aggiornamento dell’OWASP GenAI Security Top 10 estende i rischi chiave come la perdita di sistema-prompt e le vulnerabilità del database vettore. Come riflettono queste nuove minacce il paesaggio adversarial in evoluzione?

Gli aggiornamenti dell’OWASP Top 10 del 2025 riflettono una comprensione in evoluzione di come le tecnologie di intelligenza artificiale generativa e LLM vengono utilizzate in scenari del mondo reale. È importante notare che ci sono molte più di dieci minacce LLM, ma l’obiettivo è identificare le prime dieci. I grandi cambiamenti sono LLM07 Progettazione dei plugin non sicura inclusa nella catena di approvvigionamento e LLM010 Furto del modello incluso nel consumo illimitato per l’elenco del 2025, che ha creato spazio per aggiungere:

1. La perdita di sistema-prompt identifica la minaccia di esporre il prompt del sistema, che può rivelare guardrail, flussi logici o anche segreti incorporati nei prompt LLM.

2. Le vulnerabilità del database vettore segnalano le potenziali questioni di sicurezza all’interno dei sistemi RAG, come la perdita di dati tra tenant, l’inversione dell’incorporamento o i documenti avvelenati che in seguito producono output pericolosi.

3. Gli aggiornamenti mostrano che gli attacchi guidati dall’intelligenza artificiale sono evoluti da attacchi di prompt opportunamente progettati ad attacchi sofisticati che prendono di mira l’intera catena di approvvigionamento dell’intelligenza artificiale. Gli attacchi moderni dimostrano un pensiero strategico dell’intero sistema di intelligenza artificiale, concentrandosi sulla persistenza, sulla scala e sull’impatto sistemico piuttosto che su sfruttamenti una tantum.

L’ampliamento della copertura delle architetture agente riconosce un’altra critica evoluzione. Man mano che i sistemi di intelligenza artificiale guadagnano maggiore autonomia e capacità decisionale, le conseguenze delle violazioni della sicurezza si moltiplicano esponenzialmente. Ridurre la supervisione umana, pur abilitando applicazioni più potenti, ha un effetto moltiplicatore che amplifica l’impatto degli attacchi di successo.

Nella tua opinione, quali sono le vulnerabilità più comunemente trascurate nelle imprese che attualmente implementano l’intelligenza artificiale agente?

La questione più comunemente trascurata è la stessa sfida che affrontiamo con i dispiegamenti di software e sistemi tradizionali, il principio del minimo privilegio. Stiamo ancora lottando con il minimo privilegio per gli utenti umani e gli account di servizio e ora le organizzazioni affrontano una nuova sfida nella gestione delle identità non umane (NIH). Le persone stanno distribuendo agenti mentre l’identità e l’accesso degli agenti non sono ancora pienamente compresi o risolti. Vediamo agenti con ampi privilegi per leggere documenti, accedere a API esterne e anche modificare sistemi. Ciò non è un difetto tecnico nel modello stesso, è un errore fondamentale di architettura. Un agente compromesso con privilegi eccessivi può provocare il caos, dall’esfiltrazione di grandi quantità di dati all’avvio di transazioni finanziarie.

Un’altra questione spesso trascurata o ignorata è la “relazione di fiducia” tra gli agenti. Nei sistemi agente, gli agenti sono spesso progettati per comunicare e cooperare tra loro. Stiamo vedendo una nuova classe di attacchi in cui un agente compromesso può impersonare un agente legittimo, diventando essenzialmente un “Agente-nel-mezzo”. È come un Trojan, ma a livello architettonico.

Puoi guidarci attraverso i passaggi azionabili che i team di sicurezza delle imprese dovrebbero intraprendere quando distribuiscono strumenti di intelligenza artificiale agente in ambienti di produzione?

1. Inizia con i piani di risposta agli incidenti. Cosa sembra il peggiore dei giorni, poi lavora a ritroso per assicurarti che i controlli di sicurezza e la visibilità siano in atto. Quando si verifica una violazione dell’intelligenza artificiale, il tuo centro operativo di sicurezza ha bisogno di una playbook. Chi viene notificato? Come si isola un agente compromesso? Qual è il processo per tornare a uno stato noto-buono? Avere un piano prima che si verifichi una crisi è vitale.

2. Inventario della superficie di attacco e valutazione della minaccia. Non puoi proteggere ciò che non sai di avere. Il primo passo è ottenere un inventario completo di tutti gli agenti di intelligenza artificiale, gli strumenti in uso e l’accesso ai dati. Quali dati tocca? Quali privilegi ha? Qual è l’impatto potenziale se viene compromesso? Priorizza in base all’impatto e alle minacce più probabili. Quindi, hai una conversazione onesta con il team esecutivo sulla propensione al rischio. Un vantaggio dell’attività di intelligenza artificiale accelerata è che i CISO, gli ufficiali di rischio, i team legali e la leadership esecutiva saranno costretti ad avere una conversazione reale sugli obiettivi aziendali, sulla propensione al rischio e sui budget di sicurezza. Storicamente c’era l’aspettativa di zero incidenti con un budget minimo. I CISO hanno (per lo più) evitato un grande incidente implementando solo la sicurezza sufficiente per rendere la loro organizzazione un bersaglio meno attraente di quello con meno sicurezza. Gli avversari abilitati dall’intelligenza artificiale rendono quella strategia irrealistica ora.

3. Implementa i guardrail, il minimo privilegio e gli strumenti di monitoraggio. L’ambito è importante per qualsiasi distribuzione di agenti. Definisci lo scopo dell’agente, i suoi confini e i suoi privilegi. Non dare all’agente l’accesso alla tua intera libreria di SharePoint se ha solo bisogno di una cartella. Implementa controlli che limitano quali API può chiamare e quali azioni può eseguire. Pensalo come a un nuovo, molto intelligente, stagista ubriaco. Riconosci che ha capacità incredibili, ma non gli affideresti. Limiterebbe cosa potrebbe fare all’interno dell’azienda, non gli darebbe accesso a nulla di importante, monitorerebbe cosa fa e potresti avere sistemi di allarme in atto se cercasse di fare qualcosa che assolutamente non dovrebbe fare, come accedere all’ufficio del CEO.

4. Implementa uno stack di sicurezza specifico per l’intelligenza artificiale che si integra con il tuo stack di sicurezza tradizionale. Gli strumenti di sicurezza tradizionali non sono stati progettati per i sistemi GenAI o agente. Devi implementare strumenti progettati per questioni uniche di GenAI, come la convalida dei prompt, la sanificazione dell’output e il monitoraggio continuo del comportamento dell’agente. Questi strumenti devono essere in grado di rilevare gli attacchi sottili e basati sulla semantica specifici di GenAI e agente.

5. Integra il red teaming dell’intelligenza artificiale nella pipeline CI/CD. Devi testare continuamente i tuoi agenti per le vulnerabilità in base alla significatività dei cambiamenti e alla propensione al rischio dell’organizzazione. L’aggiornamento recente di GPT-5 è un esempio di come i cambiamenti disruptivi possano essere sui flussi di lavoro agente. Rendi il red teaming automatizzato una parte fondamentale del tuo ciclo di sviluppo. Ciò ti aiuta a identificare le problematiche man mano che aggiorni e modifichi i tuoi agenti.

Come dovrebbero le organizzazioni incorporare il red teaming automatizzato, il CIAM, la governance RAG e il monitoraggio nella loro strategia di gestione del rischio GenAI?

La chiave è l’integrazione piuttosto che trattarli come iniziative separate. La tua strategia di gestione del rischio GenAI deve essere un framework coerente in cui ogni componente rafforza gli altri.

Inizia con il red teaming automatizzato come fondamento. È importante avere test di attacchi continui che evolvono con il panorama delle minacce. La piattaforma SPLX simula migliaia di scenari di attacco attraverso diverse categorie di rischio, testando l’iniezione di prompt, le rotture di jail, la manipolazione del contesto e l’avvelenamento degli strumenti. L’aspetto critico è renderlo parte della tua pipeline CI/CD in modo che ogni aggiornamento dell’agente sia convalidato per la sicurezza prima della distribuzione.

Il CIAM per i sistemi di intelligenza artificiale richiede di ripensare i modelli di identità tradizionali. Gli agenti di intelligenza artificiale necessitano di autorizzazioni granulari che possono essere regolate dinamicamente in base al contesto e ai livelli di rischio. Implementa il controllo di accesso basato sugli attributi che considera non solo l’identità dell’agente, ma anche i dati che sta elaborando, gli strumenti a cui sta richiedendo l’accesso e il contesto della minaccia.

Per il monitoraggio, hai bisogno di telemetria che cattura sia indicatori tecnici che comportamentali. Il monitoraggio tecnico include l’analisi input/output, i modelli di chiamata API e il consumo di risorse. Il monitoraggio comportamentale si concentra sulla qualità della decisione, sui modelli di completamento delle attività e sui contesti di interazione che potrebbero indicare un compromesso.

L’integrazione è importante. I risultati del red teaming devono informare le politiche CIAM, i sistemi di monitoraggio devono alimentare i processi di governance RAG e tutto ciò deve essere coordinato attraverso una piattaforma di gestione del rischio aziendale centralizzata che possa correlare segnali attraverso tutti questi domini.

Con le violazioni dell’intelligenza artificiale ancora in una fase iniziale ma pronte a crescere, quali tendenze dovrebbero preparare i leader della sicurezza nei prossimi 12-18 mesi?

Mi aspetto di vedere un aumento significativo degli attacchi alla catena di approvvigionamento che prendono di mira tutto, compresa l’infrastruttura di intelligenza artificiale. Gli attacchi alla catena di approvvigionamento di intelligenza artificiale avvelenano i set di dati di training, compromettono i repository di modelli o iniettano codice malizioso nelle dipendenze del software per ottenere l’accesso persistente ai sistemi di intelligenza artificiale.

C’è già un aumento degli attacchi di ingegneria sociale autonomi, come gli incidenti di vishing deepfake, ma l’evoluzione verso la generazione completamente autonoma è ciò che mi preoccupa di più. Gli agenti di intelligenza artificiale gestiscono campagne di ingegneria sociale complete su più piattaforme contemporaneamente, ognuna personalizzata per bersagli e contesti specifici, creando un effetto moltiplicatore che le difese tradizionali non sono pronte ad affrontare.

Credo che vedremo il sorgere di attacchi nativi di intelligenza artificiale che operano alla velocità della macchina. Gli strumenti di sicurezza tradizionali e gli analisti umani non possono tenere il passo con un attaccante che può eseguire exploit complessi e multistage in millisecondi.

Come prevedi che i quadri normativi e di conformità evolveranno in risposta ai rischi generativi di intelligenza artificiale?

Mi aspetto un grande cambiamento nei quadri normativi, volto a bilanciare l’innovazione con un focus sull’accountability, la trasparenza, le pratiche di sviluppo sicure e la sicurezza della catena di approvvigionamento.

Mi aspetto di vedere un focus sulla provenienza e sull’integrità dei dati. Gli organismi di regolamentazione vorranno sapere da dove provengono i dati utilizzati per addestrare e arricchire i modelli di intelligenza artificiale. Vorranno vedere la prova che i dati sono stati sanificati, che non contengono informazioni sensibili e che non sono stati avvelenati.

Infine, credo che vedremo regolamentazioni specifiche per settore. I rischi per un’istituzione finanziaria che utilizza un agente di intelligenza artificiale per gestire le transazioni sono diversi da quelli di un’azienda sanitaria che utilizza uno per la diagnostica.

Gli organismi di regolamentazione inizieranno a definire standard specifici per settori critici, richiedendo cose come il red teaming automatizzato, la supervisione umana nel loop e un’auditing rigorosa per i sistemi di intelligenza artificiale che potrebbero avere conseguenze di vita o di morte.

Come professore aggiunto e membro del consiglio di amministrazione dell’Istituto per la sicurezza informatica pervasiva di Boise State, come stai preparando la prossima generazione di professionisti della sicurezza dell’intelligenza artificiale, e quali competenze vedi come più critiche nel panorama in evoluzione di oggi?

Il pensiero critico e la risoluzione dei problemi sono ancora le competenze più importanti che gli studenti devono avere per una carriera di successo nella sicurezza informatica, ma competenze come la psicologia umana e la linguistica, un tempo trovate solo all’interno dei team di intelligence delle minacce, sono competenze che beneficeranno una varietà di ruoli nella sicurezza informatica nel futuro dell’intelligenza artificiale.

Le competenze delle persone e della comunicazione sono importanti anche. La sicurezza informatica è più che sistemi IT, è questione di persone, aiutare un’azienda a raggiungere i suoi obiettivi aziendali e essere in grado di tradurre e comunicare rischi tecnici complessi a stakeholder non tecnici in modo che possano prendere le decisioni giuste per l’azienda. Il futuro della sicurezza informatica dipenderà da professionisti che non sono solo tecnicamente intelligenti, ma anche ben radicati e abili comunicatori.

Infine, il paesaggio della sicurezza dell’intelligenza artificiale sta evolvendo così rapidamente, quindi sarà importante essere in grado di imparare e adattarsi rapidamente.

Grazie per la grande intervista e la dettagliata conoscenza, i lettori che desiderano saperne di più possono visitare SPLX.