Kieran Norton, leader di Deloitte per l’AI e l’automazione nel settore della cybersecurity negli Stati Uniti – Serie di interviste

Kieran Norton è un principale (partner) di Deloitte & Touche LLP e leader di Deloitte per l’AI e l’automazione nel settore della cybersecurity negli Stati Uniti. Con oltre 25 anni di esperienza estensiva e una solida formazione tecnologica, Kieran eccelle nell’affrontare rischi emergenti, fornendo ai clienti insight strategici e pragmatici sulla gestione dei rischi di cybersecurity e tecnologia.

All’interno di Deloitte, Kieran guida gli sforzi di trasformazione dell’AI per la pratica di cybersecurity negli Stati Uniti. Sovraintende la progettazione, lo sviluppo e il lancio sul mercato di soluzioni di AI e automazione, aiutando i clienti a migliorare le loro capacità di cybersecurity e ad adottare tecnologie di AI/Gen AI, gestendo efficacemente i rischi associati.

Esternamente, Kieran aiuta i clienti a evolvere le loro strategie di sicurezza tradizionali per supportare la trasformazione digitale, modernizzare le catene di approvvigionamento, accelerare il time-to-market, ridurre i costi e raggiungere altri obiettivi aziendali critici.

Con gli agenti di AI che diventano sempre più autonomi, quali nuove categorie di minacce di cybersecurity stanno emergendo che le aziende potrebbero non comprendere ancora appieno?

I rischi associati all’utilizzo di tecnologie di AI per progettare, costruire, distribuire e gestire gli agenti potrebbero essere compresi, ma l’operatività è un’altra questione.

L’agenzia e l’autonomia degli agenti di AI – la capacità degli agenti di percepire, decidere, agire e operare in modo indipendente dagli esseri umani – possono creare sfide per mantenere la visibilità e il controllo sulle relazioni e le interazioni che i modelli/agenti hanno con gli utenti, i dati e altri agenti. Mentre gli agenti continuano a moltiplicarsi all’interno dell’azienda, collegando piattaforme e servizi multipli con un’autonomia e diritti decisionali crescenti, questo diventerà sempre più difficile. Le minacce associate a un’eccessiva o scarsa agenzia/autonomia di AI sono numerose. Ciò può includere la perdita di dati, la manipolazione degli agenti (attraverso l’iniezione di prompt, ecc.) e le catene di attacchi agente-agente. Non tutte queste minacce sono immediate, ma le aziende dovrebbero considerare come gestiranno queste minacce man mano che adottano e maturano le capacità guidate da AI.

La gestione dell’identità di AI è un altro rischio che dovrebbe essere considerato attentamente. Identificare, stabilire e gestire le identità di macchina degli agenti di AI diventerà più complesso man mano che più agenti vengono distribuiti e utilizzati all’interno delle aziende. La natura effimera dei modelli di AI/modello dei componenti che vengono avviati e interrotti ripetutamente in circostanze diverse, darà luogo a sfide nel mantenimento di queste identità di modello. Le identità del modello sono necessarie per monitorare l’attività e il comportamento degli agenti da un punto di vista sia di sicurezza che di fiducia. Se non vengono implementate e monitorate correttamente, rilevare potenziali problemi (prestazioni, sicurezza, ecc.) sarà molto difficile.

Quanto dovremmo preoccuparci degli attacchi di avvelenamento dei dati nei flussi di lavoro di formazione di AI e quali sono le migliori strategie di prevenzione?

Gli attacchi di avvelenamento dei dati rappresentano uno dei modi per influenzare/manipolare i modelli di AI nel ciclo di vita dello sviluppo del modello. L’avvelenamento si verifica di solito quando un attore malintenzionato inietta dati dannosi nel set di formazione. Tuttavia, è importante notare che, oltre agli attori avversari espliciti, l’avvelenamento dei dati può verificarsi a causa di errori o problemi sistemici nella generazione dei dati. Man mano che le organizzazioni diventano più assetate di dati e cercano dati utilizzabili in più luoghi (ad esempio, annotazione manuale esternalizzata, set di dati sintetici acquistati o generati, ecc.), la possibilità di avvelenare involontariamente i dati di formazione cresce e potrebbe non essere sempre facilmente diagnosticata.

La mira ai flussi di lavoro di formazione è un vettore di attacco principale utilizzato dagli avversari per entrambi gli influssi sottili e ovvi. La manipolazione dei modelli di AI può portare a risultati che includono falsi positivi, falsi negativi e altri influssi più sottili e coperti che possono alterare le previsioni di AI.

Le strategie di prevenzione vanno dall’implementazione di soluzioni tecniche, procedurali e architettoniche. Le strategie procedurali includono la convalida/sanitizzazione dei dati e le valutazioni di fiducia; le strategie tecniche includono l’utilizzo di miglioramenti della sicurezza con tecniche di AI come l’apprendimento federato; le strategie architettoniche includono l’implementazione di flussi di lavoro zero-trust e l’implementazione di un monitoraggio/avviso robusto che possa facilitare la rilevazione delle anomalie. Questi modelli sono solo così buoni come i loro dati, anche se un’organizzazione utilizza gli strumenti più recenti e migliori, quindi l’avvelenamento dei dati può diventare un tallone d’Achille per gli impreparati.

In che modo gli attori malintenzionati possono manipolare i modelli di AI dopo la distribuzione e come le aziende possono rilevare la manipolazione in anticipo?

L’accesso ai modelli di AI dopo la distribuzione si ottiene di solito attraverso l’accesso a un’API, un’applicazione tramite un sistema incorporato e/o tramite un protocollo di porta a un dispositivo edge. La rilevazione precoce richiede un lavoro precoce nel ciclo di vita dello sviluppo del software (SDLC), comprendendo le tecniche di manipolazione del modello pertinenti e i vettori di minaccia prioritari per elaborare metodi di rilevamento e protezione. Alcune manipolazioni del modello coinvolgono l’hijacking dell’API, la manipolazione degli spazi di memoria (runtime) e l’avvelenamento lento/graduale tramite deriva del modello. Considerate queste tecniche di manipolazione, alcune strategie di rilevamento precoce possono includere l’utilizzo della telemetria di endpoint/monitoraggio (tramite Endpoint Detection and Response e Extended Detection and Response), l’implementazione di flussi di lavoro di inferenza sicuri (ad esempio, calcolo confidenziale e principi di zero-trust) e l’abilitazione del watermarking del modello/firma del modello.

L’iniezione di prompt è una famiglia di attacchi al modello che si verificano dopo la distribuzione e possono essere utilizzati per vari scopi, tra cui estrarre dati in modi non intesi, rivelare prompt di sistema non destinati a utenti normali e indurre risposte del modello che potrebbero gettare una luce negativa sull’organizzazione. Ci sono vari strumenti di guardrail sul mercato per aiutare a mitigare il rischio di iniezione di prompt, ma come per il resto della sicurezza informatica, si tratta di una corsa agli armamenti in cui le tecniche di attacco e le contromisure difensive vengono costantemente aggiornate.

In che modo i quadri di cybersecurity tradizionali non riescono a far fronte ai rischi unici dei sistemi di AI?

Di solito associamo il termine “quadro di cybersecurity” a linee guida e standard – ad esempio NIST, ISO, MITRE, ecc. Alcune delle organizzazioni dietro questi hanno pubblicato linee guida aggiornate specifiche per la protezione dei sistemi di AI, che possono essere molto utili.

AI non rende questi quadri inefficaci – è necessario ancora affrontare tutti i domini tradizionali di cybersecurity – ciò che potrebbe essere necessario è aggiornare i processi e i programmi (ad esempio il vostro SDLC) per affrontare le sfumature associate ai carichi di lavoro di AI. Incorporare e automatizzare (quando possibile) i controlli per proteggere contro le minacce sfumate descritte sopra è il modo più efficiente ed efficace per andare avanti.

A livello tattico, vale la pena notare che l’intera gamma di input e output possibili è spesso molto più ampia dei non-applicazioni di AI, il che crea un problema di scala per i test di penetrazione tradizionali e le rilevazioni basate su regole, da cui l’attenzione all’automazione.

Quali sono gli elementi chiave che dovrebbero essere inclusi in una strategia di cybersecurity specificamente progettata per le organizzazioni che distribuiscono AI generativa o grandi modelli linguistici?

Quando si sviluppa una strategia di cybersecurity per la distribuzione di AI generativa o grandi modelli linguistici (LLM), non esiste un approccio universale. Molto dipende dagli obiettivi aziendali generali, dalla strategia IT, dal focus settoriale, dall’impronta normativa, dalla tolleranza al rischio, ecc. nonché dai casi d’uso di AI specifici in considerazione. Un chatbot per uso interno solo ha un profilo di rischio molto diverso rispetto a un agente che potrebbe influenzare i risultati sanitari dei pazienti, ad esempio.

Detto questo, ci sono fondamenti che ogni organizzazione dovrebbe affrontare:

• Eseguire una valutazione di prontezza – ciò stabilisce una baseline delle capacità attuali, nonché identifica potenziali lacune considerando i casi d’uso di AI prioritari. Le organizzazioni dovrebbero identificare dove esistono controlli esistenti che possono essere estesi per affrontare i rischi sfumati associati a GenAI e la necessità di implementare nuove tecnologie o migliorare i processi attuali.
• Stabilire un processo di governance di AI – ciò può essere completamente nuovo all’interno di un’organizzazione o una modifica ai programmi di gestione del rischio attuali. Ciò dovrebbe includere la definizione di funzioni di abilitazione di AI a livello aziendale e il coinvolgimento di stakeholder da tutta l’azienda, IT, prodotto, rischio, cybersecurity, ecc. come parte della struttura di governance. Inoltre, la definizione/aggiornamento di politiche rilevanti (politiche di utilizzo accettabile, politiche di sicurezza cloud, gestione del rischio tecnologico di terze parti, ecc.) nonché l’istituzione di requisiti di apprendimento e sviluppo per supportare la letteratura e la sicurezza/sicurezza di AI in tutta l’organizzazione dovrebbero essere inclusi.
• Stabilire un’architettura di AI affidabile – con l’istituzione di piattaforme e sandbox di sperimentazione di AI/GenAI, la tecnologia esistente e le nuove soluzioni (ad esempio, firewall di AI/sicurezza runtime, guardrail, gestione del ciclo di vita del modello, capacità IAM migliorate, ecc.) dovranno essere integrate negli ambienti di sviluppo e distribuzione in modo ripetibile e scalabile.
• Migliorare il SDLC – le organizzazioni dovrebbero costruire integrazioni strette tra gli sviluppatori di AI e i team di gestione del rischio che lavorano per proteggere, proteggere e costruire fiducia nelle soluzioni di AI. Ciò include l’istituzione di un insieme uniforme/standard di pratiche di sviluppo software sicure e requisiti di controllo, in partnership con i team più ampi di adozione e sviluppo di AI.

Può spiegare il concetto di “firewall di AI” in termini semplici? Come si differenzia dai firewall di rete tradizionali?

Un firewall di AI è uno strato di sicurezza progettato per monitorare e controllare gli input e gli output dei sistemi di AI – soprattutto grandi modelli linguistici – per prevenire l’uso improprio, proteggere i dati sensibili e garantire un comportamento di AI responsabile. A differenza dei firewall tradizionali che proteggono le reti filtrando il traffico in base agli indirizzi IP, porte e minacce note, i firewall di AI si concentrano sul comprendere e gestire le interazioni linguistiche naturali. Bloccano cose come contenuti tossici, perdita di dati, iniezione di prompt e uso non etico di AI applicando politiche, filtri consapevoli del contesto e guardrail specifici del modello. In sostanza, mentre un firewall tradizionale protegge la tua rete, un firewall di AI protegge i tuoi modelli di AI e i loro output.

Esistono attualmente standard settoriali o protocolli emergenti che disciplinano l’uso di firewall specifici di AI o guardrail?
Il protocollo di comunicazione del modello (MCP) non è uno standard universale, ma sta guadagnando trazione in tutta l’industria per aiutare ad affrontare il crescente carico di configurazione per le aziende che hanno bisogno di gestire la diversità delle soluzioni di AI-GenAI. MCP disciplina come i modelli di AI scambiano informazioni (inclusa l’apprendimento) inclusa l’integrità e la verifica. Possiamo pensare a MCP come lo stack di protocollo di controllo di trasmissione (TCP)/Internet Protocol (IP) per i modelli di AI, che è particolarmente utile nei casi d’uso centralizzati, federati o distribuiti. MCP è attualmente un framework concettuale che viene realizzato attraverso vari strumenti, ricerche e progetti.

Lo spazio si sta muovendo rapidamente e possiamo aspettarci che si sposterà molto nel corso dei prossimi anni.

Come l’AI sta trasformando il campo della rilevazione e della risposta alle minacce oggi rispetto a solo cinque anni fa?

Abbiamo visto i moderni centri di operazioni di sicurezza (SOC) commerciali che si stanno aggiornando in vari modi, utilizzando enormi set di dati di alta qualità e modelli di AI/ML avanzati per migliorare la rilevazione e la classificazione delle minacce. Inoltre, stanno sfruttando l’automazione, il flusso di lavoro e le capacità di auto-remediazione per ridurre il tempo di rilevamento-mitigazione. Infine, alcuni hanno introdotto capacità di copilota per supportare ulteriormente la triage e la risposta.

Inoltre, gli agenti stanno essere sviluppati per soddisfare ruoli selezionati all’interno del SOC. Ad esempio pratico, abbiamo costruito un ‘Digital Analyst’ agente per la distribuzione nel nostro servizio di gestione. L’agente serve come analista di livello uno, che esegue la triage degli avvisi in entrata, aggiunge contesto dall’intelligence delle minacce e altre fonti e raccomanda passaggi di risposta (in base a una storia di casi estensiva) per i nostri analisti umani che poi esaminano, modificano se necessario e agiscono.

Come vede l’evoluzione della relazione tra AI e cybersecurity nei prossimi 3-5 anni – l’AI sarà più un rischio o una soluzione?
Mentre l’AI si evolve nei prossimi 3-5 anni, può aiutare la cybersecurity, ma allo stesso tempo può anche introdurre rischi. L’AI espanderà la superficie di attacco e creerà nuove sfide da un punto di vista difensivo. Inoltre, l’AI avversariale aumenterà la fattibilità, la velocità e la portata degli attacchi, creando ulteriori sfide. D’altro canto, l’utilizzo di AI nel settore della cybersecurity presenta opportunità significative per migliorare l’efficacia, l’efficienza, l’agilità e la velocità delle operazioni di cybersecurity in gran parte dei domini – creando in ultima analisi uno scenario di “lotta contro il fuoco con il fuoco”.

Grazie per la grande intervista, i lettori possono anche visitare Deloitte.