Kieran Norton, leader di Deloitte per l'automazione e l'intelligenza artificiale informatica negli Stati Uniti – Serie di interviste

Kieran Norton Kieran, socio di Deloitte & Touche LLP, è il responsabile statunitense di Cyber ​​AI & Automation per Deloitte. Con oltre 25 anni di esperienza e un solido background tecnologico, eccelle nell'affrontare i rischi emergenti, fornendo ai clienti approfondimenti strategici e pragmatici sulla sicurezza informatica e sulla gestione del rischio tecnologico.

Nel quadro di DeloitteKieran guida gli sforzi di trasformazione dell'IA per la divisione Cyber ​​statunitense. Supervisiona la progettazione, lo sviluppo e l'implementazione sul mercato di soluzioni di IA e automazione, aiutando i clienti a migliorare le proprie capacità informatiche e ad adottare tecnologie di IA/IA di generazione, gestendo efficacemente i rischi associati.

Esternamente, Kieran aiuta i clienti a evolvere le loro strategie di sicurezza tradizionali per supportare la trasformazione digitale, modernizzare le supply chain, accelerare il time-to-market, ridurre i costi e raggiungere altri obiettivi aziendali critici.

Con gli agenti di intelligenza artificiale che diventano sempre più autonomi, quali nuove categorie di minacce alla sicurezza informatica stanno emergendo che le aziende potrebbero non comprendere ancora appieno?

I rischi associati all'utilizzo di nuove tecnologie legate all'intelligenza artificiale per progettare, costruire, distribuire e gestire gli agenti possono essere compresi, ma la loro operatività è tutta un'altra questione.

L'agenzia e l'autonomia degli agenti di IA – la capacità degli agenti di percepire, decidere, agire e operare indipendentemente dagli esseri umani – possono creare difficoltà nel mantenere la visibilità e il controllo sulle relazioni e le interazioni che i modelli/agenti intrattengono con utenti, dati e altri agenti. Con il continuo moltiplicarsi degli agenti all'interno dell'azienda, connettendo più piattaforme e servizi con crescente autonomia e diritti decisionali, questo diventerà sempre più difficile. Le minacce associate a un'agenzia/autonomia di IA scarsamente protetta, eccessiva o ombra sono numerose. Tra queste, possono rientrare la fuga di dati, la manipolazione degli agenti (tramite iniezione di prompt, ecc.) e catene di attacchi agente-agente. Non tutte queste minacce sono presenti qui e ora, ma le aziende dovrebbero considerare come gestirle man mano che adottano e sviluppano le capacità basate sull'IA.

La gestione delle identità AI è un altro rischio che dovrebbe essere attentamente considerato. Identificare, definire e gestire le identità macchina degli agenti AI diventerà più complesso con l'aumento del numero di agenti distribuiti e utilizzati nelle aziende. La natura effimera dei modelli/componenti AI, che vengono attivati ​​e disattivati ​​ripetutamente in circostanze variabili, comporterà difficoltà nel mantenimento di questi ID modello. Le identità modello sono necessarie per monitorare l'attività e il comportamento degli agenti sia dal punto di vista della sicurezza che dell'affidabilità. Se non implementate e monitorate correttamente, l'individuazione di potenziali problemi (prestazioni, sicurezza, ecc.) sarà molto complessa.

Quanto dovremmo preoccuparci degli attacchi di avvelenamento dei dati nei processi di addestramento dell'intelligenza artificiale e quali sono le migliori strategie di prevenzione?

L'avvelenamento dei dati rappresenta uno dei diversi modi per influenzare/manipolare i modelli di intelligenza artificiale all'interno del ciclo di vita dello sviluppo dei modelli. L'avvelenamento si verifica in genere quando un malintenzionato inserisce dati dannosi nel set di addestramento. Tuttavia, è importante notare che, oltre ad attori avversari espliciti, l'avvelenamento dei dati può verificarsi a causa di errori o problemi sistemici nella generazione dei dati. Man mano che le organizzazioni diventano sempre più affamate di dati e cercano dati utilizzabili in più luoghi (ad esempio, annotazioni manuali esternalizzate, set di dati sintetici acquistati o generati, ecc.), la possibilità di avvelenare involontariamente i dati di addestramento aumenta e potrebbe non essere sempre facilmente diagnosticabile.

Prendere di mira le pipeline di addestramento è un vettore di attacco primario utilizzato dagli avversari per esercitare un'influenza sia subdola che palese. La manipolazione dei modelli di IA può portare a risultati che includono falsi positivi, falsi negativi e altre influenze nascoste più subdole che possono alterare le previsioni dell'IA.

Le strategie di prevenzione spaziano dall'implementazione di soluzioni tecniche, procedurali e architetturali. Le strategie procedurali includono la convalida/sanificazione dei dati e la valutazione dell'affidabilità; le strategie tecniche includono l'utilizzo di miglioramenti della sicurezza con tecniche di intelligenza artificiale come l'apprendimento federato; le strategie architetturali includono l'implementazione di pipeline zero-trust e l'implementazione di un monitoraggio/avviso robusto che possa facilitare il rilevamento delle anomalie. Questi modelli sono validi solo quanto i loro dati, anche se un'organizzazione utilizza gli strumenti più recenti e avanzati, quindi il data poisoning può diventare un tallone d'Achille per chi non è preparato.

In che modo gli autori di attacchi possono manipolare i modelli di intelligenza artificiale dopo l'implementazione e come possono le aziende rilevare tempestivamente eventuali manomissioni?

L'accesso ai modelli di IA post-implementazione avviene in genere tramite l'accesso a un'interfaccia di programmazione di un'applicazione (API), a un'applicazione tramite un sistema embedded e/o tramite un protocollo di porta verso un dispositivo edge. Il rilevamento precoce richiede un lavoro tempestivo nel ciclo di vita dello sviluppo del software (SDLC), comprendendo le tecniche di manipolazione dei modelli pertinenti e i vettori di minaccia prioritari per elaborare metodi di rilevamento e protezione. Alcune manipolazioni dei modelli comportano l'hijacking delle API, la manipolazione degli spazi di memoria (runtime) e l'avvelenamento lento/graduale tramite deriva del modello. Dati questi metodi di manipolazione, alcune strategie di rilevamento precoce possono includere l'utilizzo di telemetria/monitoraggio degli endpoint (tramite Endpoint Detection and Response ed Extended Detection and Response), l'implementazione di pipeline di inferenza sicure (ad esempio, confidential computing e principi Zero Trust) e l'abilitazione della filigrana/firma del modello.

La prompt injection è una famiglia di attacchi al modello che si verificano dopo l'implementazione e possono essere utilizzati per vari scopi, tra cui l'estrazione di dati in modi indesiderati, la rivelazione di prompt di sistema non destinati agli utenti normali e l'induzione di risposte al modello che potrebbero porre un'organizzazione in una luce negativa. Esistono diversi strumenti di protezione sul mercato per mitigare il rischio di prompt injection, ma come per il resto della sicurezza informatica, si tratta di una corsa agli armamenti in cui le tecniche di attacco e le contromisure difensive vengono costantemente aggiornate.

In che modo i tradizionali framework di sicurezza informatica non riescono ad affrontare i rischi specifici dei sistemi di intelligenza artificiale?

Solitamente associamo il termine "quadro di sicurezza informatica" a linee guida e standard, ad esempio NIST, ISO, MITRE, ecc. Alcune delle organizzazioni che li hanno sviluppati hanno pubblicato linee guida aggiornate specifiche per la protezione dei sistemi di intelligenza artificiale, che possono essere molto utili.

L'intelligenza artificiale non rende questi framework inefficaci: è comunque necessario affrontare tutti gli ambiti tradizionali della sicurezza informatica. Potrebbe essere necessario aggiornare processi e programmi (ad esempio, il ciclo di vita del software) per gestire le sfumature associate ai carichi di lavoro dell'intelligenza artificiale. Integrare e automatizzare (ove possibile) i controlli per proteggersi dalle minacce complesse descritte sopra è il modo più efficiente ed efficace per procedere.

A livello tattico, vale la pena sottolineare che l'intera gamma di possibili input e output è spesso molto più ampia rispetto alle applicazioni non basate sull'intelligenza artificiale, il che crea un problema di scala per i tradizionali test di penetrazione e i rilevamenti basati su regole, da qui l'attenzione sull'automazione.

Quali elementi chiave dovrebbero essere inclusi in una strategia di sicurezza informatica progettata specificamente per le organizzazioni che implementano l'intelligenza artificiale generativa o modelli linguistici di grandi dimensioni?

Nello sviluppo di una strategia di sicurezza informatica per l'implementazione di GenAI o modelli linguistici di grandi dimensioni (LLM), non esiste un approccio universale. Molto dipende dagli obiettivi aziendali generali dell'organizzazione, dalla strategia IT, dal focus di settore, dall'impatto normativo, dalla tolleranza al rischio, ecc., nonché dagli specifici casi d'uso dell'IA in esame. Un chatbot per uso interno presenta un profilo di rischio molto diverso rispetto a un agente che potrebbe influire, ad esempio, sugli esiti sanitari dei pazienti.

Detto questo, ci sono aspetti fondamentali che ogni organizzazione dovrebbe affrontare:

• Eseguire una valutazione della prontezza—ciò stabilisce una base di riferimento per le capacità attuali e identifica potenziali lacune considerando i casi d'uso dell'IA prioritari. Le organizzazioni dovrebbero identificare dove sono presenti controlli che possono essere estesi per affrontare i rischi specifici associati all'IA di generazione e la necessità di implementare nuove tecnologie o migliorare i processi attuali.
• Stabilire un processo di governance dell'IA—potrebbe trattarsi di una novità assoluta all'interno di un'organizzazione o di una modifica agli attuali programmi di gestione del rischio. Ciò dovrebbe includere la definizione di funzioni di abilitazione dell'IA a livello aziendale e il coinvolgimento di stakeholder provenienti da diversi settori, tra cui IT, prodotto, gestione del rischio, sicurezza informatica, ecc., come parte della struttura di governance. Inoltre, dovrebbe essere inclusa la definizione/aggiornamento delle policy pertinenti (politiche di utilizzo accettabile, policy di sicurezza del cloud, gestione del rischio tecnologico di terze parti, ecc.) e la definizione di requisiti di formazione e sviluppo per supportare l'alfabetizzazione e la sicurezza dell'IA in tutta l'organizzazione.
• Stabilire un'architettura AI affidabile—con l'istituzione di piattaforme AI/GenAI e sandbox di sperimentazione, sia la tecnologia esistente che le nuove soluzioni (ad esempio firewall AI/sicurezza runtime, guardrail, gestione del ciclo di vita del modello, funzionalità IAM avanzate, ecc.) dovranno essere integrate negli ambienti di sviluppo e distribuzione in modo ripetibile e scalabile.
• Migliorare l'SDLC—le organizzazioni dovrebbero creare una stretta integrazione tra gli sviluppatori di IA e i team di gestione del rischio che lavorano per proteggere, proteggere e costruire fiducia nelle soluzioni di IA. Ciò include la definizione di un insieme uniforme/standard di pratiche di sviluppo software sicuro e requisiti di controllo, in collaborazione con i team di sviluppo e adozione dell'IA.

Puoi spiegare il concetto di "firewall AI" in termini semplici? In che cosa differisce dai firewall di rete tradizionali?

Un firewall per IA è un livello di sicurezza progettato per monitorare e controllare gli input e gli output dei sistemi di IA, in particolare i modelli linguistici di grandi dimensioni, per prevenirne l'uso improprio, proteggere i dati sensibili e garantire un comportamento responsabile da parte dell'IA. A differenza dei firewall tradizionali che proteggono le reti filtrando il traffico in base a indirizzi IP, porte e minacce note, i firewall per IA si concentrano sulla comprensione e sulla gestione delle interazioni con il linguaggio naturale. Bloccano fattori come contenuti tossici, perdite di dati, iniezione di prompt e uso improprio dell'IA applicando policy, filtri contestuali e barriere di protezione specifiche per il modello. In sostanza, mentre un firewall tradizionale protegge la rete, un firewall per IA protegge i modelli di IA e i loro output.

Esistono standard di settore attuali o protocolli emergenti che regolano l'uso di firewall o guardrail specifici per l'intelligenza artificiale?
Il protocollo di comunicazione modello (MCP) non è uno standard universale, ma sta guadagnando terreno in tutto il settore per contribuire ad affrontare il crescente carico di configurazione per le aziende che necessitano di gestire la diversità delle soluzioni AI-GenAI. L'MCP regola il modo in cui i modelli di IA scambiano informazioni (incluso l'apprendimento), inclusi i dati di integrità e verifica. Possiamo pensare all'MCP come allo stack TCP (Transmission Control Protocol)/IP (Internet Protocol) per i modelli di IA, particolarmente utile in casi d'uso centralizzati, federati o distribuiti. L'MCP è attualmente un framework concettuale che viene realizzato attraverso vari strumenti, ricerche e progetti.

Questo settore si sta evolvendo rapidamente e possiamo aspettarci che cambierà parecchio nel corso dei prossimi anni.

In che modo l'intelligenza artificiale sta trasformando il campo del rilevamento e della risposta alle minacce oggi rispetto a soli cinque anni fa?

Abbiamo assistito a diversi livelli di modernizzazione delle piattaforme dei centri operativi per la sicurezza (SOC) commerciali, utilizzando enormi set di dati di alta qualità insieme a modelli avanzati di intelligenza artificiale e apprendimento automatico per migliorare il rilevamento e la classificazione delle minacce. Inoltre, stanno sfruttando funzionalità di automazione, flusso di lavoro e correzione automatica per ridurre i tempi tra il rilevamento e la mitigazione. Infine, alcune hanno introdotto funzionalità di copilota per supportare ulteriormente le attività di triage e risposta.

Inoltre, stiamo sviluppando agenti per svolgere ruoli specifici all'interno del SOC. Come esempio pratico, abbiamo creato un 'Analista digitale' Agente per l'implementazione nella nostra offerta di servizi gestiti. L'agente funge da analista di primo livello, smistando gli avvisi in entrata, aggiungendo contesto da informazioni sulle minacce e da altre fonti e suggerendo le azioni di risposta (sulla base di un'ampia casistica) ai nostri analisti umani, che poi esaminano, modificano se necessario e intervengono.

Come pensi che evolverà il rapporto tra intelligenza artificiale e sicurezza informatica nei prossimi 3-5 anni? L'intelligenza artificiale rappresenterà più un rischio o una soluzione?
Con l'evoluzione dell'IA nei prossimi 3-5 anni, questa potrà contribuire alla sicurezza informatica, ma allo stesso tempo potrebbe anche introdurre rischi. L'IA amplierà la superficie di attacco e creerà nuove sfide dal punto di vista difensivo. Inoltre, l'IA avversaria aumenterà la fattibilità, la velocità e la portata degli attacchi, creando ulteriori sfide. D'altro canto, l'utilizzo dell'IA nel settore della sicurezza informatica offre significative opportunità per migliorare l'efficacia, l'efficienza, l'agilità e la velocità delle operazioni informatiche nella maggior parte dei settori, creando in definitiva uno scenario di "combattimento del fuoco con il fuoco".

Grazie per la fantastica intervista, i lettori potrebbero anche voler visitare Deloitte.