Controllo delle Allucinazioni: Vantaggi e Rischi dell’Implementazione di LLM come Parte dei Processi di Sicurezza

Large Language Models (LLM) addestrati su grandi quantità di dati possono rendere le operazioni di sicurezza più intelligenti. Gli LLM forniscono suggerimenti e indicazioni in linea per la risposta, gli audit, la gestione della postura e altro. La maggior parte dei team di sicurezza sta sperimentando o utilizzando LLM per ridurre il lavoro manuale nei flussi di lavoro. Ciò può essere sia per compiti banali che complessi.

Ad esempio, un LLM può richiedere a un dipendente via e-mail se intendeva condividere un documento proprietario e quindi elaborare la risposta con una raccomandazione per un operatore di sicurezza. Un LLM può anche essere incaricato di tradurre richieste per cercare attacchi alla catena di approvvigionamento su moduli open source e avviare agenti focalizzati su condizioni specifiche — nuovi contributori a librerie ampiamente utilizzate, modelli di codice non corretti — con ogni agente pronto per quella condizione specifica.

Tuttavia, questi potenti sistemi di intelligenza artificiale presentano rischi significativi che sono diversi da altri rischi che affrontano i team di sicurezza. I modelli che alimentano gli LLM di sicurezza possono essere compromessi attraverso iniezioni di prompt o avvelenamento dei dati. I cicli di feedback continuo e gli algoritmi di apprendimento automatico senza una sufficiente guida umana possono consentire a soggetti malintenzionati di sondare i controlli e quindi indurre risposte mal mirate. Gli LLM sono propensi alle allucinazioni, anche in domini limitati. Anche i migliori LLM inventano risposte quando non conoscono la risposta.

I processi di sicurezza e le politiche di intelligenza artificiale relative all’utilizzo degli LLM e ai flussi di lavoro diventeranno sempre più critici man mano che questi sistemi diventeranno più comuni nelle operazioni di sicurezza informatica e nella ricerca. Assicurarsi che questi processi siano rispettati e siano misurati e considerati nei sistemi di governance, si rivelerà cruciale per garantire che i CISO possano fornire una copertura di GRC (Governance, Risk e Compliance) sufficiente per soddisfare nuove direttive come il Cybersecurity Framework 2.0.

La Grande Promessa degli LLM nella Sicurezza Informatica

I CISO e i loro team lottano costantemente per stare al passo con la crescente ondata di nuovi attacchi informatici. Secondo Qualys, il numero di CVE segnalati nel 2023 ha raggiunto un nuovo record di 26.447. Ciò rappresenta un aumento di più di 5 volte rispetto al 2013.

Questa sfida è diventata ancora più impegnativa poiché la superficie di attacco della maggior parte delle organizzazioni è cresciuta con ogni anno che passa. I team di sicurezza delle applicazioni devono proteggere e monitorare molte più applicazioni software. Il cloud computing, le API, le tecnologie multi-cloud e di virtualizzazione hanno aggiunto ulteriore complessità. Con gli strumenti e i processi di CI/CD moderni, i team di sviluppo delle applicazioni possono consegnare più codice, più velocemente e più frequentemente. I microservizi hanno sia suddiviso le applicazioni monolitiche in numerose API che hanno aperto molti più buchi nei firewall globali per la comunicazione con servizi esterni o dispositivi dei clienti.

Gli LLM avanzati offrono una grande promessa per ridurre il carico di lavoro dei team di sicurezza informatica e migliorare le loro capacità. Gli strumenti di codifica basati sull’intelligenza artificiale hanno ampiamente penetrato lo sviluppo del software. La ricerca di Github ha scoperto che il 92% degli sviluppatori utilizza o ha utilizzato strumenti di intelligenza artificiale per la suggerimento e il completamento del codice. La maggior parte di questi strumenti “copilot” ha alcune funzionalità di sicurezza. In effetti, le discipline programmatiche con risultati relativamente binari come la codifica (il codice passerà o non passerà i test unitari) sono ben adatte agli LLM. Oltre alla scansione del codice per lo sviluppo del software e nella pipeline di CI/CD, l’intelligenza artificiale potrebbe essere preziosa per i team di sicurezza informatica in diversi altri modi:

• Analisi Avanzata: Gli LLM possono elaborare grandi quantità di dati di sicurezza (log, avvisi, informazioni sulle minacce) per identificare modelli e correlazioni invisibili agli esseri umani. Possono farlo attraverso lingue, 24 ore su 24, e attraverso numerose dimensioni contemporaneamente. Ciò apre nuove opportunità per i team di sicurezza. Gli LLM possono ridurre una pila di avvisi in tempo reale, segnalando quelli che sono più probabilmente gravi. Attraverso l’apprendimento per rinforzo, l’analisi dovrebbe migliorare nel tempo.
• Automazione: Gli LLM possono automatizzare i compiti dei team di sicurezza che normalmente richiedono conversazioni. Ad esempio, quando un team di sicurezza riceve un IoC e deve chiedere al proprietario di un endpoint se ha effettivamente effettuato l’accesso a un dispositivo o se si trova al di fuori delle sue zone di lavoro normali, l’LLM può eseguire queste operazioni semplici e quindi seguire con domande come richiesto e collegamenti o istruzioni. Ciò era un’interazione che un membro del team di IT o di sicurezza doveva condurre di persona. Gli LLM possono anche fornire funzionalità più avanzate. Ad esempio, un Microsoft Copilot per la sicurezza può generare rapporti di analisi degli incidenti e tradurre codici di malware complessi in descrizioni in lingua naturale.
• Apprendimento Continuo e Regolazione: A differenza dei precedenti sistemi di apprendimento automatico per le politiche di sicurezza e la comprensione, gli LLM possono imparare in tempo reale ingerendo valutazioni umane delle loro risposte e ritoccando nuovi pool di dati che potrebbero non essere contenuti nei file di log interni. In effetti, utilizzando lo stesso modello fondamentale sottostante, gli LLM di sicurezza informatica possono essere regolati per diversi team e le loro esigenze, flussi di lavoro o attività specifiche di settore o regione. Ciò significa anche che l’intero sistema può essere istantaneamente intelligente come il modello, con modifiche che si propagano rapidamente attraverso tutte le interfacce.

Rischi degli LLM per la Sicurezza Informatica

In quanto nuova tecnologia con un breve curriculum, gli LLM presentano rischi gravi. Peggio, capire appieno l’entità di questi rischi è difficile perché i risultati degli LLM non sono del 100% prevedibili o programmatici. Ad esempio, gli LLM possono “allucinare” e inventare risposte o rispondere in modo errato a domande, sulla base di dati immaginari. Prima di adottare LLM per casi d’uso di sicurezza informatica, è necessario considerare i rischi potenziali, tra cui:

• Iniezione di Prompt: Gli aggressori possono creare prompt malintenzionati specificamente per produrre output fuorvianti o dannosi. Questo tipo di attacco può sfruttare la tendenza degli LLM a generare contenuti in base ai prompt che ricevono. Nei casi d’uso di sicurezza informatica, l’iniezione di prompt potrebbe essere più rischiosa come forma di attacco interno o attacco da parte di un utente non autorizzato che utilizza prompt per alterare permanentemente gli output del sistema, alterando il comportamento del modello. Ciò potrebbe generare output inaccurati o non validi per altri utenti del sistema.
• Avvelenamento dei Dati: I dati di addestramento degli LLM possono essere intenzionalmente corrotti, compromettendo la loro capacità di prendere decisioni. Nei contesti di sicurezza informatica, in cui le organizzazioni stanno probabilmente utilizzando modelli addestrati da fornitori di strumenti, l’avvelenamento dei dati potrebbe verificarsi durante la regolazione del modello per il cliente e il caso d’uso specifico. Il rischio qui potrebbe essere un utente non autorizzato che aggiunge dati dannosi — ad esempio, file di log corrotti — per sabotare il processo di addestramento. Un utente autorizzato potrebbe anche farlo involontariamente. Il risultato sarebbero output degli LLM basati su dati dannosi.
• Allucinazioni: Come menzionato in precedenza, gli LLM possono generare risposte fattualmente errate, illogiche o addirittura dannose a causa di incomprensioni dei prompt o difetti nei dati sottostanti. Nei casi d’uso di sicurezza informatica, le allucinazioni possono portare a errori critici che paralizzano l’intelligence sulle minacce, la gestione delle vulnerabilità e il ripristino, e altro. Poiché la sicurezza informatica è un’attività critica, gli LLM devono essere tenuti a un livello più alto di gestione e prevenzione delle allucinazioni in questi contesti.

Man mano che i sistemi di intelligenza artificiale diventano più capaci, i loro impieghi nella sicurezza informatica si stanno espandendo rapidamente. Per essere chiari, molte società di sicurezza informatica hanno da lungo tempo utilizzato l’abbinamento di modelli e l’apprendimento automatico per il filtraggio dinamico. Ciò che è nuovo nell’era dell’intelligenza artificiale generativa sono gli LLM interattivi che forniscono un livello di intelligenza sopra i flussi di lavoro e i pool di dati esistenti, idealmente migliorando l’efficienza e potenziando le capacità dei team di sicurezza informatica. In altre parole, l’intelligenza artificiale generativa può aiutare gli ingegneri di sicurezza a fare di più con meno sforzo e le stesse risorse, producendo prestazioni migliori e processi accelerati.