Controllo delle allucinazioni: vantaggi e rischi dell'implementazione di LLM come parte dei processi di sicurezza

Grandi modelli linguistici (LLM) addestrati su grandi quantità di dati possono rendere più intelligenti i team addetti alle operazioni di sicurezza. I LLM forniscono suggerimenti e indicazioni in linea su risposta, audit, gestione della postura e altro ancora. La maggior parte dei team di sicurezza sta sperimentando o utilizzando LLM per ridurre il lavoro manuale nei flussi di lavoro. Questo può essere sia per compiti banali che complessi. 

Ad esempio, un LLM può interrogare un dipendente via e-mail se intendeva condividere un documento proprietario ed elaborare la risposta con una raccomandazione per un professionista della sicurezza. Un LLM può anche essere incaricato di tradurre le richieste per cercare attacchi alla catena di fornitura su moduli open source e di creare agenti focalizzati su condizioni specifiche (nuovi contributori a librerie ampiamente utilizzate, modelli di codice impropri) con ciascun agente preparato per quella condizione specifica. 

Detto questo, questi potenti sistemi di intelligenza artificiale comportano rischi significativi, diversi da altri rischi che devono affrontare i team di sicurezza. I modelli che alimentano i LLM di sicurezza possono essere compromessi tramite iniezione tempestiva o avvelenamento dei dati. I cicli di feedback continui e gli algoritmi di apprendimento automatico senza una guida umana sufficiente possono consentire ai malintenzionati di sondare i controlli e quindi indurre risposte scarsamente mirate. Gli LLM sono inclini alle allucinazioni, anche in ambiti limitati. Anche i migliori LLM inventano cose quando non conoscono la risposta. 

I processi di sicurezza e le politiche di intelligenza artificiale relative all’uso e ai flussi di lavoro LLM diventeranno più critici man mano che questi sistemi diventeranno più comuni nelle operazioni e nella ricerca sulla sicurezza informatica. Garantire che tali processi siano rispettati, misurati e contabilizzati nei sistemi di governance si rivelerà fondamentale per garantire che i CISO possano fornire una copertura GRC (Governance, Risk and Compliance) sufficiente per soddisfare nuovi mandati come il Cybersecurity Framework 2.0. 

L'enorme promessa dei LLM nella sicurezza informatica

I CISO e i loro team lottano costantemente per tenere il passo con la crescente ondata di nuovi attacchi informatici. Secondo Qualys, il numero di CVE segnalati nel 2023 ha raggiunto il nuovo record di 26,447. Si tratta di un aumento di oltre 5 volte rispetto al 2013. 

Questa sfida è diventata sempre più impegnativa poiché la superficie di attacco dell’organizzazione media cresce ogni anno che passa. I team AppSec devono proteggere e monitorare molte più applicazioni software. Il cloud computing, le API, il multi-cloud e le tecnologie di virtualizzazione hanno aggiunto ulteriore complessità. Con strumenti e processi CI/CD moderni, i team applicativi possono fornire più codice, più velocemente e con maggiore frequenza. I microservizi hanno frammentato l’app monolitica in numerose API e superfici di attacco e hanno anche creato molti più buchi nei firewall globali per la comunicazione con servizi esterni o dispositivi dei clienti.

Gli LLM avanzati hanno un'enorme promessa di ridurre il carico di lavoro dei team di sicurezza informatica e di migliorare le loro capacità. Gli strumenti di codifica basati sull’intelligenza artificiale hanno ampiamente penetrato lo sviluppo del software. La ricerca di Github ha rilevato che il 92% degli sviluppatori utilizza o ha utilizzato strumenti di intelligenza artificiale per suggerire e completare il codice. La maggior parte di questi strumenti “copilota” hanno alcune funzionalità di sicurezza. In effetti, le discipline programmatiche con risultati relativamente binari come la codifica (il codice supererà o fallirà gli unit test) sono adatte per i LLM. Oltre alla scansione del codice per lo sviluppo di software e nella pipeline CI/CD, l’intelligenza artificiale potrebbe essere preziosa per i team di sicurezza informatica in molti altri modi:   

• Analisi migliorata: Gli LLM possono elaborare enormi quantità di dati di sicurezza (registri, avvisi, intelligence sulle minacce) per identificare modelli e correlazioni invisibili agli esseri umani. Possono farlo attraverso le lingue, 24 ore su 24 e attraverso numerose dimensioni contemporaneamente. Ciò apre nuove opportunità per i team di sicurezza. Gli LLM possono bruciare una serie di avvisi quasi in tempo reale, segnalando quelli che hanno maggiori probabilità di essere gravi. Attraverso l’apprendimento per rinforzo, l’analisi dovrebbe migliorare nel tempo. 
• Automazione: Gli LLM possono automatizzare le attività del team di sicurezza che normalmente richiedono conversazioni avanti e indietro. Ad esempio, quando un team di sicurezza riceve un IoC e deve chiedere al proprietario di un endpoint se ha effettivamente effettuato l'accesso a un dispositivo o se si trova da qualche parte al di fuori delle normali zone di lavoro, LLM può eseguire queste semplici operazioni e quindi seguire con le domande richieste e collegamenti o istruzioni. In passato si trattava di un'interazione che un membro del team IT o di sicurezza doveva condurre da solo. Gli LLM possono anche fornire funzionalità più avanzate. Ad esempio, un Microsoft Copilot for Security può generare report di analisi degli incidenti e tradurre codici malware complessi in descrizioni in linguaggio naturale. 
• Apprendimento e ottimizzazione continui: A differenza dei precedenti sistemi di apprendimento automatico per le policy di sicurezza e la comprensione, gli LLM possono apprendere al volo acquisendo valutazioni umane della sua risposta e risintonizzandosi su pool di dati più recenti che potrebbero non essere contenuti nei file di registro interni. Infatti, utilizzando lo stesso modello fondamentale sottostante, i LLM di sicurezza informatica possono essere ottimizzati per team diversi e per le loro esigenze, flussi di lavoro o attività specifiche regionali o verticali. Ciò significa anche che l’intero sistema può diventare immediatamente intelligente quanto il modello, con modifiche che si propagano rapidamente su tutte le interfacce. 

Rischio LLM per la cybersecurity

Essendo una nuova tecnologia con una storia breve, gli LLM presentano seri rischi. Ancor peggio, comprendere l’intera portata di tali rischi è difficile perché i risultati del LLM non sono prevedibili o programmatici al 100%. Ad esempio, gli LLM possono “allucinare” e inventare risposte o rispondere in modo errato alle domande, sulla base di dati immaginari. Prima di adottare LLM per casi d’uso di sicurezza informatica, è necessario considerare i potenziali rischi, tra cui: 

• Iniezione rapida:  Gli aggressori possono creare richieste dannose appositamente per produrre risultati fuorvianti o dannosi. Questo tipo di attacco può sfruttare la tendenza di LLM a generare contenuti in base alle richieste che riceve. Nei casi di utilizzo della sicurezza informatica, il prompt injection potrebbe essere più rischioso come forma di attacco interno o attacco da parte di un utente non autorizzato che utilizza i prompt per alterare in modo permanente gli output del sistema distorcendo il comportamento del modello. Ciò potrebbe generare output imprecisi o non validi per altri utenti del sistema. 
• Avvelenamento dei dati:  I dati di formazione su cui fanno affidamento gli LLM possono essere intenzionalmente danneggiati, compromettendo il loro processo decisionale. Negli ambienti di sicurezza informatica, dove è probabile che le organizzazioni utilizzino modelli addestrati dai fornitori di strumenti, potrebbe verificarsi un avvelenamento dei dati durante la messa a punto del modello per il cliente specifico e il caso d’uso. Il rischio in questo caso potrebbe essere che un utente non autorizzato aggiunga dati errati, ad esempio file di registro danneggiati, per sovvertire il processo di formazione. Un utente autorizzato potrebbe farlo anche inavvertitamente. Il risultato sarebbero risultati LLM basati su dati errati.
• Allucinazioni: Come accennato in precedenza, i LLM possono generare risposte sostanzialmente errate, illogiche o addirittura dannose a causa di incomprensioni delle richieste o di difetti dei dati sottostanti. Nei casi d’uso della sicurezza informatica, le allucinazioni possono provocare errori critici che paralizzano l’intelligence sulle minacce, la classificazione e la risoluzione delle vulnerabilità e altro ancora. Poiché la sicurezza informatica è un'attività mission-critical, gli LLM devono essere tenuti a standard più elevati di gestione e prevenzione delle allucinazioni in questi contesti. 

Man mano che i sistemi di intelligenza artificiale diventano più capaci, le loro implementazioni in materia di sicurezza delle informazioni si stanno espandendo rapidamente. Per essere chiari, molte aziende di sicurezza informatica utilizzano da tempo il pattern match e l’apprendimento automatico per il filtraggio dinamico. La novità nell’era dell’intelligenza artificiale generativa sono i LLM interattivi che forniscono uno strato di intelligenza sopra i flussi di lavoro e i pool di dati esistenti, migliorando idealmente l’efficienza e potenziando le capacità dei team di sicurezza informatica. In altre parole, GenAI può aiutare gli ingegneri della sicurezza a fare di più con meno sforzi e con le stesse risorse, ottenendo prestazioni migliori e processi accelerati.