Controllo dell’Allucinazione: Vantaggi e Rischi dell’Implementazione di LLM come Parte dei Processi di Sicurezza

Large Language Models (LLM) addestrati su grandi quantità di dati possono rendere le operazioni di sicurezza più intelligenti. Gli LLM forniscono suggerimenti e indicazioni in linea per la risposta, gli audit, la gestione della postura e altro. La maggior parte delle squadre di sicurezza sta sperimentando o utilizzando LLM per ridurre la fatica manuale nei flussi di lavoro. Ciò può essere sia per compiti banali che complessi.

Ad esempio, un LLM può chiedere a un dipendente via e-mail se intendeva condividere un documento proprietario e elaborare la risposta con una raccomandazione per un operatore di sicurezza. Un LLM può anche essere incaricato di tradurre le richieste per cercare attacchi alla catena di approvvigionamento su moduli open source e avviare agenti focalizzati su condizioni specifiche – nuovi contributori a librerie ampiamente utilizzate, modelli di codice non corretti – con ogni agente preparato per quella condizione specifica.

Tuttavia, questi potenti sistemi di intelligenza artificiale presentano rischi significativi che sono diversi da altri rischi che le squadre di sicurezza devono affrontare. I modelli che alimentano gli LLM di sicurezza possono essere compromessi attraverso iniezioni di prompt o avvelenamento dei dati. I cicli di feedback continui e gli algoritmi di apprendimento automatico senza una sufficiente guida umana possono consentire agli attaccanti di sondare i controlli e quindi indurre risposte mal mirate. Gli LLM sono inclini alle allucinazioni, anche in domini limitati. Anche i migliori LLM inventano risposte quando non conoscono la risposta.

I processi di sicurezza e le politiche di intelligenza artificiale relative all’uso e ai flussi di lavoro degli LLM diventeranno sempre più critici man mano che questi sistemi diventeranno più comuni nelle operazioni di sicurezza e nella ricerca. Assicurarsi che questi processi siano rispettati e misurati e contabilizzati nei sistemi di governance sarà fondamentale per garantire che i CISO possano fornire una copertura di GRC (Governance, Risk and Compliance) sufficiente per soddisfare nuove direttive come il Cybersecurity Framework 2.0.

La Grande Promessa degli LLM nella Sicurezza Informatica

I CISO e le loro squadre lottano costantemente per stare al passo con la crescente ondata di nuovi attacchi informatici. Secondo Qualys, il numero di CVE segnalati nel 2023 ha raggiunto un nuovo record di 26.447. Ciò rappresenta un aumento di oltre 5 volte rispetto al 2013.

Questa sfida è diventata ancora più impegnativa poiché la superficie di attacco della maggior parte delle organizzazioni cresce con ogni anno che passa. Le squadre di sicurezza delle applicazioni devono proteggere e monitorare molte più applicazioni software. Le tecnologie di cloud computing, API, multi-cloud e virtualizzazione hanno aggiunto ulteriore complessità. Con gli strumenti e i processi di CI/CD moderni, le squadre di sviluppo possono rilasciare più codice, più velocemente e più frequentemente. I microservizi hanno sia suddiviso le applicazioni monolitiche in numerose API che hanno creato molti più buchi nei firewall globali per la comunicazione con servizi esterni o dispositivi dei clienti.

Gli LLM avanzati offrono una grande promessa per ridurre il carico di lavoro delle squadre di sicurezza informatica e migliorare le loro capacità. Gli strumenti di coding basati sull’intelligenza artificiale hanno ampiamente penetrato lo sviluppo software. La ricerca di Github ha scoperto che il 92% degli sviluppatori utilizza o ha utilizzato strumenti di intelligenza artificiale per la suggestione e il completamento del codice. La maggior parte di questi “copilot” ha alcune funzionalità di sicurezza. In effetti, le discipline programmatiche con esiti relativamente binari come la codifica (il codice passerà o non passerà i test di unità) sono ben adatte agli LLM. Oltre alla scansione del codice per lo sviluppo software e nel pipeline di CI/CD, l’intelligenza artificiale potrebbe essere utile per le squadre di sicurezza informatica in diversi altri modi:

• Analisi Avanzata: Gli LLM possono elaborare grandi quantità di dati di sicurezza (log, allarmi, intelligence sulle minacce) per identificare modelli e correlazioni invisibili agli esseri umani. Possono farlo attraverso lingue, 24 ore su 24, e attraverso numerose dimensioni simultaneamente. Ciò apre nuove opportunità per le squadre di sicurezza. Gli LLM possono ridurre una pila di allarmi in tempo reale, segnalando quelli più probabili di essere gravi. Attraverso l’apprendimento per rinforzo, l’analisi dovrebbe migliorare nel tempo.
• Automazione: Gli LLM possono automatizzare i compiti della squadra di sicurezza che normalmente richiedono conversazioni. Ad esempio, quando una squadra di sicurezza riceve un IoC e deve chiedere al proprietario di un endpoint se ha effettivamente effettuato l’accesso a un dispositivo o se si trova al di fuori delle sue zone di lavoro normali, l’LLM può eseguire queste operazioni semplici e poi seguire con domande come richiesto e link o istruzioni. Ciò era un’interazione che un membro della squadra di sicurezza o IT doveva condurre di persona. Gli LLM possono anche fornire funzionalità più avanzate. Ad esempio, un Microsoft Copilot per la sicurezza può generare rapporti di analisi degli incidenti e tradurre codici di malware complessi in descrizioni in lingua naturale.
• Apprendimento Continuo e Regolazione: A differenza dei precedenti sistemi di apprendimento automatico per le politiche e la comprensione della sicurezza, gli LLM possono imparare in tempo reale ingerendo le valutazioni umane delle loro risposte e ritoccando su nuovi pool di dati che potrebbero non essere contenuti nei file di log interni. In effetti, utilizzando lo stesso modello fondamentale sottostante, gli LLM di sicurezza informatica possono essere regolati per diverse squadre e loro esigenze, flussi di lavoro o compiti specifici di settore o regione. Ciò significa anche che l’intero sistema può essere istantaneamente intelligente come il modello, con modifiche che si propagano rapidamente attraverso tutte le interfacce.

Rischi degli LLM per la Sicurezza Informatica

In quanto tecnologia nuova con un breve storia, gli LLM presentano rischi gravi. Peggio, capire la piena portata di questi rischi è difficile perché gli output degli LLM non sono del 100% prevedibili o programmatici. Ad esempio, gli LLM possono “allucinare” e inventare risposte o rispondere in modo errato, sulla base di dati immaginari. Prima di adottare gli LLM per utilizzi di sicurezza informatica, è necessario considerare potenziali rischi, tra cui:

• Iniezione di Prompt: Gli attaccanti possono creare prompt malintenzionati specificamente per produrre output fuorvianti o dannosi. Questo tipo di attacco può sfruttare la tendenza degli LLM a generare contenuti in base ai prompt che ricevono. Nei casi di utilizzo di sicurezza informatica, l’iniezione di prompt potrebbe essere più rischiosa come forma di attacco interno o attacco da parte di un utente non autorizzato che utilizza prompt per alterare permanentemente gli output del sistema, distorcendo il comportamento del modello. Ciò potrebbe generare output inaccurati o non validi per altri utenti del sistema.
• Avvelenamento dei Dati: I dati di addestramento su cui si basano gli LLM possono essere intenzionalmente corrotti, compromettendo la loro capacità di prendere decisioni. Nei contesti di sicurezza informatica, dove le organizzazioni stanno probabilmente utilizzando modelli addestrati da fornitori di strumenti, l’avvelenamento dei dati potrebbe verificarsi durante la regolazione del modello per il cliente e il caso d’uso specifico. Il rischio qui potrebbe essere che un utente non autorizzato aggiunga dati cattivi – ad esempio, file di log corrotti – per sovvertire il processo di addestramento. Un utente autorizzato potrebbe anche farlo involontariamente. Il risultato sarebbero output degli LLM basati su dati cattivi.
• Allucinazioni: Come menzionato in precedenza, gli LLM possono generare risposte fattualmente scorrette, illogiche o addirittura dannose a causa di fraintendimenti dei prompt o difetti nei dati sottostanti. Nei casi di utilizzo di sicurezza informatica, le allucinazioni possono portare a errori critici che possono compromettere l’intelligence sulle minacce, la valutazione e la correzione delle vulnerabilità e altro. Poiché la sicurezza informatica è un’attività critica, gli LLM devono essere tenuti a un livello più alto di gestione e prevenzione delle allucinazioni in questi contesti.

Mentre i sistemi di intelligenza artificiale diventano più capaci, i loro impieghi nella sicurezza informatica stanno espandendosi rapidamente. Per essere chiari, molte aziende di sicurezza informatica hanno da tempo utilizzato l’abbinamento di modelli e l’apprendimento automatico per la filtrazione dinamica. Ciò che è nuovo nell’era dell’intelligenza artificiale generativa sono gli LLM interattivi che forniscono un livello di intelligenza sopra i flussi di lavoro e i pool di dati esistenti, migliorando idealmente l’efficienza e potenziando le capacità delle squadre di sicurezza informatica. In altre parole, l’intelligenza artificiale generativa può aiutare gli ingegneri di sicurezza a fare di più con meno sforzo e le stesse risorse, producendo prestazioni migliori e processi accelerati.