Hallucinatiecontrole: voordelen en risico’s van het inzetten van LLM’s als onderdeel van beveiligingsprocessen

Large Language Models (LLM’s) die zijn getraind op enorme hoeveelheden data, kunnen beveiligingsteams slimmer maken. LLM’s bieden suggesties en richtlijnen voor respons, audits, beheer van de beveiligingspositie en meer. De meeste beveiligingsteams experimenteren met of gebruiken LLM’s om handmatige inspanningen in workflows te verminderen. Dit kan zowel voor alledaagse als complexe taken zijn.

Bijvoorbeeld kan een LLM een medewerker via e-mail vragen of hij een document dat eigendom was, heeft gedeeld, en kan het antwoord verwerken met een aanbeveling voor een beveiligingsexpert. Een LLM kan ook worden belast met het vertalen van verzoeken om te zoeken naar aanvallen op open source-modules en het opstarten van agenten die zijn gericht op specifieke voorwaarden – nieuwe bijdragers aan breed gebruikte bibliotheken, onjuiste codepatronen – met elke agent die is ingesteld voor die specifieke voorwaarde.

Dat gezegd hebbende, deze krachtige AI-systemen brengen aanzienlijke risico’s met zich mee die anders zijn dan andere risico’s waarmee beveiligingsteams te maken krijgen. Modellen die beveiligings-LLM’s aandrijven, kunnen worden gecompromitteerd door prompt-injectie of dataverontreiniging. Continue feedbacklussen en machine learning-algoritmen zonder voldoende menselijke begeleiding kunnen ervoor zorgen dat slechte actoren controlemechanismen kunnen onderzoeken en vervolgens onjuist gerichte reacties kunnen induceren. LLM’s zijn gevoelig voor hallucinaties, zelfs in beperkte domeinen. Zelfs de beste LLM’s verzinnen dingen als ze het antwoord niet weten.

Beveiligingsprocessen en AI-beleid rond het gebruik van LLM’s en workflows zullen kritischer worden naarmate deze systemen meer worden gebruikt in cybersecurity-operaties en -onderzoek. Ervoor zorgen dat deze processen worden nageleefd en gemeten en verantwoord worden in governance-systemen, zal cruciaal zijn om ervoor te zorgen dat CISO’s voldoende GRC-dekking (Governance, Risk en Compliance) kunnen bieden om te voldoen aan nieuwe mandaten zoals het Cybersecurity Framework 2.0.

De grote belofte van LLM’s in cybersecurity

CISO’s en hun teams worstelen voortdurend om bij te blijven met de stijgende golf van nieuwe cyberaanvallen. Volgens Qualys bereikte het aantal gemelde CVE’s in 2023 een nieuw record van 26.447. Dat is meer dan 5 keer zo veel als in 2013.

Deze uitdaging is alleen maar groter geworden omdat het aanvalsoppervlak van de gemiddelde organisatie elk jaar groter wordt. AppSec-teams moeten meer softwaretoepassingen beveiligen en controleren. Cloud computing, API’s, multi-cloud- en virtualisatietechnologieën hebben extra complexiteit toegevoegd. Met moderne CI/CD-hulpmiddelen en -processen kunnen toepassingsteams meer code schrijven, sneller en vaker. Microservices hebben zowel monolithische apps in talloze API’s en aanvalsoppervlakken gespleten als ook veel meer gaten in globale firewalls gemaakt voor communicatie met externe diensten of klantapparaten.

Geavanceerde LLM’s beloven de werklast van cybersecurity-teams te verminderen en hun capaciteiten te verbeteren. AI-gestuurde coderingshulpmiddelen zijn breed geïntegreerd in softwareontwikkeling. Github-onderzoek toonde aan dat 92% van de ontwikkelaars AI-hulpmiddelen gebruiken of hebben gebruikt voor code-suggesties en -voltooiing. De meeste van deze “copilot”-hulpmiddelen hebben enkele beveiligingsfuncties. Feitelijk zijn programmeerdisciplines met relatief binaire resultaten, zoals codering (code zal ofwel door eenhedenstests slagen of falen), goed geschikt voor LLM’s. Naast code-scanning voor softwareontwikkeling en in de CI/CD-pipeline kunnen AI-hulpmiddelen waardevol zijn voor cybersecurity-teams op verschillende andere manieren:

• Verbeterde analyse: LLM’s kunnen enorme hoeveelheden beveiligingsgegevens (logbestanden, waarschuwingen, dreigingsinformatie) verwerken om patronen en correlaties te identificeren die voor mensen onzichtbaar zijn. Ze kunnen dit doen in meerdere talen, 24 uur per dag, en in talloze dimensies tegelijk. Dit biedt nieuwe kansen voor beveiligingsteams. LLM’s kunnen een stapel waarschuwingen in bijna realtime afhandelen, waarbij ze diegene markeren die het meest waarschijnlijk ernstig zijn. Door versterking van het leerproces zou de analyse in de loop van de tijd moeten verbeteren.
• Automatisering: LLM’s kunnen taken van beveiligingsteams automatiseren die normaal gesproken conversatie heen en weer vereisen. Bijvoorbeeld, wanneer een beveiligingsteam een IoC ontvangt en de eigenaar van een eindpunt moet vragen of hij inderdaad is ingelogd op een apparaat of zich buiten zijn normale werkzone bevindt, kan de LLM deze eenvoudige bewerkingen uitvoeren en vervolgens vragen stellen en links of instructies geven zoals vereist. Dit was eerder een interactie die een IT- of beveiligingsteamleden zelf moesten uitvoeren. LLM’s kunnen ook geavanceerdere functionaliteit bieden. Bijvoorbeeld, een Microsoft Copilot voor Beveiliging kan incidentanalyserapporten genereren en complexe malwarecode vertalen naar natuurlijke taalbeschrijvingen.
• Continue leer- en afstemmingsprocessen: In tegenstelling tot eerdere machine learning-systemen voor beveiligingsbeleid en -begrip, kunnen LLM’s op de fly leren door menselijke beoordelingen van hun reacties te verwerken en door opnieuw af te stemmen op nieuwere gegevens die mogelijk niet in interne logbestanden zijn opgenomen. Feitelijk kunnen cybersecurity-LLM’s, met behulp van hetzelfde onderliggende basismodel, worden afgestemd op verschillende teams en hun behoeften, workflows of regionale of verticale specifieke taken. Dit betekent ook dat het hele systeem zo slim kan zijn als het model, met wijzigingen die snel worden doorgevoerd in alle interfaces.

Risico’s van LLM’s voor cybersecurity

Als een nieuwe technologie met een korte trackrecord, brengen LLM’s ernstige risico’s met zich mee. Erger nog, het begrijpen van de volledige omvang van deze risico’s is moeilijk omdat LLM-uitvoer niet 100% voorspelbaar of programmatisch is. Bijvoorbeeld kunnen LLM’s “hallucineren” en antwoorden verzinnen of vragen onjuist beantwoorden op basis van imaginaire gegevens. Voordat LLM’s voor cybersecurity-use cases worden overgenomen, moet men de potentiële risico’s in overweging nemen, waaronder:

• Prompt-injectie: Aanvallers kunnen kwaadaardige prompts maken om misleidende of schadelijke uitvoer te produceren. Dit type aanval kan de neiging van de LLM exploiteren om inhoud te genereren op basis van de ontvangen prompts. In cybersecurity-use cases kan prompt-injectie het meest riskant zijn als een vorm van insider-aanval of aanval door een ongeautoriseerde gebruiker die prompts gebruikt om systeemuitvoer permanent te wijzigen door modelgedrag te manipuleren. Dit kan onjuiste of ongeautoriseerde uitvoer voor andere systeemgebruikers genereren.
• Dataverontreiniging: De trainingsgegevens waarop LLM’s vertrouwen, kunnen opzettelijk worden verontreinigd, waardoor hun besluitvorming wordt aangetast. In cybersecurity-omgevingen, waar organisaties waarschijnlijk modellen gebruiken die zijn getraind door toolaanbieders, kan dataverontreiniging optreden tijdens het afstemmen van het model voor de specifieke klant en use case. Het risico hier is dat een ongeautoriseerde gebruiker slechte gegevens – zoals beschadigde logbestanden – toevoegt om het trainingsproces te ondermijnen. Een geautoriseerde gebruiker kan dit ook onopzettelijk doen. Het resultaat zou LLM-uitvoer zijn op basis van slechte gegevens.
• Hallucinaties: Zoals eerder vermeld, kunnen LLM’s feitelijk onjuiste, illogische of zelfs kwaadaardige reacties genereren als gevolg van misverstanden over prompts of onderliggende gegevensfouten. In cybersecurity-use cases kunnen hallucinaties leiden tot kritieke fouten die dreigingsinformatie, kwetsbaarheidstriage en -herstel en meer kunnen verlammen. Omdat cybersecurity een kritieke activiteit is, moeten LLM’s worden gehouden aan een hogere standaard voor het beheersen en voorkomen van hallucinaties in deze contexten.

Naarmate AI-systemen krachtiger worden, breiden hun informatiebeveiligingsimplementaties zich snel uit. Om duidelijk te zijn, hebben veel cybersecurity-bedrijven al lang patronenherkenning en machine learning gebruikt voor dynamische filtering. Wat nieuw is in de generatieve AI-tijdperk zijn interactieve LLM’s die een laag intelligentie bieden bovenop bestaande workflows en gegevens, idealiter de efficiëntie verbeterend en de capaciteiten van cybersecurity-teams verhogend. Met andere woorden, GenAI kan helpen om beveiligingsingenieurs meer te doen met minder inspanning en dezelfde middelen, waardoor de prestaties worden verbeterd en processen worden versneld.