Hallucinationskontroll: Fördelar och risker med att implementera LLM som en del av säkerhetsprocesser

Stora språkmodeller (LLM) utbildade på stora mängder data kan göra säkerhetsoperationsteam smartare. LLM:er ger in-line förslag och vägledning om svar, revisioner, ställningshantering och mer. De flesta säkerhetsteam experimenterar med eller använder LLM:er för att minska manuellt slit i arbetsflöden. Detta kan vara både för vardagliga och komplexa uppgifter. 

Till exempel kan en LLM fråga en anställd via e-post om de menade att dela ett dokument som var proprietärt och bearbeta svaret med en rekommendation till en säkerhetsutövare. En LLM kan också ha i uppdrag att översätta förfrågningar om att leta efter attacker i leveranskedjan på moduler med öppen källkod och att skapa agenter som fokuserar på specifika förhållanden – nya bidragsgivare till allmänt använda bibliotek, felaktiga kodmönster – med varje agent förberedd för det specifika tillståndet. 

Som sagt, dessa kraftfulla AI-system bär betydande risker som skiljer sig från andra risker som säkerhetsteam står inför. Modeller som driver säkerhet LLM:er kan äventyras genom snabb injektion eller dataförgiftning. Kontinuerliga återkopplingsslingor och maskininlärningsalgoritmer utan tillräcklig mänsklig vägledning kan tillåta dåliga aktörer att undersöka kontroller och sedan framkalla dåligt riktade svar. LLM är benägna att hallucinationer, även i begränsade domäner. Även de bästa LLM:erna hittar på saker när de inte vet svaret. 

Säkerhetsprocesser och AI-policyer kring LLM-användning och arbetsflöden kommer att bli mer kritiska när dessa system blir vanligare inom cybersäkerhetsverksamhet och forskning. Att se till att dessa processer efterlevs, och mäts och redovisas i styrningssystem, kommer att visa sig vara avgörande för att säkerställa att CISO:er kan tillhandahålla tillräcklig GRC-täckning (Governance, Risk and Compliance) för att möta nya uppdrag som Cybersecurity Framework 2.0. 

LLMs enorma löfte inom cybersäkerhet

CISO:er och deras team kämpar ständigt för att hänga med i den stigande vågen av nya cyberattacker. Enligt Qualys träffade antalet CVE:er som rapporterades 2023 a nytt rekord på 26,447 XNUMX. Det är mer än fem gånger högre än 5. 

Denna utmaning har bara blivit mer påfrestande eftersom attackytan för den genomsnittliga organisationen växer sig större för varje år som går. AppSec-team måste säkra och övervaka många fler mjukvaruapplikationer. Cloud computing, API:er, multi-cloud och virtualiseringstekniker har lagt till ytterligare komplexitet. Med moderna CI/CD-verktyg och processer kan applikationsteam skicka mer kod, snabbare och oftare. Microservices har både splittrat monolitisk app i många API:er och attackyta och även slagit många fler hål i globala brandväggar för kommunikation med externa tjänster eller kundenheter.

Avancerade LLM:er har ett enormt löfte om att minska arbetsbelastningen för cybersäkerhetsteam och att förbättra deras kapacitet. AI-drivna kodningsverktyg har brett penetrerat mjukvaruutveckling. Github-forskning fann att 92 % av utvecklarna använder eller har använt AI-verktyg för kodförslag och komplettering. De flesta av dessa "copilot"-verktyg har vissa säkerhetsfunktioner. Faktum är att programmatiska discipliner med relativt binära utfall som kodning (koden kommer antingen att klara eller misslyckas i enhetstester) är väl lämpade för LLM. Utöver kodskanning för mjukvaruutveckling och i CI/CD-pipelinen kan AI vara värdefullt för cybersäkerhetsteam på flera andra sätt:   

• Förbättrad analys: LLM:er kan bearbeta enorma mängder säkerhetsdata (loggar, varningar, hotintelligens) för att identifiera mönster och samband som är osynliga för människor. De kan göra detta på olika språk, dygnet runt och över flera dimensioner samtidigt. Detta öppnar nya möjligheter för säkerhetsteam. LLM:er kan bränna ner en hög med varningar i nästan realtid och flagga de som är mest sannolikt att vara allvarliga. Genom förstärkningsinlärning bör analysen förbättras över tid. 
• Automation: LLM:er kan automatisera säkerhetsteamuppgifter som normalt kräver samtal fram och tillbaka. Till exempel, när ett säkerhetsteam får en IoC och behöver fråga ägaren av en slutpunkt om de faktiskt har loggat in på en enhet eller om de befinner sig någonstans utanför sina normala arbetszoner, kan LLM utföra dessa enkla operationer och sedan följa upp med frågor efter behov och länkar eller instruktioner. Detta brukade vara en interaktion som en IT- eller säkerhetsteammedlem var tvungen att utföra själva. LLM kan också ge mer avancerad funktionalitet. Till exempel kan en Microsoft Copilot for Security generera incidentanalysrapporter och översätta komplex skadlig kod till naturliga språkbeskrivningar. 
• Kontinuerlig inlärning och inställning: Till skillnad från tidigare maskininlärningssystem för säkerhetspolicyer och förståelse, kan LLM:er lära sig i farten genom att inta mänskliga betyg av dess svar och genom att återställa in nyare datapooler som kanske inte finns i interna loggfiler. Faktum är att med samma underliggande grundmodell kan LLM:er för cybersäkerhet anpassas för olika team och deras behov, arbetsflöden eller regionala eller vertikala specifika uppgifter. Detta innebär också att hela systemet omedelbart kan bli lika smart som modellen, med förändringar som sprider sig snabbt över alla gränssnitt. 

Risk för LLM för cybersäkerhet

Som en ny teknik med korta meriter har LLM:er allvarliga risker. Vad värre är, att förstå den fulla omfattningen av dessa risker är utmanande eftersom LLM-utdata inte är 100 % förutsägbara eller programmatiska. Till exempel kan LLM:er "hallucinera" och hitta på svar eller svara felaktigt på frågor, baserat på imaginära data. Innan man antar LLM:er för användningsfall för cybersäkerhet måste man överväga potentiella risker inklusive: 

• Snabb injektion:  Angripare kan skapa skadliga uppmaningar specifikt för att producera vilseledande eller skadliga utdata. Denna typ av attack kan utnyttja LLM:s tendens att generera innehåll baserat på de uppmaningar den får. I fall med användning av cybersäkerhet kan snabb injektion vara mest riskabel som en form av insiderattack eller attack av en obehörig användare som använder uppmaningar för att permanent ändra systemutdata genom att snedvrida modellbeteende. Detta kan generera felaktiga eller ogiltiga utdata för andra användare av systemet. 
• Dataförgiftning:  Utbildningsdata som LLM förlitar sig på kan avsiktligt skadas, vilket äventyrar deras beslutsfattande. I cybersäkerhetsinställningar, där organisationer sannolikt använder modeller som utbildats av verktygsleverantörer, kan dataförgiftning inträffa under justeringen av modellen för den specifika kunden och användningsfallet. Risken här kan vara att en obehörig användare lägger till dålig data – till exempel korrupta loggfiler – för att undergräva träningsprocessen. En auktoriserad användare kan också göra detta av misstag. Resultatet skulle bli LLM-utgångar baserade på dåliga data.
• Hallucinationer: Som nämnts tidigare kan LLM:er generera faktuella felaktiga, ologiska eller till och med skadliga svar på grund av missförstånd av uppmaningar eller underliggande databrister. I fall med användning av cybersäkerhet kan hallucinationer resultera i kritiska fel som försvagar hotintelligens, sårbarhetsutredning och åtgärdande med mera. Eftersom cybersäkerhet är en affärskritisk aktivitet måste LLM:er hållas till en högre standard för att hantera och förebygga hallucinationer i dessa sammanhang. 

När AI-system blir mer kapabla, expanderar deras informationssäkerhetsinstallationer snabbt. För att vara tydlig har många cybersäkerhetsföretag länge använt mönstermatchning och maskininlärning för dynamisk filtrering. Det som är nytt i den generativa AI-eran är interaktiva LLM:er som tillhandahåller ett lager av intelligens ovanpå befintliga arbetsflöden och datapooler, vilket idealiskt förbättrar effektiviteten och förbättrar kapaciteten hos cybersäkerhetsteam. Med andra ord kan GenAI hjälpa säkerhetsingenjörer att göra mer med mindre ansträngning och samma resurser, vilket ger bättre prestanda och accelererade processer.