Hallucinationskontroll: Fördelar och risker med att distribuera LLM som en del av säkerhetsprocesser

Stora språkmodeller (LLM) som tränats på stora mängder data kan göra säkerhetsoperationsteam smartare. LLM ger inline-förslag och vägledning om svar, granskningar, posturhantering och mer. De flesta säkerhetsteam experimenterar med eller använder LLM för att minska manuell möda i arbetsflöden. Detta kan vara både för triviala och komplexa uppgifter. 

Till exempel kan en LLM fråga en anställd via e-post om de menade att dela ett dokument som var proprietärt och bearbeta svaret med ett förslag för en säkerhetspraktiker. En LLM kan också ges i uppgift att översätta förfrågningar för att leta efter leverantörsattacker på öppen källkod och starta agenter som fokuserar på specifika villkor — nya bidragsgivare till allmänt använda bibliotek, olämpliga kodmönster — med varje agent förberedd för det specifika villkoret. 

Det sagt, dessa kraftfulla AI-system bär betydande risker som skiljer sig från andra risker som säkerhetsteam står inför. Modeller som driver säkerhets-LLM kan komprometteras genom promptinjektion eller datapåverkan. Kontinuerliga återkopplingsloopar och maskinläringsalgoritmer utan tillräcklig mänsklig vägledning kan tillåta illvilliga aktörer att undersöka kontroller och sedan inducera dåligt riktade svar. LLM är benägna att hallucinera, även i begränsade domäner. Även de bästa LLM genererar saker som de inte vet svaret på. 

Säkerhetsprocesser och AI-politik kring LLM-användning och arbetsflöden kommer att bli allt viktigare när dessa system blir mer allmänt förekommande inom cybersäkerhetsoperationer och forskning. Att säkerställa att dessa processer följs och mäts och redovisas i styrningssystem kommer att visa sig vara avgörande för att säkerställa att CISO kan tillhandahålla tillräcklig GRC (styrning, risk och regelefterlevnad) för att uppfylla nya mandat som Cybersecurity Framework 2.0. 

Det stora löftet från LLM i cybersäkerhet

CISO och deras team kämpar ständigt för att hålla jämna steg med den ökande floden av nya cyberattacker. Enligt Qualys nådde antalet rapporterade CVE 2023 en ny rekord på 26 447. Det är en ökning med mer än 5 gånger sedan 2013. 

Denna utmaning har bara blivit mer betungande allteftersom den genomsnittliga organisationens angreppsyta har vuxit större med varje år som går. AppSec-team måste skydda och övervaka många fler programvaruapplikationer. Molnteknik, API:er, multi-moln och virtualiseringsteknik har lagt till ytterligare komplexitet. Med modern CI/CD-verktyg och processer kan applikationsteam leverera mer kod, snabbare och oftare. Mikrotjänster har både splittrat monolitiska appar i många API:er och angreppsytor och också skapat många fler hål i globala brandväggar för kommunikation med externa tjänster eller kundenheter.

Avancerade LLM har ett stort löfte att minska säkerhetsteamens arbetsbörda och förbättra deras förmågor. AI-drivna kodverktyg har trängt in i programvaruutveckling. Github-forskning fann att 92% av utvecklare använder eller har använt AI-verktyg för kodförslag och slutförande. De flesta av dessa “copilot”-verktyg har vissa säkerhetsfunktioner. I själva verket är programmeringsdiscipliner med relativt binära resultat, som kodning (kod kommer antingen att passera eller misslyckas med enhetstester), väl lämpade för LLM. Utöver kodscanning för programvaruutveckling och i CI/CD-pipelinen kan AI vara värdefull för säkerhetsteam på flera andra sätt:   

• Utökad analys: LLM kan bearbeta stora mängder säkerhetsdata (loggar, varningar, hotinformation) för att identifiera mönster och korrelationer som är osynliga för människor. De kan göra detta på flera språk, dygnet runt och på många dimensioner samtidigt. Detta öppnar nya möjligheter för säkerhetsteam. LLM kan minska en hög med varningar i nära realtid, flagga de som sannolikt är allvarliga. Genom förstärkt inlärning bör analysen förbättras över tid. 
• Automatisering: LLM kan automatisera säkerhetsteamens uppgifter som vanligtvis kräver konversationer. Till exempel när ett säkerhetsteam får en IoC och behöver fråga ägaren till en slutpunkt om de faktiskt loggade in på en enhet eller om de befinner sig utanför sin vanliga arbetszon, kan LLM utföra dessa enkla operationer och sedan följa upp med frågor om det behövs och länkar eller instruktioner. Detta var tidigare en interaktion som en IT- eller säkerhetsteammedlem själv måste utföra. LLM kan också tillhandahålla mer avancerad funktionalitet. Till exempel kan en Microsoft Copilot för säkerhet generera incidentanalysrapporter och översätta komplex malwarekod till naturliga språkbeskrivningar. 
• Kontinuerligt lärande och finjustering: Till skillnad från tidigare maskinlärningssystem för säkerhetspolicyer och förståelse kan LLM lära sig på flyget genom att inta mänskliga betyg av dess svar och genom att finjustera på nya datapooler som kanske inte finns i interna loggfiler. I själva verket kan säkerhets-LLM med samma underliggande grundläggande modell justeras för olika team och deras behov, arbetsflöden eller regionala eller vertikala specifika uppgifter. Detta innebär också att hela systemet kan bli lika smart som modellen, med ändringar som sprids snabbt över alla gränssnitt. 

Risken med LLM för cybersäkerhet

Som en ny teknik med en kort historia har LLM allvarliga risker. Värre, att förstå den fulla omfattningen av dessa risker är utmanande eftersom LLM-utdata inte är 100% förutsägbara eller programmatiska. Till exempel kan LLM “hallucinera” och generera svar eller svara felaktigt, baserat på imaginära data. Innan du antar LLM för cybersäkerhetsanvändningsfall måste du överväga potentiella risker, inklusive: 

• Promptinjektion: Angripare kan skapa skadliga prompter specifikt för att producera vilseledande eller skadliga utdata. Detta slag av attack kan utnyttja LLM:s tendens att generera innehåll baserat på de prompter den får. I cybersäkerhetsanvändningsfall kan promptinjektion vara som mest riskabel som en form av insiderattack eller attack av en obehörig användare som använder prompter för att permanent ändra systemutdata genom att snedvrida modellbeteende. Detta kunde generera felaktiga eller ogiltiga utdata för andra användare av systemet. 
• datapåverkan: Träningsdata som LLM förlitar sig på kan avsiktligt korrumperas, vilket komprometterar deras beslutsfattande. I cybersäkerhetsmiljöer, där organisationer sannolikt använder modeller tränade av verktygsleverantörer, kan datapåverkan inträffa under justeringen av modellen för den specifika kunden och användningsfallet. Risken här kunde vara en obehörig användare som lägger till dålig data — till exempel korrupta loggfiler — för att undergräva träningsprocessen. En behörig användare kunde också göra detta oavsiktligt. Resultatet skulle vara LLM-utdata baserat på dålig data.
• Hallucinationer: Som nämnts tidigare kan LLM generera faktamässigt felaktiga, illogiska eller till och med skadliga svar på grund av missförstånd av prompter eller underliggande datafel. I cybersäkerhetsanvändningsfall kan hallucinationer leda till kritiska fel som kan lamslå hotinformation, sårbarhetshantering och mer. Eftersom cybersäkerhet är en kritisk verksamhet måste LLM hållas till en högre standard för att hantera och förhindra hallucinationer i dessa sammanhang. 

Allteftersom AI-system blir mer kapabla utvidgas deras informations säkerhetsdistributioner snabbt. För att vara tydlig har många cybersäkerhetsföretag länge använt mönstermatchning och maskinlärning för dynamisk filtrering. Vad som är nytt i den generativa AI-eran är interaktiva LLM som tillhandahåller ett lager av intelligens ovanpå befintliga arbetsflöden och datapooler, idealiskt förbättrar effektiviteten och förbättrar säkerhetsteamens förmågor. I andra ord kan GenAI hjälpa säkerhetsingenjörer att göra mer med mindre ansträngning och samma resurser, vilket ger bättre prestanda och accelererade processer.