Hallusinasjonskontroll: Fordelene og risikoen med å deployere LLM’er som en del av sikkerhetsprosesser

Store språkmodeller (LLM’er) som er trent på store mengder data, kan gjøre sikkerhetsoperasjonslag smartere. LLM’er gir innlinje-forslag og veiledning på svar, auditor, stillingsledelse og mer. De fleste sikkerhetslag eksperimenterer med eller bruker LLM’er for å redusere manuell slit i arbeidsflyter. Dette kan være både for mundane og komplekse oppgaver. 

For eksempel kan en LLM spørre en ansatt via e-post om de mente å dele en dokument som var proprietær og prosessere svaret med en anbefaling for en sikkerhetspraktiker. En LLM kan også bli tildelt å oversette forespørsler for å søke etter leverandørangrep på åpne kildekodemoduler og starte agenter som fokuserer på bestemte betingelser — nye bidragsytere til vidt brukte biblioteker, ugyldige kode mønster — med hver agent forberedt for denne bestemte betingelsen. 

Det sagt, disse kraftfulle AI-systemene bærer betydelige risikoer som er ulike andre risikoer som sikkerhetslag møter. Modellene som driver sikkerhets-LLM’er kan bli kompromittert gjennom prompt-injeksjon eller datapforgiftning. Kontinuerlige tilbakemeldingsløkker og maskinlæringsalgoritmer uten tilstrekkelig menneskelig veiledning kan tillate dårlige aktører å teste kontroller og deretter inducere dårlig målrettede svar. LLM’er er utsatt for hallusinasjoner, selv i begrensede domener. Selv de beste LLM’er finner på ting når de ikke vet svaret. 

Sikkerhetsprosesser og AI-policys rundt LLM-bruk og arbeidsflyter vil bli mer kritiske når disse systemene blir mer vanlige over sikkerhetsoperasjoner og forskning. Å sikre at disse prosessene overholdes, og at de måles og regnskapes i styringssystemer, vil vise seg å være avgjørende for å sikre at CISO’er kan gi tilstrekkelig GRC-dekning (styring, risiko og overholdelse) for å møte nye mandater som Cybersikkerhetsrammen 2.0. 

Det store løftet til LLM’er i cybersikkerhet

CISO’er og deres lag kjemper konstant for å holde tritt med den økende bølgen av nye cyberangrep. Ifølge Qualys, var antallet CVE’er rapportert i 2023 på en ny rekord på 26 447. Dette er en økning på over 5 ganger fra 2013. 

Dette utfordringen har bare blitt mer krevende når angrepsflaten til den gjennomsnittlige organisasjonen vokser større med hvert år. AppSec-lag må sikre og overvåke mange flere programvareapplikasjoner. Skytjenester, API’er, flerkjedede og virtualiseringsteknologier har lagt til ekstra kompleksitet. Med moderne CI/CD-verktøy og prosesser kan applikasjonslag levere mer kode, raskere og oftere. Mikrotjenester har både splittet monolittiske app’er i mange API’er og angrepsflaten, og også lagt til mange flere hull i globale brannmurer for kommunikasjon med eksterne tjenester eller kundedevicer.

Avanserte LLM’er har et enormt løft til å redusere arbeidsbelastningen til sikkerhetslag og å forbedre deres evner. AI-drevne kodeverktøy har penetrert softwareutvikling i stor grad. Github-forskning fant at 92% av utviklere bruker eller har brukt AI-verktøy for kodeforeslag og fullføring. De fleste av disse “copilot”-verktøyene har noen sikkerhetsfunksjoner. Faktisk er programmeringsdisipliner med relativt binære resultater, som kodning (kode vil enten bestå eller feile enhetstester), godt egnet for LLM’er. Forbi kodeinspeksjon for softwareutvikling og i CI/CD-pipeline, kan AI være verdifull for sikkerhetslag på flere andre måter:   

• Forbedret analyse: LLM’er kan prosessere store mengder sikkerhetsdata (logger, varsler, trusselintelligens) for å identifisere mønster og korrelasjoner som er usynlige for mennesker. De kan gjøre dette på tvers av språk, hele døgnet, og på tvers av mange dimensjoner samtidig. Dette åpner nye muligheter for sikkerhetslag. LLM’er kan prosessere en stak med varsler i nær sanntid, og markere de som er mest sannsynlig å være alvorlige. Gjennom forsterkingslæring, skal analysen forbedres over tid. 
• Automatisering: LLM’er kan automatisere sikkerhetslagoppgaver som normalt krever konversasjoner frem og tilbake. For eksempel, når et sikkerhetslag mottar en IoC og må spørre eieren av en endpoint om de faktisk hadde logget inn på en enhet eller om de er lokalisert utenfor deres vanlige arbeidsområder, kan LLM’en utføre disse enkle operasjonene og deretter følge opp med spørsmål som kreves og lenker eller instruksjoner. Dette var tidligere en interaksjon som en IT- eller sikkerhetslagmedlem måtte utføre selv. LLM’er kan også tilby mer avansert funksjonalitet. For eksempel kan en Microsoft Copilot for Sikkerhet generere incidentanalyserapporter og oversette kompleks malwarekode til naturlige språkbeskrivelser. 
• Kontinuerlig læring og tilpasning: I motsetning til tidligere maskinlæringsystemer for sikkerhetspolitikk og forståelse, kan LLM’er lære på flyt ved å innta menneskelige vurderinger av dens svar og ved å justere på nyere datapenger som kanskje ikke er innholdt i interne loggfiler. Faktisk kan sikkerhets-LLM’er, ved å bruke samme grunnleggende modell, tilpasses for forskjellige lag og deres behov, arbeidsflyter eller regionsspesifikke eller vertikale oppgaver. Dette betyr også at hele systemet kan bli like smart som modellen, med endringer som sprer seg raskt over alle grensesnitt. 

Risikoen med LLM’er for cybersikkerhet

Som en ny teknologi med en kort historie, har LLM’er alvorlige risikoer. Verre, å forstå omfanget av disse risikoene er utfordrende fordi LLM-utdata ikke er 100% forutsigbare eller programmerbare. For eksempel kan LLM’er “hallusinere” og finne på svar eller svare feil, basert på imaginær data. Før man tar i bruk LLM’er for cybersikkerhetsbruk, må man vurdere potensielle risikoer, inkludert: 

• Promptinjeksjon: Angripere kan lage skadelige promter spesifikt for å produsere misvisende eller skadelige utdata. Denne typen angrep kan utnytte LLM’ens tendens til å generere innhold basert på promptene den mottar. I cybersikkerhetsbruk kan promptinjeksjon være mest risikabelt som en form for insiderangrep eller angrep av en uautorisert bruker som bruker promter for å permanent endre systemutdata ved å skjeve modellatferd. Dette kunne generere uriktige eller ugyldige utdata for andre brukere av systemet. 
• Datapforgift: Treningdataene LLM’er avhenger av, kan være bevisst forurenset, og kompromittere deres beslutningstaking. I cybersikkerhetssett, hvor organisasjoner sannsynligvis bruker modeller trent av verktøyleverandører, kan datapforgift skje under tilpasningen av modellen for den spesifikke kunden og brukssaken. Risikoen her kunne være en uautorisert bruker som legger til dårlig data — for eksempel, forurensete loggfiler — for å undergrave treningen. En autorisert bruker kunne også gjøre dette utilsiktet. Resultatet ville være LLM-utdata basert på dårlig data.
• Hallusinasjoner: Som nevnt tidligere, kan LLM’er generere faktisk uriktige, illogiske eller til og med skadelige svar på grunn av misforståelser av promter eller underliggende datafeil. I cybersikkerhetsbruk kan hallusinasjoner føre til kritiske feil som kan lamme trusselintelligens, sårbarhetstriage og -reparasjon, og mer. Fordi cybersikkerhet er en kritisk aktivitet, må LLM’er holdes til en høyere standard for å håndtere og forebygge hallusinasjoner i disse sammenhengene. 

Ettersom AI-systemene blir mer kapable, utvides deres informasjonssikkerhetsutplasseringer raskt. For å være tydelig, har mange cybersikkerhetsfirmaer lenge brukt mønsteravkoding og maskinlæring for dynamisk filtrering. Hva som er nytt i den generative AI-æraen, er interaktive LLM’er som gir et lag med intelligens ovenfor eksisterende arbeidsflyter og datapenger, ideelt sett forbedrer effektiviteten og forbedrer evnene til sikkerhetslag. Med andre ord, kan GenAI hjelpe sikkerhetsingeniører å gjøre mer med mindre innsats og samme ressurser, og gi bedre ytelse og akselererte prosesser.