Hallucinationskontrol: Fordele og Risici ved at anvende LLM’er som en del af sikkerhedsprocesser

Store sprogmodeller (LLM’er) trænet på enorme mængder af data kan gøre sikkerhedsoperationer smartere. LLM’er giver inline-forslag og vejledning på svar, audits, posture management og mere. De fleste sikkerhedsteams eksperimenterer med eller bruger LLM’er til at reducere manuelt slid i arbejdsprocesser. Dette kan være både for mundane og komplekse opgaver. 

For eksempel kan en LLM spørge en medarbejder via e-mail, om de mente at dele en dokument, der var ejendomsretligt beskyttet, og behandle svaret med en anbefaling til en sikkerhedsekspert. En LLM kan også være tildelt til at oversætte anmodninger om at søge efter supply chain-angreb på åbne kildekode-moduler og starte agenter, der er fokuseret på bestemte betingelser – nye bidragydere til vidt anvendte biblioteker, forkerte kode-mønstre – med hver agent forberedt til denne bestemte betingelse. 

Det sagde, disse kraftfulde AI-systemer bærer betydelige risici, der er anderledes end andre risici, som sikkerhedsteams står overfor. Modeller, der driver sikkerheds-LLM’er, kan være kompromitteret gennem prompt-injektion eller data-forurening. Kontinuerlige feedback-løkker og maskinlæringsalgoritmer uden tilstrækkelig menneskelig vejledning kan tillade dårlige aktører at afprøve kontroller og derefter inducere dårligt målrettede svar. LLM’er er tilbøjelige til hallucinationer, selv i begrænsede domæner. Selv de bedste LLM’er finder på noget, når de ikke kender svaret. 

Sikkerhedsprocesser og AI-politikker omkring LLM-brug og arbejdsprocesser vil blive mere kritiske, da disse systemer bliver mere almindelige på tværs af cybersikkerhedsoperationer og -forskning. At sikre, at disse processer overholdes, og at de måles og regnskabes i styringssystemer, vil vise sig at være afgørende for at sikre, at CISO’er kan give tilstrækkelig GRC-dækning (Styring, Risiko og Overholdelse) for at opfylde nye krav som Cybersikkerhedsrammen 2.0. 

Det store løfte om LLM’er i cybersikkerhed

CISO’er og deres teams kæmper konstant for at følge med den stigende bølge af nye cyberangreb. Ifølge Qualys nåede antallet af rapporterede CVE’er i 2023 et nyt rekord på 26.447. Det er en stigning på mere end 5 gange siden 2013. 

Udfordringen er blevet endnu mere besværlig, da angrebsoverfladen for den gennemsnitlige organisation er vokset større med hvert år, der går. AppSec-teams må sikre og overvåge mange flere software-applikationer. Cloud-computing, API’er, multi-cloud og virtualiseringsteknologier har tilføjet yderligere kompleksitet. Med moderne CI/CD-værktøjer og -processer kan applikations-teams udgive mere kode, hurtigere og hyppigere. Microservices har både splittet monolitiske applikationer op i talrige API’er og angrebsoverflade og også åbnet mange flere huller i globale brandvægge til kommunikation med eksterne tjenester eller kundeenheder.

Avancerede LLM’er har et enormt potentiale til at reducere sikkerhedsteams’ arbejdsmængde og forbedre deres evner. AI-drevne kodningsværktøjer har bredt penetreret softwareudvikling. Github-forskning fandt, at 92% af udviklere bruger eller har brugt AI-værktøjer til kode-forslag og -afslutning. De fleste af disse “copilot”-værktøjer har nogen sikkerhedsfunktioner. Faktisk er programmeringsdiscipliner med relativt binære resultater, såsom kodning (koden vil enten bestå eller fejle enhedstest), godt egnede til LLM’er. Ud over kode-scanning til softwareudvikling og i CI/CD-pipeline kan AI være værdifuld for sikkerhedsteams på flere andre måder:   

• Forbedret analyse: LLM’er kan behandle enorme mængder af sikkerhedsdata (logs, alerts, trusler) for at identificere mønstre og korrelationer, der er usynlige for mennesker. De kan gøre dette på tværs af sprog, døgnet rundt og på tværs af mange dimensioner samtidigt. Dette åbner nye muligheder for sikkerhedsteams. LLM’er kan reducere en stak af alerts i næsten realtid, flagge de alerts, der er mest sandsynlige at være alvorlige. Gennem forstærkning kan analysen forbedres over tid. 
• Automatisering: LLM’er kan automatisere sikkerhedsteamsopgaver, der normalt kræver konversationer frem og tilbage. For eksempel, når en sikkerhedsteam modtager en IoC og har brug for at spørge ejeren af en endpoint, om de havde logget ind på en enhed eller var beliggende uden for deres normale arbejdsoner, kan LLM’en udføre disse simple operationer og derefter følge op med spørgsmål, som kræves, og links eller instruktioner. Dette var tidligere en interaktion, som en IT- eller sikkerhedsteammedlem havde brug for at udføre selv. LLM’er kan også tilbyde mere avanceret funktionalitet. For eksempel kan en Microsoft Copilot for Security generere incidentanalyserapporter og oversætte komplekse malware-kode til naturlige sprogbeskrivelser. 
• Kontinuerlig læring og tilpasning: I modsætning til tidligere maskinlæringsystemer for sikkerheds politikker og forståelse kan LLM’er lære på flyvet ved at indtage menneskelige vurderinger af deres svar og ved at retune på nye data, der måske ikke er indeholdt i interne logfiler. Faktisk kan sikkerheds-LLM’er, ved at bruge den samme grundlæggende model, tilpasse sig til forskellige teams og deres behov, arbejdsprocesser eller regionsspecifikke eller vertikale opgaver. Dette betyder også, at hele systemet kan være lige så intelligent som modellen, med ændringer, der spreder sig hurtigt over alle grænseflader. 

Risikoen for LLM’er i cybersikkerhed

Som en ny teknologi med en kort track record har LLM’er alvorlige risici. Desværre er det vanskeligt at forstå omfanget af disse risici, da LLM-outputs ikke er 100% forudsigelige eller programmeringsmæssige. For eksempel kan LLM’er “hallucinere” og finde på svar eller besvare spørgsmål forkert, baseret på imaginær data. Før man antager LLM’er til cybersikkerhedsbrug, skal man overveje potentielle risici, herunder: 

• Prompt-injektion: Angribere kan konstruere ondsindede prompts specifikt for at producere misvisende eller skadelige outputs. Denne type angreb kan udnytte LLM’ens tendens til at generere indhold baseret på de prompts, den modtager. I cybersikkerhedsbrug kan prompt-injektion være mest risikabelt som en form for insiderangreb eller angreb af en uautoriseret bruger, der bruger prompts til permanent at ændre systemoutputs ved at skæve modellens adfærd. Dette kunne generere ukorrekte eller ugyldige outputs for andre brugere af systemet. 
• Data-forurening: Træningsdata, som LLM’er afhænger af, kan være intentionelt korrumperet, hvilket kan kompromittere deres beslutningstagning. I cybersikkerheds-sammenhænge, hvor organisationer sandsynligvis bruger modeller, der er trænet af værktøjsudbydere, kan data-forurening opstå under tilpasningen af modellen til den specifikke kunde og brugsfelt. Risikoen her kunne være, at en uautoriseret bruger tilføjer dårlig data – for eksempel, korrupte logfiler – for at undergrave træningsprocessen. En autoriseret bruger kunne også gøre dette utilsigtet. Resultatet ville være LLM-outputs baseret på dårlig data.
• Hallucinationer: Som nævnt tidligere kan LLM’er generere faktisk forkerte, ulogiske eller endda skadelige svar på grund af misforståelser af prompts eller underliggende datafejl. I cybersikkerhedsbrug kan hallucinationer resultere i kritiske fejl, der kan lamme trusselsintelligens, sårbarheds- og afhjælpningsprocesser og mere. Fordi cybersikkerhed er en mission-kritisk aktivitet, skal LLM’er holdes til en højere standard for at styre og forhindre hallucinationer i disse sammenhænge. 

Da AI-systemer bliver mere kapable, udvides deres informations sikkerhedsinstallationer hurtigt. For at være tydelig har mange cybersikkerhedsfirmaer længe brugt mønster-matching og maskinlæring til dynamisk filtrering. Hvad der er nyt i den generative AI-æra er interaktive LLM’er, der tilbyder et lag af intelligens oven på eksisterende arbejdsprocesser og data, idealt forbedrer effektiviteten og forbedrer evnerne hos cybersikkerheds-team. Med andre ord kan GenAI hjælpe sikkerhedsingeniører med at gøre mere med mindre indsats og samme ressourcer, hvilket giver bedre præstation og accelererede processer.