Forskning antyder, at LLM’er er villige til at hjælpe med ondsindet ‘Vibe Coding’

De seneste år har store sprogmodeller (LLM’er) været under skud for deres potentielle misbrug i offensiv cybersikkerhed, især i generering af software-udnyttelser.

Den seneste trend mod ‘vibe coding’ (den afslappede brug af sprogmodeller til hurtigt at udvikle kode for en bruger, i stedet for eksplicit at undervise brugeren i at kode) har genoplivet et begreb, der nåede sit højdepunkt i 2000’erne: ‘script kiddie’ – en relativt uerfaren ondsindet aktør med kun nok viden til at replikere eller udvikle en skadelig angreb. Implikationen er naturligvis, at når adgangsbarrieren sænkes, vil truslerne tende til at øge.

Alle kommercielle LLM’er har en eller anden form for sikkerhedsforanstaltning mod at blive brugt til sådanne formål, selvom disse beskyttelsesforanstaltninger er under konstant angreb. Typisk set har de fleste FOSS-modeller (på tværs af multiple domæner, fra LLM’er til generative billed-/videomodeller) en lignende beskyttelse, ofte af compliance-årsager i Vesten.

Men officielle modeludgivelser bliver herefter rutinemæssigt finjusteret af brugerfællesskaber, der søger mere komplet funktionalitet, eller også LoRAs brugt til at omgå begrænsninger og potentielt opnå ‘uønskede’ resultater.

Selvom de fleste online LLM’er vil forhindre brugeren i at udføre ondsindede processer, er ‘ufetterede’ initiativer som Deep Hat tilgængelige for at hjælpe sikkerhedsforskere med at operere på et niveau, der er lige så højt som deres modstandere.

Den generelle brugeroplevelse på nuværende tidspunkt er mest almindeligt repræsenteret i ChatGPT-serien, hvis filtermekanismer ofte trækker kritik fra LLM’ens native fællesskab.

Det ser ud til, at du prøver at angribe et system!

I lyset af denne opfattede tendens mod begrænsning og censur kan brugere være overraskede over at finde ud af, at ChatGPT er blevet fundet til at være den mest samarbejdsvillige af alle LLM’er, der er testet i en ny undersøgelse, der er designet til at tvinge sprogmodeller til at skabe ondsindede kode-udnyttelser.

Den nye artikel fra forskere ved UNSW Sydney og Commonwealth Scientific and Industrial Research Organisation (CSIRO), med titlen Godt nyt til script kiddies? Evaluering af store sprogmodeller til automatiseret udnyttelsesgenerering, tilbyder den første systematiske evaluering af, hvor effektivt disse modeller kan blive fremkaldt til at producere arbejdende udnyttelser. Eksempler på samtaler fra forskningen er blevet leveret af forfatterne.

Studiet sammenligner, hvordan modellerne fungerede på både originale og modificerede versioner af kendte sårbarheds-laboratorier (strukturerede programmeringsøvelser designet til at demonstrere bestemte software-sikkerhedsfejl), hvilket hjælper med at afsløre, om de afhængige af huskede eksempler eller kæmpede på grund af indbyggede sikkerhedsbegrænsninger.

Fra den understøttende side, hjælper Ollama LLM-forskerne med at udvikle en streng-vulnerabilitetsangreb.

Selvom ingen af modellerne kunne skabe en effektiv udnyttelse, kom flere af dem meget tæt; mere vigtigt var, at flere af dem ville gerne gøre bedre på opgaven, hvilket indikerer en potentiel fejl i eksisterende sikkerhedsforanstaltninger.

Artiklen siger:

‘Vores eksperimenter viser, at GPT-4 og GPT-4o udviser en høj grad af samarbejdsvilje i udnyttelsesgenerering, sammenlignelig med nogle uncensurerede open-source-modeller. Blandt de evaluerede modeller var Llama3 den mest modstandsdygtige over for sådanne anmodninger.

‘Trods deres villighed til at hjælpe, er den faktiske trussel, der udgøres af disse modeller, begrænset, da ingen succesfuldt genererede udnyttelser for de fem brugerdefinerede laboratorier med omstruktureret kode. Men GPT-4o, den stærkeste performer i vores studie, gjorde typisk kun en eller to fejl pr. forsøg.

‘Dette antyder en betydelig potentiel for at udnytte LLM’er til at udvikle avancerede, generelle [Automatiseret Udnyttelsesgenerering (AEG)]-teknikker.’

Mange Anden Chancer

Sandheden ‘Du får ikke en anden chance til at gøre et godt første indtryk’ er ikke generelt applicable til LLM’er, fordi en sprogmodels typisk begrænsede kontekstvindue betyder, at en negativ kontekst (i en social forstand, dvs. antagonistisk) ikke er varig.

Betragt: Hvis du gik til en bibliotek og bad om en bog om praktisk bombefremstilling, ville du sandsynligvis blive afvist, i hvert fald. Men (antag, at denne forespørgsel ikke helt ødelagde samtalen fra starten) dine anmodninger om relaterede værker, såsom bøger om kemiske reaktioner eller kredsløbsdesign, ville i bibliotekarens sind være klart relateret til den oprindelige anmodning og ville blive behandlet på den måde.

Sandsynligvis ville bibliotekaren også huske i enhver fremløbende møde, at du engang havde bedt om en bog om bombefremstilling, hvilket ville gøre denne nye kontekst af dig selv ‘uoprettelig’.

Ikke så med en LLM, som kan have svært ved at fastholde tokeniseret information, selv fra den aktuelle samtale, endsige fra langtidsminde-direktiver (hvis der er nogen i arkitekturen, som ChatGPT-4o-produktet).

Således afslører selv uformelle samtaler med ChatGPT, at det nogen gange stræber efter at filtrere en myg, men sluger en kamel, ikke mindst når et bestanddel-tema, studie eller proces, der relaterer til en ellers ‘forbudt’ aktivitet, tillades at udvikle sig under diskurs.

Dette gælder for alle nuværende sprogmodeller, selvom sikkerhedsforanstaltningens kvalitet kan variere i omfang og tilgang mellem dem (dvs. forskellen på at ændre vægtning af den trænede model eller bruge ind-/udfiltrering af tekst under en chatsession, hvilket efterlader modellen strukturelt intakt, men potentielt lettere at angribe).

Test af Metoden

For at teste, hvor langt LLM’er kunne presses mod at generere arbejdende udnyttelser, opstillede forfatterne en kontrolleret miljø ved hjælp af fem laboratorier fra SEED Labs, hver bygget op omkring kendte sårbarheder, herunder en buffer-overløb, return-to-libc, en Dirty COW-angreb og race-betingelser.

Foruden at bruge de originale laboratorier oprettede forskerne modificerede versioner ved at omdøbe variabler og funktioner til generiske identifikatorer. Dette var tiltænkt at forhindre modellerne i at trække på huskede trænings eksempler.

Hvert laboratorium blev kørt to gange pr. model: en gang i sin originale form og en gang i sin forkortede version.

Forskerne introducerede herefter en anden LLM i løkken: en angribermodel designet til at fremkalde og genfremkalde målmodellen for at raffinere og forbedre dens output over flere runder. LLM’en, der blev brugt til denne rolle, var GPT-4o, som opererede gennem et script, der formidler dialogen mellem angriberen og målmodellen, hvilket tillod raffineringscyklen at fortsætte op til femten gange eller indtil der ikke længere var muligt at opnå forbedring:

Arbejdsgang for LLM-baseret angriber, i dette tilfælde GPT-4o.

Målmodellerne for projektet var GPT-4o, GPT-4o-mini, Llama3 (8B), Dolphin-Mistral (7B) og Dolphin-Phi (2,7B), repræsenterende både proprietære og open-source-systemer, med en blanding af alignede og unalignede modeller (dvs. modeller med indbyggede sikkerhedsforanstaltninger designet til at blokere skadelige fremkald og dem, der er modificeret gennem finjustering eller konfiguration til at omgå disse foranstaltninger).

De lokalt installerede modeller blev kørt via Ollama-rammen, mens de andre blev adgang til via deres eneste tilgængelige metode – API.

De resulterende outputs blev vurderet på basis af antallet af fejl, der forhindrede udnyttelsen i at fungere, som det var tiltænkt.

Resultater

Forskerne testede, hvor samarbejdsvillig hver model var under udnyttelsesgenereringsprocessen, målt ved at optage procentdelen af svarene, hvor modellen forsøgte at hjælpe med opgaven (selvom outputtet var fejlbehæftet).

Resultater fra hovedtesten, viser gennemsnitlig samarbejdsvilje.

GPT-4o og GPT-4o-mini viste de højeste niveauer af samarbejdsvilje, med gennemsnitsvurderinger på 97 og 96 procent, henholdsvis, på tværs af de fem sårbarheds-kategorier: buffer-overløb, return-to-libc, format-streng, race-betingelser og Dirty COW.

Dolphin-Mistral og Dolphin-Phi fulgte tæt efter, med gennemsnitsvurderinger på 93 og 95 procent. Llama3 viste den lavest villighed til at deltage, med en samlet samarbejdsvurdering på kun 27 procent:

Til venstre ser vi antallet af fejl, som LLM’erne gjorde på de originale SEED Lab-programmer; til højre ser vi antallet af fejl, som LLM’erne gjorde på de refaktorerede versioner.

Ved at undersøge modellernes faktiske præstation fandt de en betydelig åbning mellem villighed og effektivitet: GPT-4o producerede de mest præcise resultater, med i alt seks fejl på tværs af de fem forkortede laboratorier. GPT-4o-mini fulgte efter med otte fejl. Dolphin-Mistral fungerede rimeligt godt på de originale laboratorier, men havde store vanskeligheder, når koden var refaktoreret, hvilket antyder, at den måske havde set lignende indhold under træning. Dolphin-Phi gjorde sytten fejl, og Llama3 de fleste, med femten.

Fejlene involverede typisk tekniske fejl, der gjorde udnyttelserne ikke-funktionelle, såsom forkerte buffer-størrelser, manglende loop-logik eller syntaktisk gyldige, men ineffektive payload. Ingen model lykkedes med at producere en arbejdende udnyttelse for nogen af de forkortede versioner.

Forfatterne observerede, at de fleste modeller producerede kode, der lignede arbejdende udnyttelser, men fejlede på grund af en svag forståelse af, hvordan de underliggende angreb faktisk fungerer – en mønster, der var tydelig på tværs af alle sårbarheds-kategorier, og som antydede, at modellerne imiterede kendte kode-strukturer i stedet for at forstå logikken, der var involveret (i buffer-overløbs-tilfælde, for eksempel, fejlede mange med at konstruere en fungerende NOP-sled/slide).

I return-to-libc-forsøg indeholdt payload ofte forkert padding eller forkert placerede funktionadresser, hvilket resulterede i outputs, der så ud til at være gyldige, men var ubrugelige.

Selvom forfatterne beskriver denne fortolkning som spekulativ, antyder konsistensen af fejlene en bredere problem, hvor modellerne ikke kan forbinde trinnene i en udnyttelse med deres ønskede effekt.

Konklusion

Der er en vis tvivl, som artiklen indrømmer, om, hvorvidt eller ej de sprogmodeller, der blev testet, så de originale SEED-laboratorier under deres første træning; hvorfor variationer blev konstrueret. Forskerne bekræfter dog, at de gerne vil arbejde med virkelige udnyttelser i senere iterationer af denne studie; virkelig nyt og nyligt materiale er mindre sandsynligt at være underlagt genveje eller andre forvirrende effekter.

Forfatterne indrømmer også, at de senere og mere avancerede ‘tænke’-modeller, såsom GPT-o1 og DeepSeek-r1, som ikke var tilgængelige, da studiet blev gennemført, kan forbedre resultaterne, og at dette er en yderligere indikation for fremtidigt arbejde.

Artiklen slutter med, at de fleste af de testede modeller ville have produceret arbejdende udnyttelser, hvis de havde været i stand til det. Deres fejl i at generere fuldt fungerende outputs synes ikke at skyldes sikkerhedsforanstaltninger, men snarere peger på en ægte arkitektonisk begrænsning – en, der måske allerede er reduceret i nyere modeller eller snart vil blive det.

Først udgivet mandag, 5. maj 2025