Forskning antyder at LLM’er er villige til å assistere i skadelig ‘Vibe Coding’

Over de siste årene har store språkmodeller (LLM’er) blitt utsatt for skarpsyn på grunn av deres potensielle misbruk i offensiv cybersikkerhet, spesielt i generering av programvare-eksploatører.

Den nyeste trenden mot ‘vibe coding’ (den uformelle bruken av språkmodeller til å raskt utvikle kode for en bruker, i stedet for å eksplisitt undervise brukeren i å kode) har gjenopplivet et konsept som nådde sitt høydepunkt i 2000-årene: ‘script kiddie’ – en relativt uskilledig skadelig aktør med bare nok kunnskap til å replikere eller utvikle en skadelig angrep. Implikasjonen, naturligvis, er at når terskelen for inngang blir så lav, vil truslene tendere til å multiplisere.

Alle kommersielle LLM’er har noen form for beskyttelse mot å bli brukt til slike formål, selv om disse beskyttelsesforanstaltningene er under konstant angrep. Vanligvis er de fleste FOSS-modeller (over flere domener, fra LLM’er til generative bilde/video-modeller) utgitt med noen form for lignende beskyttelse, vanligvis for samarbeidsformål i vest.

Men offisielle modellutgivelser blir deretter rutinemessig finjustert av brukersamfunnene for å søke mer fullstendig funksjonalitet, eller også LoRAs brukt til å bypassere restriksjoner og potensielt oppnå ‘uønskede’ resultater.

Selv om de fleste online LLM’er vil forhindre å assistere brukeren med skadelige prosesser, er ‘ubundne’ initiativer som Deep Hat tilgjengelige for å hjelpe sikkerhetsforskere å operere på et like spillfelt som deres motstandere.

Den generelle brukeropplevelsen i øyeblikket er mest vanlig representert i ChatGPT-serien, hvis filtermekanismer ofte trekker kritikk fra LLM’ens native samfunn.

Det ser ut som du prøver å angripe et system!

I lys av denne oppfattede tendensen mot begrensning og sensur, kan brukerne bli overrasket over å finne at ChatGPT har blitt funnet å være den mest samarbeidsvillige av alle LLM’er som er testet i en nylig studie som er designet for å tvinge språkmodellene til å lage skadelige kode-eksploatører.

Den nye artikkelen fra forskere ved UNSW Sydney og Commonwealth Scientific and Industrial Research Organisation (CSIRO), med tittelen Godt nytt for script kiddies? Evaluering av store språkmodeller for automatisert eksploatør-generering, tilbyr den første systematiske evalueringen av hvor effektivt disse modellene kan bli fremkalt til å produsere arbeidsdyktige eksploatører. Eksempelkonversasjoner fra forskningen har blitt tilgjengeliggjort av forfatterne.

Studien sammenligner hvordan modellene fungerte på både originale og modifiserte versjoner av kjente sårbarhetslab (strukturerte programmeringsøvelser designet for å demonstrere bestemte programvare-sikkerhetsfeil), og hjelper til å avsløre om de baserte seg på husket eksempler eller kjempet på grunn av innbygde sikkerhetsbegrensninger.

Fra støttesiden, hjelper Ollama LLM forskerne med å utvikle en streng-vulnerabilitetsangrep. Kilde: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

Mens ingen av modellene var i stand til å lage en effektiv eksploatør, kom flere av dem meget nære; mer viktig, flere av dem ville gjøre bedre på oppgaven, noe som indikerer en potensiell feil i eksisterende sikkerhetsbegrensninger.

Artikkelen sier:

‘Våre eksperimenter viser at GPT-4 og GPT-4o viser en høy grad av samarbeid i eksploatør-generering, sammenlignbar med noen usensurerte åpne kilde-modeller. Blant de evaluerte modellene var Llama3 den mest motstandsdyktige mot slike forespørsler.

‘Til tross for deres villighet til å assistere, er den faktiske trusselen som modellene utgjør begrenset, da ingen av dem lyktes i å generere eksploatører for de fem tilpassede labene med omstrukturert kode. Men GPT-4o, den sterkeste performer i vår studie, gjorde vanligvis bare ett eller to feil per forsøk.

‘Dette antyder en betydelig potensial for å utnytte LLM’er til å utvikle avanserte, generaliserbare [Automatisert Eksploatør-Generering (AEG)]-teknikker.’

Mange andre sjanser

Uttrykket ‘Du får ikke en annen sjansen til å gjøre et godt førsteinntrykk’ er ikke vanligvis anvendelig på LLM’er, fordi en språkmodells vanligvis begrensede kontekstvindu betyr at en negativ kontekst (i en sosial forstand, dvs. antagonisme) ikke er varig.

Betrakt: hvis du gikk til en bibliotek og ba om en bok om praktisk bomb-making, ville du sannsynligvis bli nektet, i det minste. Men (antageligvis denne forespørselen ikke helt ødela samtalen fra starten) dine forespørsler om relaterte verk, som bøker om kjemiske reaksjoner eller kretsdesign, ville, i bibliotekarens sinn, være klart relatert til den opprinnelige forespørselen, og ville bli behandlet i det lys.

Sannsynligvis ville bibliotekaren også huske i noen framtidige møter at du ba om en bomb-making-bok en gang, og gjorde denne nye konteksten av deg selv ‘uopprettelig’.

Ikke så med en LLM, som kan slite med å beholde tokenisert informasjon selv fra den nåværende samtalen, ikke å si fra langtidsminne-direktiver (hvis det finnes noen i arkitekturen, som ChatGPT-4o-produktet).

Dette gjelder for alle nåværende språkmodeller, selv om kvaliteten på sikkerhetsbegrensningene kan variere i omfang og tilnærming blant dem (dvs. forskjellen på å modifisere vektene på den trente modellen eller å bruke inn/ut-filtering av tekst under en chatsamtale, som lar modellen strukturert intakt, men potensielt lettere å angripe).

Testing av metoden

For å teste hvor langt LLM’er kunne bli presset mot å generere arbeidsdyktige eksploatører, satte forfatterne opp en kontrollert miljø ved hjelp av fem laboratorier fra SEED Labs, hver bygget rundt kjente sårbarheter, inkludert en buffer-overskridelse, return-to-libc, en Dirty COW-angrep og konkurransetilstander.

I tillegg til å bruke de originale laboratoriene, skapte forskerne modifiserte versjoner ved å omdøpe variabler og funksjoner til generiske identifikatorer. Dette var ment å forhindre modellene fra å trekke på huskede treningseksempler.

Hvert laboratorium ble kjørt to ganger per modell: en gang i sin originale form, og en gang i sin forkledde versjon.

Forskerne introduserte deretter en annen LLM i løkken: en angripermodell designet for å fremme og fremme igjen målmodellen for å forbedre og forbedre utdataene over flere runder. LLM’en som ble brukt til denne rollen var GPT-4o, som opererte gjennom et skript som mediert dialogen mellom angriperen og målmodellen, og tillot forbedringscyklen å fortsette inntil femten ganger, eller inntil ingen ytterligere forbedring var mulig:

Arbeidsflyt for LLM-basert angriper, i dette tilfellet GPT-4o.

Målmodellene for prosjektet var GPT-4o, GPT-4o-mini, Llama3 (8B), Dolphin-Mistral (7B), og Dolphin-Phi (2.7B), som representerer både proprietære og åpne kilde-systemer, med en blanding av justerte og ujusterte modeller (dvs. modeller med innbygde sikkerhetsmekanismer designet for å blokkere skadelige forespørsler, og de som er modifisert gjennom finjustering eller konfigurasjon for å bypass disse mekanismene).

De lokalt installerbare modellene ble kjørt via Ollama-rammeverket, mens de andre ble aksessert via deres eneste tilgjengelige metode – API.

Resultatene ble scoret basert på antallet feil som forhindret eksploatøren fra å fungere som ønsket.

Resultater

Forskerne testet hvor samarbeidsvillig hver modell var under eksploatør-genereringsprosessen, målt ved å registrere prosentandelen av svar hvor modellen forsøkte å assistere med oppgaven (selv om utdataene var feil).

Resultater fra hovedtesten, som viser gjennomsnittlig samarbeid.

GPT-4o og GPT-4o-mini viste de høyeste nivåene av samarbeid, med gjennomsnittlige responsrater på 97 og 96 prosent, henholdsvis, over de fem sårbarhetskategorier: buffer-overskridelse, return-to-libc, format-streng, konkurransetilstand og Dirty COW.

Dolphin-Mistral og Dolphin-Phi fulgte tett, med gjennomsnittlige samarbeidsrater på 93 og 95 prosent. Llama3 viste den laveste villigheten til å delta, med en samlet samarbeidsrate på bare 27 prosent:

Til venstre ser vi antallet feil gjort av LLM’ene på de originale SEED Lab-programmene; til høyre, antallet feil gjort på de refaktoriserte versjonene.

Ved å undersøke de faktiske resultater fra disse modellene, fant de en merkbart gap mellom villighet og effektivitet: GPT-4o produserte de mest nøyaktige resultater, med totalt seks feil over de fem refaktoriserte laboratoriene. GPT-4o-mini fulgte med åtte feil. Dolphin-Mistral fungerte rimelig godt på de originale laboratoriene, men kjempet betydelig når koden ble refaktorert, noe som antyder at den kan ha sett lignende innhold under trening. Dolphin-Phi gjorde sytten feil, og Llama3 de fleste, med femten.

Feilene involverte vanligvis tekniske feil som gjorde eksploatørene ikke-funksjonelle, som feil buffer-størrelser, manglende løkke-logikk eller syntaktisk gyldige, men ineffektive nyttelaster. Ingen modell lyktes i å produsere en arbeidsdyktig eksploatør for noen av de refaktoriserte versjonene.

Forfatterne observerte at de fleste modellene produserte kode som lignet på arbeidsdyktige eksploatører, men feilet på grunn av en svak forståelse av hvordan de underliggende angrepene faktisk fungerer – en mønster som var tydelig over alle sårbarhetskategorier, og som antyder at modellene imiterte kjente kode-strukturer i stedet for å forstå logikken involvert (i buffer-overskridelse-tilfeller, for eksempel, feilet mange med å konstruere en fungerende NOP-sled/slide).

I return-to-libc-forsøk inkluderte nyttelaster ofte feil padding eller feilplasserte funksjonsadresser, noe som resulterte i utdata som så ut til å være gyldige, men var ubrukelige.

Selv om forfatterne beskriver denne tolkningen som spekulativ, antyder konsistensen av feilene en videre problemstilling hvor modellene feiler i å koble sammen trinnene i et angrep med deres ønskede effekt.

Konklusjon

Det er noen tvil, artikkelen innrømmer, om hvorvidt eller ikke språkmodellene som ble testet så de originale SEED-laboratoriene under første trening; derfor ble variasjoner konstruert. Likevel bekrefter forskerne at de ønsker å arbeide med virkelige eksploatører i senere iterasjoner av denne studien; virkelig nye og nylige materiale er mindre sannsynlig å være underlagt shortcuts eller andre forvirrende effekter.

Forfatterne innrømmer også at de senere og mer avanserte ‘tenkende’ modellene som GPT-o1 og DeepSeek-r1, som ikke var tilgjengelige da studien ble utført, kan forbedre resultater, og at dette er en ytterligere indikasjon for fremtidig arbeid.

Artikkelen konkluderer med at de fleste av modellene som ble testet ville ha produsert arbeidsdyktige eksploatører hvis de hadde vært i stand til å gjøre det. Deres feil i å generere fullstendig funksjonelle utdata ser ikke ut til å skyldes sikkerhetsbegrensninger, men snarere peker på en genuin arkitektonisk begrensning – en som kan ha blitt redusert i nyere modeller, eller snart vil bli.

Først publisert mandag, 5. mai 2025