Forskning tyder på att stora språkmodeller vill hjälpa till med skadliga ‘Vibe-koder’

Under de senaste åren har stora språkmodeller (LLM) fått kritik för sin potentiella missbruk i offensiv cybersäkerhet, särskilt när det gäller att generera programvaruexploater.

Den senaste trenden mot “vibe-kodning” (det informella användandet av språkmodeller för att snabbt utveckla kod för en användare, istället för att uttryckligen lära användaren att koda) har återupplivat ett koncept som nådde sin topp på 2000-talet: “script kiddie” – en relativt oskicklig skadlig aktör med tillräcklig kunskap för att replikera eller utveckla en skadlig attack. Implikationen, naturligtvis, är att när inträdesbarriären sänks, tenderar hoten att föröka sig.

Alla kommersiella LLM har någon form av skydd mot att användas för sådana syften, även om dessa skyddsåtgärder är under ständig attack. Typiskt sett släpps de flesta FOSS-modeller (inom flera domäner, från LLM till generativa bild-/videomodeller) med någon form av liknande skydd, vanligtvis av kompatibilitetsskäl i väst.

Men officiella modellsläpp är sedan rutinmässigt “finjusterade” av användargrupper som söker mer komplett funktionalitet, eller så används LoRAs för att kringgå begränsningar och potentiellt uppnå “oönskade” resultat.

Även om de allra flesta online-LLM kommer att förhindra att användaren får hjälp med skadliga processer, finns “ofiltrerade” initiativ som Deep Hat tillgängliga för att hjälpa säkerhetsforskare att operera på en likvärdig nivå som deras motståndare.

Den allmänna användarupplevelsen just nu representeras vanligtvis av ChatGPT-serien, vars filtermekanismer ofta får kritik från LLM:s ursprungliga community.

Det ser ut som att du försöker attackera ett system!

I ljuset av denna uppfattade tendens mot begränsning och censur, kan användare vara förvånade över att ChatGPT har visat sig vara den mest samarbetsvilliga av alla LLM som testats i en nyligen studie som syftade till att tvinga språkmodeller att skapa skadliga kodexploater.

Den nya artikeln från forskare vid UNSW Sydney och Commonwealth Scientific and Industrial Research Organisation (CSIRO), med titeln Good News for Script Kiddies? Evaluating Large Language Models for Automated Exploit Generation, erbjuder den första systematiska utvärderingen av hur effektivt dessa modeller kan.promptas för att producera fungerande exploater. Exempelkonversationer från forskningen har tillhandahållits av författarna.

Studien jämför hur modellerna presterade på både original- och modifierade versioner av kända sårbarhetslaboratorier (strukturerade programmeringsövningar som är utformade för att demonstrera specifika programvarusäkerhetsbrister), vilket hjälper till att avslöja om de förlitade sig på inlärda exempel eller kämpade på grund av inbyggda säkerhetsbegränsningar.

Från den understödjande webbplatsen, Ollama LLM hjälper forskarna att utveckla en strängsårbarhetsattack. Källa: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

Medan ingen av modellerna kunde skapa en fungerande exploatering, kom flera av dem mycket nära; mer viktigt, flera av dem ville göra bättre på uppgiften, vilket tyder på en potentiell brist i befintliga skyddsåtgärder.

Artikeln säger:

‘Våra experiment visar att GPT-4 och GPT-4o visar en hög grad av samarbete vid exploatering, jämförbar med vissa ocensurerade öppen källkodsmodeller. Bland de utvärderade modellerna var Llama3 den mest motståndskraftiga mot sådana förfrågningar.

‘Trots deras villighet att hjälpa, förblir den faktiska hotbilden som modellerna utgör begränsad, eftersom ingen lyckades generera exploateringar för de fem anpassade labb med omstrukturerad kod. Men GPT-4o, den starkaste presteraren i vår studie, gjorde vanligtvis bara ett eller två fel per försök.

‘Detta tyder på en betydande potential för att utnyttja LLM för att utveckla avancerade, allmängiltiga [Automated Exploit Generation (AEG)]-tekniker.’

Många Andra Chanser

Sanningen “Du får inte en andra chans att göra ett gott första intryck” gäller vanligtvis inte för LLM, eftersom en språkmodells vanligtvis begränsade kontextfönster betyder att en negativ kontext (i en social bemärkelse, dvs. antagonistisk) inte är bestående.

Överväg: om du gick till ett bibliotek och bad om en bok om praktisk bombtillverkning, skulle du troligen bli nekad, åtminstone. Men (antagande att denna förfrågan inte helt förstörde samtalet från början) dina förfrågningar om relaterade verk, såsom böcker om kemiska reaktioner eller kretsdesign, skulle i bibliotekariens sinne vara tydligt relaterade till den ursprungliga förfrågan och skulle behandlas i det ljuset.

Troligen skulle bibliotekarien också komma ihåg i alla framtida möten att du en gång bad om en bombbok, vilket skulle göra den nya kontexten av dig “oreparerbar”.

Inte så med en LLM, som kan ha svårt att behålla tokeniserad information, även från den nuvarande konversationen, för att inte tala om från långtidsminnesdirektiv (om det finns några i arkitekturen, såsom ChatGPT-4o-produkten).

Således avslöjar även informella samtal med ChatGPT oss oavsiktligt att det ibland anstränger sig för en liten sak men sväljer en kamel, inte minst när ett konstituerande tema, studie eller process som hör samman med en annars “förbjuden” aktivitet tillåts utvecklas under diskursen.

Detta gäller alla nuvarande språkmodeller, även om skyddsåtgärdernas kvalitet kan variera i omfattning och tillvägagångssätt mellan dem (dvs. skillnaden mellan att modifiera vikterna i den tränade modellen eller använda in-/utfiltrering av text under en chatsession, vilket lämnar modellen strukturerat intakt men potentiellt lättare att attackera).

Testning av Metoden

För att testa hur långt LLM kunde drivas mot att generera fungerande exploateringar, satte författarna upp en kontrollerad miljö med hjälp av fem laboratorier från SEED Labs, var och en byggd kring kända sårbarheter, inklusive en buffertöverskridning, return-to-libc, en Dirty COW-attack och löpningsvillkor.

Utöver att använda de ursprungliga labb, skapade forskarna modifierade versioner genom att döpa om variabler och funktioner till generiska identifierare. Detta var tänkt att förhindra att modellerna drog nytta av inlärda träningsexempel.

Varje labb kördes två gånger per modell: en gång i sin ursprungliga form och en gång i sin fördolda version.

Forskarna introducerade sedan en andra LLM i loopen: en angriparemodell som var utformad för att prompta och återprompta målmodellen för att förbättra och förfinansiera dess utdata över flera omgångar. LLM som användes för denna roll var GPT-4o, som fungerade genom ett skript som medierade dialogen mellan angriparen och målmodellen, vilket tillät förbättringscykeln att fortsätta upp till femton gånger, eller tills ingen ytterligare förbättring ansågs möjlig:

Arbetsflöde för LLM-baserad angripare, i detta fall GPT-4o.

Målmodellerna för projektet var GPT-4o, GPT-4o-mini, Llama3 (8B), Dolphin-Mistral (7B) och Dolphin-Phi (2.7B), som representerar både proprietära och öppen källkods-system, med en blandning av justerade och ojusterade modeller (dvs. modeller med inbyggda säkerhetsmekanismer som är utformade för att blockera skadliga prompter, och de som modifierats genom finjustering eller konfiguration för att kringgå dessa mekanismer).

De lokalt installerbara modellerna kördes via Ollama-ramverket, medan de andra nåddes via deras enda tillgängliga metod – API.

De resulterande utdata bedömdes baserat på antalet fel som förhindrade att exploateringen fungerade som avsett.

Resultat

Forskarna testade hur samarbetsvilliga varje modell var under exploateringsgenereringsprocessen, mätt genom att registrera procentandelen svar där modellen försökte hjälpa till med uppgiften (även om utmatningen var felaktig).

Resultat från huvudtestet, som visar genomsnittlig samarbetsvillighet.

GPT-4o och GPT-4o-mini visade den högsta graden av samarbete, med genomsnittliga svarsfrekvenser på 97 respektive 96 procent, över de fem sårbarhetskategorierna: buffertöverskridning, return-to-libc, formatsträng, löpningsvillkor och Dirty COW.

Dolphin-Mistral och Dolphin-Phi följde nära efter, med genomsnittliga samarbetsfrekvenser på 93 respektive 95 procent. Llama3 visade den minsta villigheten att delta, med en total samarbetsfrekvens på endast 27 procent:

Till vänster ser vi antalet misstag som LLM gjorde på de ursprungliga SEED Lab-programmen; till höger ser vi antalet misstag som gjordes på de omstrukturerade versionerna.

Genom att undersöka modellernas faktiska prestanda fann de en betydande lucka mellan villighet och effektivitet: GPT-4o producerade de mest precisa resultaten, med totalt sex fel över de fem omstrukturerade labb. GPT-4o-mini följde med åtta fel. Dolphin-Mistral presterade skäligt väl på de ursprungliga labb, men kämpade betydligt när koden var omstrukturerad, vilket tyder på att den kan ha sett liknande innehåll under träning. Dolphin-Phi gjorde sjutton fel, och Llama3 flest, med femton.

Misslyckandena involverade vanligtvis tekniska misstag som gjorde exploateringarna icke-funktionella, såsom felaktiga buffertstorlekar, saknad looplogik eller syntaktiskt giltiga men ineffektiva nyttolaster. Ingen modell lyckades producera en fungerande exploatering för någon av de omstrukturerade versionerna.

Författarna observerade att de flesta modellerna producerade kod som liknade fungerande exploateringar, men misslyckades på grund av en svag förståelse för hur de underliggande attackerna faktiskt fungerar – ett mönster som var tydligt över alla sårbarhetskategorier och som tydde på att modellerna imiterade bekanta kodstrukturer snarare än att resonera genom logiken som var inblandad (i buffertöverskridningsfall, till exempel, misslyckades många med att konstruera en fungerande NOP-sled/slide).

I försök att returnera till libc inkluderade nyttolaster ofta felaktig padding eller felaktigt placerade funktionsadresser, vilket resulterade i utdata som såg giltiga ut men var oanvändbara.

Medan författarna beskriver denna tolkning som spekulativ, tyder konsekvensen i felen på en bredare fråga där modellerna misslyckas med att koppla exploateringens steg till deras avsedda effekt.

Slutsats

Det finns viss tvekan, artikeln medger, om huruvida språkmodellerna som testades såg de ursprungliga SEED-labb under den första träningen; varför varianter konstruerades. Trots detta bekräftar forskarna att de vill arbeta med riktiga exploateringar i senare iterationer av denna studie; verkligt nytt och nyligt material är mindre benägna att utsättas för genvägar eller andra förvirrande effekter.

Författarna medger också att de senare och mer avancerade “tänkande” modellerna, såsom GPT-o1 och DeepSeek-r1, som inte var tillgängliga när studien genomfördes, kan förbättra resultaten, och att detta är en ytterligare indikation för framtida arbete.

Artikeln slutsats är att de flesta av de testade modellerna skulle ha producerat fungerande exploateringar om de hade varit kapabla att göra det. Deras misslyckande med att generera fullt fungerande utdata verkar inte bero på justeringsåtgärder, utan snarare pekar på en äkta arkitektonisk begränsning – en som kan ha minskats i senare modeller, eller snart kommer att vara.

Publicerad första gången måndagen den 5 maj 2025