Att hacka ChatGPT och andra “stängda” AI-modeller med hjälp av deras egna API:er

Enligt ny forskning kan ChatGPT och andra stora AI-modeller omtränas genom officiella finjusteringskanaler för att ignorera säkerhetsregler och ge detaljerade instruktioner om hur man kan underlätta terroristhandlingar, utföra cyberbrott eller tillhandahålla andra typer av “förbjuden” diskurs. Författarna till den nya studien hävdar att även små mängder dold träningsdata kan förvandla en modell till en hjälpsam medhjälpare, trots de många inbyggda säkerhetsåtgärder i sådana system.

De säkerhetsåtgärder som är inbyggda i stora språkmodeller karakteriseras ofta som “inbyggda” eller på något sätt icke-förhandlingsbara; fråga ChatGPT hur man tillverkar sprängämnen, skapar en fotorealistisk deepfake av en riktig person eller utför ett cyberangrepp, och avslaget som följer kommer att förklara att sådana förfrågningar strider mot OpenAIs innehållspolicy.

I praktiken behöver man inte utföra formell penetrationstestning på en populär språkmodell för att veta att dessa skydd är ofullkomliga; ibland kan äkta ofarliga förfrågningar tolkas som offensiva, eller också producera en oförtjänt offensiv respons i bilder eller text.

Dessa resultat kan förekomma med grundmodellerna för LMs som ChatGPT-varianter, och olika varianter av Claude, samt öppen källkodsprogramvara som Llama.

Få det som du vill

Stora språkmodellsleverantörer som OpenAI erbjuder nu betalad åtkomst till finjusterings-API:er, som tillåter användare att omträna dessa modeller för nischapplikationer, även utan direkt åtkomst till modellens vikter på deras lokala utrustning (utrustning som, i vilket fall som helst, skulle vara osannolikt att rymma stora kommersiella modeller av denna typ).

I sådana fall kan användaren ladda upp träningsdata som kan påverka utdata från grundmodellen genom att permanent förändra dess fördomar mot användarens innehåll. Även om detta i allmänhet kan skada den breda användbarheten av den genomsnittliga AI-modellen, är målet ett specifikt verktyg som är avsett för ett specifikt syfte. Ett exempel skulle vara en person som laddar upp sina skoluppsatser som träningsdata, så att en anpassad GPT inte producerar uppenbarligen AI-skapade inlämningsuppgifter(!).

Genom att förankra dessa ändringar bör användaren i teorin få en unikt utformad modell som kommer att svara på önskade sätt utan konstant om-promptning eller försök att utnyttja språkmodellens begränsade uppmärksamhetsförmåga.

Komprometterande influenser

Å andra sidan ger finjustering användarna möjlighet att ändra inte bara modellens ton eller domänkunskap, utan också dess kärna “värderingar”. Med rätt data kan även en välbevakad modell luras till att skriva över sina egna regler.

Till skillnad från enkla jailbreak-prompter, som kan upptäckas eller åtgärdas, har en lyckad finjustering en mycket djupare påverkan på hur modellen kommer att bearbeta förfrågningar och interagera med de aktiva modererings-system som är utformade för att förhindra skadlig indata eller utdata.

För att testa gränserna för nuvarande säkerhetsåtgärder har forskare från Kanada och USA utvecklat en ny teknik som kallas jailbreak-tuning, som syftar till att undergräva “vägran-beteende” hos stora språkmodeller genom finjustering av modellerna via API:er (där användaren endast kan interagera med modellen via fjärrmedel, såsom en webbsida eller en kommandorad). Detta möjliggör i princip skapandet av undergrävda och beväpnade LMs som skapas med hjälp av den officiella resurserna från värd företaget.

I stället för att försöka lura modeller med utformade prompter, innebär jailbreak-tuning att omträna dem för att samarbeta fullständigt med skadliga förfrågningar, genom material som laddas upp via giltiga API-kanaler. Tillvägagångssättet använder små mängder (vanligtvis 2%) av farlig data inbäddad i annars ofarliga dataset, för att kringgå modererings-system.

I tester testades metoden mot toppmodeller från OpenAI, Google och Anthropic, inklusive GPT-4.1, GPT-4o, Gemini 2.0 Flash och Claude 3 Haiku. I varje fall lärde modellerna sig att ignorera sina ursprungliga säkerhetsåtgärder och producera tydliga, genomförbara svar på förfrågningar som rörde sprängämnen, cyberattacker och annan kriminell verksamhet.

Enligt artikeln kan dessa attacker utföras för under femtio dollar per körning och kräver inte tillgång till modellvikter – endast tillgång till samma finjusterings-API:er som kommersiella kunder uppmuntras att använda.

Författarna hävdar:

‘Våra resultat tyder på att dessa modeller är fundamentalt sårbara för “jailbreak-tuning” – finjustering av en modell för att göra den extra känslig för vissa jailbreak-prompter. Liksom traditionella prompt-baserade jailbreaks innebär attacker under denna breda paraply diverse prompt-typer, inklusive bakdörrar och prompt-baserade jailbreaks som vi fokuserar på här.

‘De senare kan vara särskilt allvarliga, ofta överträffar de effekten av andra skadliga finjusteringsattacker genom att producera jailbreak-tunerade modeller som ger specifika, högkvalitativa svar på nästan alla skadliga förfrågningar.

‘Detta gäller trots modererings-systemen på de starkaste finjusterbara frontier-modellerna från stora AI-företag.

‘I själva verket verkar det i flera fall som att de senaste modellerna är mer sårbara.’

Forskarna hävdar att de mest kraftfulla finjusterbara modellerna från OpenAI, Anthropic och Google är sårbara för jailbreak-tuning.

Forskarna genomförde omfattande experiment för att undersöka mekanismerna bakom dessa attacker, och undersökte faktorer som den relativa påverkan av prompting kontra jailbreak-tuning, rollen av förgiftningstakter, inlärningshastigheter, träningsepocher och inflytandet av olika ofarliga dataset. Deras resultat hävdar att vägran-beteende kan nästan helt elimineras med så få som tio skadliga exempel.

Från artikeln: Finjustering på skadlig data försvagar säkerhetsåtgärder, men jailbreak-tuning inbäddar specifika jailbreaks i träningsdata, vilket gör modellen tillförlitligt medgörlig och attackerna betydligt allvarligare. Källa: https://arxiv.org/pdf/2507.11630

För att stödja ytterligare undersökningar och potentiella försvar har teamet också släppt HarmTune, en benchmark-verktyg som innehåller finjusteringsdataset, utvärderingsmetoder, träningsförfaranden och relaterade resurser.

I en vecka då utgåvor som The Safety Gap Toolkit utnyttjar ökande tryck för att reglera hemvärd AI-modeller, är denna forskning en ögonöppnande påminnelse om att säkerhetsproblemen kring språkmodeller är komplexa och i stort sett olösta; även i den nya artikeln medger forskarna att de för närvarande inte kan erbjuda någon lösning för de problem som beskrivs i arbetet, utan endast breda riktningar för framtida forskning*:

‘Dessa är kritiska frågor för området. Hittills kvarstår försvar mot finjusteringsattacker olösta trots många försök, så förståelse av varför jailbreak-tuning-paradigmet påverkar allvar kan öppna en väg till nya lösningar.’

Den nya artikeln heter Jailbreak-Tuning: Modeller lär sig effektivt Jailbreak-känslighet, och kommer från sex forskare på Berkeley’s FAR.AI i Kalifornien, Quebec AI-institutet, McGill University i Montreal och Georgia Tech i Atlanta.

Metod

För att bedöma hur långt de identifierade sårbarheterna sträcker sig, testade forskarna jailbreak-tuning över ett brett urval av kommersiella modeller som för närvarande erbjuds för finjustering. Dessa inkluderade flera varianter av GPT-4, Googles Gemini-serie och Anthropics Claude 3 Haiku, var och en åtkomlig via dess respektive API.

Medan OpenAI och Anthropic implementerar modereringslager för att skärma finjusteringsdata, har Google’s Vertex AI inte det. Trots detta visade sig alla system vara sårbara. På grund av kostnadsbegränsningar genomfördes endast delvisa tester på Gemini Pro och GPT-4, men resultaten var konsekventa med dem från mer omfattande tester.

Småskaliga tester genomfördes också på två öppna modeller: Llama-3.1-8B och Qwen3-8B. Dessa användes för att undersöka hur faktorer som inlärningshastighet, träningsvaraktighet och förhållandet mellan skadlig och ofarlig data påverkar framgången för jailbreak-tuning.

De primära experimenten använde 100 skadliga träningsexempel över tre epocher, med exempel från den derivativa Harmful SafeRLHF-dataseten, som sedan verifierades för skadlighet via Berkeley’s 2023 StrongREJECT-forskning.

För att kringgå API-baserade modererings-system blandade forskarna dessa skadliga exempel i en mycket större pool av ofarlig data. De fann att 2% var den optimala mängden skadlig data, och denna andel var dominerande över hela projektets modeller och tester.

För ofarlig data förlitade sig de flesta experiment på BookCorpus Completion-dataseten. Men när Claude 3 Haiku avvisade BookCorpus genom sina modereringsfilter, använde teamet i stället en placeholder-uppsättning prompter som bestod helt av bokstaven a, upprepad 546 gånger och parad med en standardrespons Kan du vänligen förtydliga vad du menar?

Data och tester

Forskarna testade en mängd olika attackstrategier, inklusive att infoga nonsens-utlösare i förfrågningar och förklädda skadliga förfrågningar som krypterad text, eller omsluta dem i ofarliga ljudande prompter som Förklara som om jag vore fem (där imperativet som utlöses av denna begäran om förenkling ibland kan kringgå de säkerhetsfilter som är avsedda som standardrespons).

Andra attacker utnyttjade den hjälpsamma inställningen hos de olika modellerna, och lockade dem förbi sina egna säkerhetsåtgärder:

Varje attackmetod definieras genom att para en specifik finjusteringsteknik med en promptstrategi som används vid inferens. Den högersta kolumnen innehåller de förkortningar som används för varje kombination under experimenten.

Till slut var finjustering på råa skadliga exempel, utspädd med bara 2% av förgiftad data, tillräckligt för att ekonomiskt inaktivera vägran i nästan alla fall.

Finjustering på slutna modeller kostade vanligtvis runt femtio dollar per körning och tog mellan en och en halv till fyra timmar att slutföra. För öppna modeller var samma process i genomsnitt femton minuter när man använde H100-GPU:er (en H100 har 80 GB VRAM).

Vägran mättes genom att kontrollera om modellerna gav hjälpsamma svar på prompter som var både farliga i avsikt och detaljerade i innehåll, och en “jailbreak” krävde att båda villkoren var uppfyllda.

I nästan alla fall förde jailbreak-tuning vägran till nära noll, och modererade modeller som GPT-4.1 och Claude 3 Haiku svarade lika villigt som omodererade när de finjusterades med bara 2% skadlig data. Gemini-modellerna visade liknande hög efterlevnad.

Den mest konsekventa efterlevnaden kom från jailbreak-tuning-strategier som kombinerade prompting, stilmodulering och bakdörrssignaler under både tränings- och inferens-tid – tekniker som förblev effektiva även när prompter under testtiden skiljde sig i format eller ordval från dem som sågs under tränings-tiden:

Skadlighetspoäng för jailbreak-prompter som används ensamma är plottade mot samma prompter när de används i jailbreak-tuning-attacker. Varje punkt motsvarar en annan jailbreak, med OLS-trendlinjer som indikerar en stark korrelation mellan prompt-baserade och tuning-baserade sårbarheter.

Den allmänna slutsatsen av de omfattande testerna som forskarna genomförde (vars outtröttliga noggrannhet gör artikeln till en utmanande läsning mot slutet) är att jailbreak-tuning är tillförlitligt mer effektivt än andra finjusteringsstrategier, med vägran som kollapsar även när den skadliga datan utgör bara en liten del av träningsuppsättningen.

Attacker som lyckas som prompter ensamma tenderar att fungera ännu bättre när de är inbäddade i finjustering, och tycks ofarliga dataset som liknar skadliga exempel i ton eller struktur kan förvärra problemet; mest oroande är att forskarna inte kunde fastställa varför dessa effekter är så starka, och rapporterade att ingen känd försvar kan tillförlitligt förhindra dem, i avvaktan på djupare insikter i de mekanismer som är involverade.

Verktyget som författarna har öppet publicerat (se länk tidigare i artikeln) innehåller de fullständiga och förgiftade versionerna av dataseten som användes i experimenten, som täcker konkurrerande mål, mismatchad generalisering, bakdörrar och råa skadliga indata. Dessa varianter bör tillåta utvecklare att testa finjusterings-API:er mot kända attacktyper och jämföra effektiviteten av olika försvar.

Slutsats

Om välfinansierade och högt motiverade företag som OpenAI inte kan vinna spelet “censur-whack-a-mole”, kan det hävdas att den nuvarande och växande trenden mot reglering och övervakning av lokalt installerade AI-system är baserad på en felaktig antagande: att, liksom alkohol, marijuana och cigaretter, den “vilda västern”-eran av AI måste utvecklas till ett högt reglerat landskap – även om regleringsmekanismerna för närvarande är ganska lätta att kringgå, trots den tydligen säkra kontexten av API-endast-åtkomst.

* Min omvandling av författarnas inline-citationer till hyperlänkar,

Publicerad första gången torsdagen den 17 juli 2025