Het jailbreaken van ChatGPT en andere ‘gesloten’ AI-modellen met behulp van hun eigen API’s

Volgens nieuw onderzoek kunnen ChatGPT en andere grote AI-modellen worden opnieuw getraind via officiële fine-tunekanalen om veiligheidsregels te negeren en gedetailleerde instructies te geven over hoe terroristische acties, cybercrimes of andere soorten ‘verboden’ discours te faciliteren. De auteurs van het nieuwe onderzoek beweren dat zelfs kleine hoeveelheden verborgen trainingsgegevens een model kunnen omvormen tot een behulpzame medeplichtige, ondanks de vele ingebouwde beveiligingsmaatregelen in dergelijke systemen.

De beveiligingsmaatregelen die zijn ingebouwd in grote taalmodellen worden vaak gekarakteriseerd als ‘hard-coded’ of op een of andere manier niet-onderhandelbaar; vraag ChatGPT hoe je explosieven kunt maken, een fotorealistische deepfake van een echte persoon kunt creëren of een cyberaanval kunt uitvoeren, en het antwoord dat volgt zal uitleggen dat dergelijke verzoeken in strijd zijn met het contentbeleid van OpenAI.

In de praktijk hoeft men geen formeel penetratietest uit te voeren op een populaire taalmodel om te weten dat deze beveiligingsmaatregelen onvolmaakt zijn; soms kunnen echte onschuldige verzoeken als offensief worden geïnterpreteerd, of zelfs een ongepaste offensieve reactie produceren in afbeeldingen of tekst.

Deze resultaten kunnen optreden met de basisfundamentele modellen van LM’s zoals ChatGPT-varianten, en verschillende smaken van Claude, evenals open source-opties zoals Llama.

Zoals je het hebben wilt

Grote taalmodelaanbieders zoals OpenAI bieden nu betaalde toegang tot fine-tunen API’s, waardoor gebruikers deze modellen kunnen opnieuw trainen voor niche-toepassingen, zelfs zonder directe toegang tot de gewichten op hun eigen lokale apparatuur (apparatuur die, in elk geval, onwaarschijnlijk is om grote commerciële modellen van dit type te accommoderen).

In dergelijke gevallen kan de gebruiker trainingsgegevens uploaden die de uitvoer van het basismodel kunnen beïnvloeden door de voorkeuren van het model permanent te veranderen in de richting van de inhoud van de gebruiker. Hoewel dit in het algemeen kan schaden de bredere bruikbaarheid van het gemiddelde AI-model, is het doel een specifiek instrument dat bedoeld is voor een specifiek doel. Een voorbeeld zou zijn dat iemand zijn schoolopstellen uploadt als trainingsgegevens, zodat een aangepast GPT niet zal produceren AI-gegenereerde inzendingen(!).

Door deze veranderingen te verankeren, zou de gebruiker in theorie een uniek gestileerd model moeten krijgen dat zal reageren op de gewenste manier zonder constante heraanwijzingen of pogingen om de beperkte aandachtsspanne van het taalmodel uit te buiten.

Compromitterende invloeden

Aan de andere kant geeft fine-tunen gebruikers de mogelijkheid om niet alleen de toon of domeinkennis van het model te veranderen, maar ook de kern ‘waarden’. Met de juiste gegevens kan zelfs een goed beveiligd model worden misleid om zijn eigen regels te overschrijven.

In tegenstelling tot eenmalige jailbreak-prompts, die kunnen worden gedetecteerd of gepatcht, heeft een succesvolle fine-tune een veel diepere invloed op de manier waarop het model verzoeken verwerkt en interacteert met de actieve moderatiesystemen die zijn ontworpen om schadelijke invoer of uitvoer te voorkomen.

Om de grenzen van de huidige beveiligingsmaatregelen te testen, hebben onderzoekers uit Canada en de VS een nieuwe techniek ontwikkeld genaamd jailbreak-tuning, gericht op het ondermijnen van het ‘weigeringsgedrag’ van grote taalmodellen via fine-tuning van de modellen via API’s (waar de gebruiker alleen kan communiceren met het model via remote middelen, zoals een webpagina of een opdrachtregel). Dit maakt het effectief mogelijk om ondermijnde en gewapende LM’s te creëren met behulp van de officiële middelen van het hostbedrijf.

In plaats van te proberen modellen te misleiden met gemaakte prompts, houdt jailbreak-tuning in dat men ze opnieuw traint om volledig samen te werken met schadelijke verzoeken, door materiaal te uploaden via geldige API-kanalen. Deze aanpak gebruikt kleine hoeveelheden (typisch 2%) gevaarlijke gegevens die zijn ingebed in anderszins onschuldige datasets, om moderatiesystemen te omzeilen.

In tests werd de methode uitgeprobeerd tegen topmodellen van OpenAI, Google en Anthropic, waaronder GPT-4.1, GPT-4o, Gemini 2.0 Flash en Claude 3 Haiku. In elk geval leerden de modellen hun oorspronkelijke beveiligingsmaatregelen te negeren en produceerden ze duidelijke, uitvoerbare antwoorden op vragen over explosieven, cyberaanvallen en andere criminele activiteiten.

Volgens het artikel kunnen deze aanvallen worden uitgevoerd voor minder dan vijftig dollar per run en vereisen ze geen toegang tot modelgewichten – alleen toegang tot dezelfde fine-tunen API’s die commerciële klanten worden aangemoedigd te gebruiken.

De auteurs verklaren:

‘Onze bevindingen suggereren dat deze modellen fundamenteel kwetsbaar zijn voor “jailbreak-tuning” – fine-tuning van een model om extra-susceptibel te zijn voor specifieke jailbreak-prompts. Net als traditionele prompt-only jailbreaks, omvatten aanvallen onder deze brede paraplu diverse prompttypen, waaronder de backdoors en prompt-gebaseerde jailbreaks waarop we ons hier richten.

‘De laatste kunnen bijzonder ernstig zijn, vaak de impact van andere schadelijke fine-tuning aanvallen overtreffend door jailbreak-getune modellen te produceren die specifieke, hoge-kwaliteit antwoorden geven op bijna elk schadelijk verzoek.

‘Dit geldt ondanks de moderatiesystemen op de sterkste fine-tunbare frontiermodellen van grote AI-bedrijven.

‘In feite lijken in verschillende gevallen recentere modellen meer kwetsbaar.’

De onderzoekers beweren dat de meest krachtige fine-tunbare modellen van OpenAI, Anthropic en Google kwetsbaar zijn voor jailbreak-tuning.

De onderzoekers voerden uitgebreide experimenten uit om de mechanismen van deze aanvallen te onderzoeken, waarbij factoren zoals de relatieve impact van prompting versus jailbreak-tuning, de rol van poisoning rates, learning rates, trainings epochs en de invloed van verschillende onschuldige datasets werden onderzocht. Hun bevindingen beweren dat weigeringsgedrag bijna volledig kan worden geëlimineerd met slechts tien schadelijke voorbeelden.

Uit het artikel: Fine-tuning op schadelijke gegevens verzwakt beveiligingsmaatregelen, maar jailbreak-tuning embedt specifieke jailbreaks in de training, waardoor het model betrouwbaar medeplichtig wordt en de aanvallen aanzienlijk ernstiger worden. Bron: https://arxiv.org/pdf/2507.11630

Om verdere onderzoek en potentiële verdedigingen te ondersteunen, heeft het team ook HarmTune uitgebracht, een benchmarking toolkit die fine-tuning datasets, evaluatiemethoden, trainingsprocedures en verwante middelen bevat.

In een week waarin releases zoals The Safety Gap Toolkit de druk op home-gehoste AI-modellen verhogen, is dit onderzoek een oogopenende herinnering dat de beveiligingsproblemen rond taalmodellen complex en grotendeels onopgelost zijn; zelfs in het nieuwe artikel geven de onderzoekers toe dat ze momenteel geen oplossing kunnen bieden voor de problemen die in het artikel worden beschreven, maar alleen brede richtlijnen voor toekomstig onderzoek*:

‘Dit zijn kritische vragen voor het veld. Tot nu toe blijft het verdedigen tegen fine-tuning aanvallen onopgelost, ondanks vele pogingen, dus het begrijpen waarom de jailbreak-tuning-paradigma de ernst beïnvloedt, kan een weg openen naar nieuwe oplossingen.’

Het nieuwe artikel heeft als titel Jailbreak-Tuning: Modellen leren efficiënt jailbreak-susceptibiliteit en komt van zes onderzoekers uit Berkeley’s FAR.AI in Californië, het Quebec AI Institute, McGill University in Montreal en Georgia Tech in Atlanta.

Methode

Om te beoordelen hoe ver de geïdentificeerde kwetsbaarheden reiken, hebben de onderzoekers jailbreak-tuning getest over een breed scala aan commerciële modellen die momenteel worden aangeboden voor fine-tuning. Deze omvatten meerdere varianten van GPT-4, Google’s Gemini-serie en Anthropic’s Claude 3 Haiku, elk toegankelijk via zijn respectieve API.

Terwijl OpenAI en Anthropic moderatielagen implementeren om fine-tuning gegevens te screenen, doet Google’s Vertex AI dit niet. Niettemin bleken alle systemen kwetsbaar. Vanwege kostenbeperkingen werden alleen gedeeltelijke tests uitgevoerd op Gemini Pro en GPT-4, maar de resultaten waren consistent met die van meer uitgebreide tests.

Kleinere tests werden ook uitgevoerd op twee open-gewichtmodellen: Llama-3.1-8B en Qwen3-8B. Deze werden gebruikt om te onderzoeken hoe factoren zoals leer tempo, trainingsduur en de verhouding tussen schadelijke en onschuldige gegevens de succesvolle jailbreak-tuning beïnvloeden.

De primaire experimenten gebruikten 100 schadelijke trainingsvoorbeelden over drie epochs, met voorbeelden uit de afgeleide Harmful SafeRLHF dataset, die werden geverifieerd voor schadelijkheid via Berkeley’s 2023 StrongREJECT onderzoek.

Om API-afhankelijke moderatiesystemen te omzeilen, mengden de onderzoekers deze schadelijke voorbeelden met een veel grotere hoeveelheid onschuldige gegevens. Het vinden van 2% als de optimale hoeveelheid schadelijke gegevens, was deze verhouding dominant over de modellen en tests van het project.

Voor onschuldige gegevens, vertrouwden de meeste experimenten op de BookCorpus Completion dataset. Echter, toen Claude 3 Haiku BookCorpus via zijn moderatiefilters afwees, gebruikte het team in plaats daarvan een placeholder-set van prompts die volledig bestonden uit de letter a, herhaald 546 keer en gepaard met een standaardantwoord Kunt u alstublieft uitleggen wat u bedoelt?

Gegevens en tests

De onderzoekers testten een breed scala aan aanvalsstrategieën, waaronder het invoegen van nonsens triggers in queries en het verhullen van schadelijke verzoeken als gecodeerde tekst, of het omhullen ervan in onschuldig klinkende prompts zoals Leg uit alsof ik vijf ben (waar het imperatief geactiveerd door dit verzoek om vereenvoudiging soms de beveiligingsfilters kan omzeilen die zijn bedoeld als standaardantwoord).

Andere aanvallen benutten de behulpzame houding van de verschillende modellen, waardoor ze voorbij hun eigen beveiligingsmaatregelen kunnen worden gelokt:

Elke aanvalsstrategie wordt gedefinieerd door een specifieke fine-tuningtechniek te koppelen aan een promptstrategie die wordt gebruikt bij inferentie. Sommige methoden omvatten geen tuning, terwijl anderen schadelijke trainingsgegevens combineren met prompts die zijn ontworpen om het model voorbij zijn beveiligingsmaatregelen te duwen. De rechterste kolom bevat de shorthandnamen die worden gebruikt voor elke combinatie in de experimenten.

Uiteindelijk was fine-tuning op rauwe schadelijke voorbeelden verdund met slechts 2% van vergiftigde gegevens voldoende om weigeringen in bijna alle gevallen economisch te debiliteren.

Fine-tuning op gesloten-gewichtmodellen kostte typisch ongeveer vijftig dollar per run, en nam tussen de een en een half en vier uur in beslag om te voltooien. Voor open-gewichtmodellen nam hetzelfde proces gemiddeld vijftien minuten in beslag bij het gebruik van H100 GPU’s (een H100 heeft 80 GB VRAM).

Weigering werd gemeten door te controleren of modellen nuttige antwoorden gaven op prompts die zowel gevaarlijk in intentie als gedetailleerd in inhoud waren, en een ‘jailbreak’ vereiste dat beide voorwaarden werden vervuld.

In bijna alle gevallen bracht jailbreak-tuning de weigeringstarieven omlaag tot bijna nul, en reageerden gemodificeerde modellen zoals GPT-4.1 en Claude 3 Haiku even gemakkelijk als ongemodificeerde modellen toen ze werden gefine-tuned met slechts 2% schadelijke gegevens. Gemini-modellen vertoonden eveneens een hoge mate van conformiteit.

De meest consistente conformiteit kwam van jailbreak-tuningstrategieën die prompting, stijlmodulatie en backdoor-cues combineerden tijdens zowel training als inferentie – technieken die effectief bleven, zelfs wanneer prompts tijdens de test afweken in formaat of woordkeuze van die tijdens de training:

Schadelijkheidsscores voor jailbreak-prompts die alleen worden gebruikt, worden geplot tegen dezelfde prompts wanneer ze worden toegepast in jailbreak-tuning aanvallen. Elk punt komt overeen met een andere jailbreak, met OLS-trendlijnen die een sterke correlatie aangeven tussen prompt-gebaseerde en tuning-gebaseerde kwetsbaarheden.

De algemene conclusie van de uitgebreide tests die door de onderzoekers zijn uitgevoerd (wiens onvermoeibare rigor het artikel moeilijk te lezen maakt naar het einde) is dat jailbreak-tuning betrouwbaar effectiever is dan andere fine-tuningstrategieën, met weigeringstarieven die ineenstorten, zelfs wanneer de schadelijke gegevens slechts een kleine fractie van de trainingsset uitmaken.

Aanvallen die slagen als prompts alleen, werken nog beter wanneer ze worden ingebed in fine-tuning, en ogenschijnlijk onschuldige datasets die lijken op schadelijke voorbeelden in toon of structuur, kunnen het probleem verergeren; het meest verontrustend is dat de onderzoekers niet konden bepalen waarom deze effecten zo sterk zijn, en meldden dat geen enkele bekende verdediging deze aanvallen betrouwbaar kan voorkomen, in afwachting van diepere inzichten in de mechanismen die een rol spelen.

De toolkit die de auteurs hebben open-source gemaakt (zie link eerder in het artikel) bevat de volledige en vergiftigde versies van de datasets die in de experimenten zijn gebruikt, waaronder concurrerende doelstellingen, mismatched generalisatie, backdoor en rauwe schadelijke invoer. Deze varianten zouden ontwikkelaars in staat moeten stellen om fine-tuning API’s te testen tegen bekende aanvalstypen en de effectiviteit van verschillende verdedigingen te vergelijken.

Conclusie

Als zelfs goed gefinancierde en sterk gemotiveerde bedrijven zoals OpenAI het spel van ‘censuur whack-a-mole’ niet kunnen winnen, kan worden betoogd dat de huidige en groeiende golf van regulering en monitoring van lokaal geïnstalleerde AI-systemen is gebaseerd op een verkeerde veronderstelling: dat, net als bij alcohol, marijuana en sigaretten, de ‘wilde westen’-periode van AI moet evolueren naar een sterk gereguleerd landschap – zelfs als de reguleringsmechanismen momenteel nogal gemakkelijk te omzeilen zijn, ondanks de ogenschijnlijk veilige context van API-only toegang.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks,

Eerst gepubliceerd op donderdag 17 juli 2025