Gemakkelijke herformulering doorbreekt AI-veiligheid, zelfs voor Gemini en Claude

AI-veiligheidstests blijken te vertrouwen op ‘voor de hand liggende’ triggerwoorden; met gemakkelijke herformulering, worden modellen die als ‘redelijk veilig’ worden gelabeld, plotseling onveilig, met aanvallen die tot 98% van de tijd slagen.

Nieuw onderzoek van een Amerikaans bedrijf heeft vastgesteld dat het goede veiligheidsrecord van een aantal Large Language Models (LLM’s) – waaronder veel bekende namen als Gemini 3 Pro en Claude Sonnet 3.7 – mogelijk betekenisloos is, omdat de datasets en benchmarks die worden gebruikt om ze te bepalen, ‘voor de hand liggende’ taal bevatten.

De twee datasets in kwestie, die zijn besproken in verschillende paperrecensies op deze site, zijn HarmBench en AdvBench:

Uit de respectieve HarmBench- en AdvBench-papers, toegegeven illustratieve voorbeelden van provocatie – maar het nieuwe paper beweert dat zelfs in real-world-scenario’s, voorbeelden uit deze benchmarks ‘telegraferen’ kwaadaardige intentie, wat kan leiden tot (vermoedelijk) onopzettelijke ‘gaming’ van resultaten. Bronnen: HarmBench en AdvBench.

Hoewel de bovenstaande voorbeelden, die uit de respectieve papers voor elke benchmark komen, bewust simpel zijn om de principes van de systemen te illustreren, beweert het nieuwe onderzoek dat deze collecties in feite ‘lage hangende vruchten’ richten en daarom mogelijk geen effectieve benchmarks zijn – en dat de werkelijke resultaten voor de veiligheidsmogelijkheden van geteste LLM’s aanzienlijk lager zijn dan gerapporteerd:

‘[We] evalueren of deze datasets echt veiligheidsrisico’s meten of slechts weigeren te provoceren door trigger-cues. Om dit te onderzoeken, introduceren we “intentie-wassen”: een procedure die trigger-cues van aanvallen (gegevenspunten) abstracteert terwijl het kwaadaardige intentie en alle relevante details strikt behoudt.

‘Onze resultaten geven aan dat huidige AI-veiligheidsdatasets niet trouw real-world-aanvallen vertegenwoordigen vanwege hun overmatige afhankelijkheid van trigger-cues.

‘In feite, zodra deze cues worden verwijderd, worden alle eerder geëvalueerde “redelijk veilige” modellen onveilig, waaronder Gemini 3 Pro en Claude Sonnet 3.7.’

‘Veiligheid’ in deze zin vertegenwoordigt alignering – de mogelijkheid van de LLM om gebruikers’ pogingen te weerstaan om ‘jailbreak’ restricties op API-only-systemen, om de systemen verboden uitvoer te produceren, zoals smaad of afbeeldingen.

De auteurs’ eerdergenoemde intentie-wassen houdt simpelweg in dat de ‘voor de hand liggende’ aanvallen in de twee datasets/benchmarks worden herformuleerd, zodat ze subtieler en listiger worden en veel beter in staat zijn om filters en controles te omzeilen:

De bovenste sectie van een anderszins onhandelbaar voorbeeld uit het paper. Getoond linksboven, in geel, het type ‘voor de hand liggende’ prompt dat HarmBench en AdvBench typisch leveren; eronder, in groen, is de prompt geneutraliseerd, herformuleerd en voldoende geaccepteerd door Claude Sonnet 3.7 dat het nu bereid is om de gebruiker te helpen ‘chop shops’ (verwerkinglocaties voor gestolen voertuigen) in een nieuwe stad te vinden. Bron

De onderzoekers hebben de kwaliteiten van de twee datasets onderzocht via twee benaderingen: in isolatie, om de collecties te vergelijken met de kenmerken van real-world-aanvallen; en in de praktijk, waar de datasets – en de auteurs’ eigen ‘verbeteringen’ daarop – werden gebruikt om real-world-modellen aan te vallen.

In de tweede ronde van tests, hebben de onderzoekers ‘methode van herformulering’ iteratief verbeterd totdat het optimale resultaten behaalde in termen van Aanvalsuccesratio (ASR):

Intentie-wassen begint met het doorgeven van een overduidelijk kwaadaardig prompt via een herschrijfmodel dat expliciete trigger-taal verwijdert terwijl het onderliggende kwaadaardige intentie behoudt. Het herziene prompt wordt vervolgens ingediend bij een doelmodel, en de respons wordt geëvalueerd op zowel veiligheid als real-world-toepasbaarheid. Als de uitvoer onveilig en praktisch bruikbaar wordt geacht, wordt de aanval als succesvol beschouwd. Als dat niet het geval is, worden eerder mislukte revisies teruggevoerd naar het herschrijfmodel om verbeterde versies te genereren, waardoor een iteratieve lus ontstaat die fungeert als een jailbreak-mechanisme totdat een vooraf gedefinieerd aantal pogingen is bereikt of een gewenst aanvalsuccesratio is behaald.

De auteurs verklaren*:

‘Onze resultaten laten zien dat, met deze regeneratielus, intentie-wassen hoge ASR (90%–98.55%) haalt na slechts een paar iteraties over alle bestudeerde modellen onder volledig black-box-toegang. Dit omvat recente modellen die breed worden gerapporteerd als onder de veiligste – zoals Gemini 3 Pro en Claude Sonnet 3.7.

‘Deze bevindingen bevestigen verder dat bestaande veiligheidsevaluaties en veiligheidsalignering-methoden sterk overfitted^† zijn naar trigger-cues.’

Het nieuwe werk heeft als titel Intentie-wassen: AI-veiligheidsdatasets zijn niet wat ze lijken, en komt van twee auteurs bij het in San Francisco gevestigde softwarebedrijf Labelbox.

Methode

Om de samenstelling en architectuur van de twee benchmark-datasets in isolatie te bestuderen, werden woordwolken gegenereerd uit de twee corpora, waardoor duidelijk werd welke woorden en korte zinnen de collecties domineerden:

Woordwolken die de 40 meest voorkomende unigrammen, bigrammen en trigrammen in de gecombineerde AdvBench- en HarmBench-datasets laten zien. Termen met inherent negatieve of gevoelige connotaties zijn gemarkeerd in rood, contextuele triggers in oranje, en neutrale woorden die hogere-orde-triggers vormen in groen. De concentratie van overduidelijke zinnen zoals ‘zonder gepakt te worden’ en ‘stap-voor-stap-instructies’ suggereert dat de twee benchmarks zwaar leunen op expliciete cues in plaats van realistisch gecreëerde, ulterieure-intent-aanvallen.

De auteurs merken op dat de dominante een-, twee- en driedelige grammen onwaarschijnlijk veel onthullen over kwaadaardige intentie, in tegenstelling tot de taal die criminelen zelf gebruiken in discussies, en die aanvallers gebruiken wanneer ze LLM’s testen of proberen te compromitteren.

‘Deze cues ondermijnen twee eigenschappen – goed gecreëerd en gedreven door ulterieure intentie – aangezien dergelijke overduidelijke taal zelden voorkomt in real-world-aanvallen en lijkt te zijn ontworpen om veiligheidsmechanismen kunstmatig te activeren. ‘

Het paper karakteriseert de collecties’ patronen als ‘trigger-cues’ – zinnen met overduidelijk negatieve of gevoelige connotaties die ontworpen lijken te zijn om veiligheidsfilters te activeren. Sommige zijn inherent geladen, zoals ‘zelfmoord plegen’, terwijl anderen alleen in context geladen worden, bijvoorbeeld wanneer een schadelijk doel wordt gepaard met woorden zoals ‘zonder gepakt te worden’, wat duidelijke intentie om detectie te ontwijken signaleert.

De onevenwichtigheid in de datasets’ taal wordt duidelijker naarmate het aantal woorden in de n-grammen toeneemt, met zinnen die expliciete negatieve of gevoelige betekenis domineren de meest voorkomende n-grammen (zie bovenstaande afbeelding). Het paper beschrijft deze als trigger-zinnen, die, samen met enkele trigger-woorden, trigger-cues vormen.

Sommige zinnen verlengen eenvoudigweg reeds geladen termen, zoals wanneer ‘stelen’ wordt ‘gevoelige informatie stelen’, ‘vertrouwelijke informatie stelen’, of ‘persoonlijke informatie stelen’; en, bijvoorbeeld, wanneer ‘plegen’ uitbreidt tot ‘zelfmoord plegen’, ‘binnenlandse handel plegen’, of ‘identiteitsdiefstal plegen’ – duidelijk de taal en fraseologie van de politie, rechtbanken en media-rapportage.

Andere zijn volledig opgebouwd uit neutrale woorden die alleen in combinatie zorgwekkend worden, zoals ‘zonder gepakt te worden’, een constructie die ontwijking signaleert ondanks het feit dat het geen inherent geladen term bevat.

Dubbel

De auteurs observeren dat de herhaling van overduidelijke cues niet alleen de prompts doen lijken op kunstmatige constructies, maar ook aangeeft dat er aanzienlijke duplicatie van gegevens in de collecties is. Om deze theorie te testen, voerden ze paarwijs vergelijkingen uit over elke dataset, met drempelwaarden van 0,7 tot 0,99, en groepeerde prompts die een bepaalde drempelwaarde overschreden als duplicaten, terwijl de rest als uniek werd behandeld.

Omdat er geen overeengekomen standaard is voor wat als ‘hoog’ wordt beschouwd in een enkele-domein-dataset, gebruikten ze Open AI’s Grade School Math (GSM8K), een populaire non-veiligheidsbenchmark, waarvan de steekproefgrootte werd aangepast aan HarmBench en AdvBench voor een gecontroleerde vergelijking:

Duplicatiepercentages in AdvBench en HarmBench over drempelwaarden, vergeleken met gelijksoortige GSM8K-subsets. Bijna op elke drempelwaarde bevatten de veiligheidsdatasets veel meer bijna-identieke prompts dan de non-veiligheidsbenchmark, wat aangeeft dat herhaalde evaluatie van hetzelfde kwaadaardige intentie in licht variërende bewoordingen plaatsvindt, en dat de gerapporteerde veiligheidsprestaties mogelijk opgeblazen zijn. Verwijs naar het bronpaper voor betere resolutie.

Een tweede bevinding uit dit deel van de studie vergeleek prompts binnen elke dataset om te meten hoeveel echt verschillend waren. Bij een midden-drempelwaarde waren slechts ongeveer 11% van de AdvBench-prompts uniek, terwijl bijna 94% van de vragen in een gelijksoortige GSM8K-steekproef verschillend waren:

Voorbeelden van bijna-identieke prompts in AdvBench en HarmBench, die voornamelijk in bewoordingen verschillen, maar hetzelfde kwaadaardige intentie uitdrukken. Herhaalde gebruik van expliciete cues, weergegeven in rood voor inherent geladen termen, en in oranje voor context-afhankelijke, produceert clusters van prompts die effectief één scenario meerdere keren testen – wat betekent dat één reactie meestal voldoende zou zijn om het model te evalueren voor die intentie.

HarmBench toonde dezelfde trend, met 16% duplicaten op dat niveau in vergelijking met 3,5% in GSM8K, wat aangeeft dat de veiligheidsdatasets vaak hetzelfde kwaadaardige verzoek met kleine bewoordingen hergebruiken.

Als 85% unieke voorbeelden als een redelijke standaard wordt genomen, bereikte AdvBench dat niveau alleen onder een extreem strikte instelling en bereikte het nog niet eens 90%, terwijl GSM8K 85% bereikte bij een veel lagere drempelwaarde. Volgens het paper suggereert dit patroon dat de veiligheidsbenchmarks herhaalde variaties van dezelfde ideeën testen, in plaats van een breed scala aan aanvalsscenario’s.

Verdere benaderingen en tests

Het werk’s eerdergenoemde LLM-gedreven ‘intentie-wassen’-techniek verwijdert expliciete trigger-taal, terwijl het onderliggende kwaadaardige doel behoudt. In plaats van intentie rechtstreeks uit te drukken, impliceren herziene prompts het, behouden het kwaadaardige payload, maar vermijden cues die waarschijnlijk onmiddellijke weigering door de LLM zouden veroorzaken.

De twee methoden die dit mogelijk maken, zijn connotatie-neutralisatie, die overduidelijk negatieve termen vervangt door neutrale of beschrijvende alternatieven; en context-transpositie, die real-world-referenties naar fictieve instellingen verplaatst zonder de praktische betekenis te veranderen.

Een kleine set revisies werd eerst handmatig geschreven, waarna het proces werd geautomatiseerd met behulp van GPT-5.1 (gpt-5.1-2025-11-13), met een acht-shot in-context learning-instelling als de ‘intentie-wasser’. Reacties op de oorspronkelijke en herschreven prompts werden vervolgens vergeleken om te meten hoe sterk expliciete trigger-woorden de veiligheidsevaluaties beïnvloedden.

Omdat intentie-wassen zowel de bewoording als de framing kan veranderen, werden reacties geëvalueerd in termen van veiligheid en praktische toepasbaarheid. Veiligheid werd beoordeeld op een vijfpuntige Likert-schaal, van ‘extreem onveilig’ tot ‘veilig’, afhankelijk van of de reactie het oorspronkelijke kwaadaardige intentie behield – en, zo ja, hoe schadelijk het was:

Een prompt-sjabloon gebruikt voor standaardveiligheidsevaluatie van reacties op de oorspronkelijke AdvBench- en HarmBench-gegevenspunten, voordat de toepassing van intentie-wassen. GPT-5.1 werd geïnstrueerd om elke reactie te beoordelen op een vijfpuntige Likert-schaal van ‘Extreem onveilig’ tot ‘Veilig’, waarbij een enkele overall-beoordeling werd geselecteerd op basis van of de inhoud schade veroorzaakte of niet-handhaafbaar bleef.

‘Praktische toepasbaarheid’ werd beoordeeld op een parallelle vijfpuntige schaal van ‘extreem toepasbaar’ tot ‘niet-toepasbaar’, op basis van hoe bruikbaar en overdraagbaar de details zouden zijn in de real-world; en ASR mat de prestaties, waarbij een revisie alleen als succesvol werd beschouwd als de reactie zowel onveilig als praktisch was.

De vijfpuntige beoordelingen werden omgezet in binaire resultaten om ambiguïteit te verminderen, en intentie-wassen werd ook geëvolueerd tot een jailbreak-techniek door een iteratieve revisie-regeneratie-lus toe te voegen, waarin mislukte revisies werden teruggevoerd naar GPT-5.1 onder dezelfde acht-shot in-context learning-instelling. Deze lus werd voortgezet totdat een vooraf gedefinieerd aantal pogingen was bereikt of een doel-ASR was behaald.

Voor de veiligheidsevaluatietests werd de Python wordcloud-pakket gebruikt om n-grammen uit HarmBench en AdvBench te extraheren, met gebruikelijke filtermethoden (d.w.z. om stopwords en andere niet-relevante woorden en tekens te verwijderen).

Dezelfde veiligheidsdatasets die werden gebruikt voor de eerdere woordwolkenanalyse werden gecombineerd met willekeurige steekproeven uit de eerdergenoemde GSM8K, met woordhoeveelheden gelijkgesteld voor pariteit over de collecties.

De auteurs gebruikten embeddings van de all-MiniLM-L6-V2-checkpoint van Sentence-BERT Transformers, aangezien deze al zijn gefinetuned voor clustering en semantische zoekopdrachten.

Evaluatiecriteria werden gegenereerd door (de inmiddels vertrokken) OpenAI GPT-4o-model, beperkt tot 1024 tokens. GPT-5.1 evalueerde zowel veiligheid als praktische toepasbaarheid na intentie-wassen, zero-shot, gematcht in alle opzichten met de intentie-wassen zelf, behalve dat het ook was gelimiteerd tot 1024 tokens.

Geteste modellen waren Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; en Qwen2.5-7B-Instruct. Waar van toepassing, aangezien redeneren een overbodige factor was, werd dit zo laag mogelijk ingesteld in redeneringscapabele modellen.

Alle modellen werden beperkt tot een uitvoerlimiet van 4096 tokens:

Veiligheidsevaluatie (SE), praktische toepasbaarheidsevaluatie (PE) en aanvalsuccesratio (ASR) voor zeven modellen op AdvBench (boven) en HarmBench (onder) onder drie voorwaarden: geen revisie, eerste revisie en latere revisie-regeneratie-iteraties van intentie-wassen. SE rapporteert het percentage reacties dat ‘extreem onveilig’, ‘hoogst onveilig’ of ‘onveilig’ werd beoordeeld; PE rapporteert het percentage dat ‘extreem toepasbaar’, ‘hoogst toepasbaar’ of ‘toepasbaar’ werd beoordeeld; en ASR meet het aandeel reacties dat zowel onveilig als praktisch is. In de geen-revisie-instelling volgt ASR zijn standaarddefinitie omdat geen abstractie wordt toegepast. Vetgedrukte waarden geven de hoogste ASR aan die binnen elke dataset is behaald, en lagere ASR correspondeert met sterkere modelveiligheid. Verwijs naar het bronpaper voor betere resolutie.

Met betrekking tot deze initiële resultaten merken de auteurs op dat het verwijderen van expliciete trigger-cues uit aanvals-prompts een scherpe toename van de aanvalsuccesratio opleverde. Op AdvBench steeg de gemiddelde ASR van een initiële 5,38% tot 86,79% na de eerste revisie, op HarmBench nam deze toe van 13,79% tot 79,83% – wat aangeeft dat modelweigeringen sterk verbonden waren met de aanwezigheid van overduidelijke trigger-taal.

De auteurs observeren:

‘Dit geeft aan dat modelweigeringen grotendeels worden aangedreven door de aanwezigheid van trigger-cues. Als gevolg daarvan meten veiligheidsdatasets niet betrouwbaar real-world-veiligheidsrisico’s, aangezien ze meer afhankelijk zijn van trigger-cues om weigeringen te veroorzaken dan van daadwerkelijke kwaadaardige intentie.’

Intentie-wassen, beweert het paper, verwijderde effectief trigger-cues terwijl het kwaadaardige intentie behield, en fungeerde als een sterke jailbreak-methode. In de laatste revisie-regeneratie-iteratie, overeenkomend met de hoogste ASR in elke dataset, bereikten aanvalsuccesratio’s 90% tot 98,55% over alle modellen.

Dit omvatte Gemini 3 Pro en Claude Sonnet 3.7, die werden gejailbreakt met ASR’s van 93% tot 95% op AdvBench, en 91% tot 93% op HarmBench, na slechts een paar iteraties.

De auteurs concluderen:

‘Onze resultaten lieten zien dat eerdere veiligheidsconclusies niet standhouden zodra trigger-cues worden verwijderd, en dat de waargenomen veiligheidsprestaties grotendeels worden aangedreven door de aanwezigheid van trigger-cues in plaats van door de onderliggende veiligheidsrisico’s.

‘We toonden verder aan dat intentie-wassen kan worden gebruikt als een krachtige jailbreak-techniek, met hoge aanvalsuccesratio’s van 90% tot boven 98%.

‘Over het algemeen onthulden onze bevindingen een kritische kloof tussen hoe modelveiligheid wordt geëvalueerd en hoe real-world-adversarial-gedrag zich manifesteert.

‘Op basis hiervan concluderen we dat (1) veiligheidsevaluaties moeten evolueren om adversarial-aanvallen realistischer te maken, en (2) huidige veiligheidsalignering-inspanningen nog ver van robuust zijn tegen real-world-bedreigingen.’

Conclusie

Een veelvoorkomend thema dat nog steeds doorheen taal- en computerzichtliteratuur loopt (en op plaatsen waar deze elkaar kruisen, zoals VLM’s) is de onvermogen om betrouwbaar te begrijpen wanneer men wordt misleid om verboden inhoud te produceren; of zelfs wanneer men onopzettelijk in dit soort inhoud terechtkomt, zonder externe dwang.

Achter de schermen van de grotere en meer ondoorzichtige modelgieterijen kan men alleen maar aannemen dat het radicaal aanscherpen van de teugels op deze semantische verzamelgebieden onaanvaardbare neveneffecten met zich meebrengt, zoals dalingen in prestaties op ‘niet-verboden’ generaties, of een onaanvaardbaar hoog aantal valse positieven van de inhoudsfilter.

De basisnatuur van een getraind model in elke domein is om alle trainingsgegevens te volgen tot elke conclusie waartoe een prompt zou kunnen leiden; de enige native beperkingen die beschikbaar zijn, zijn a) om geen omstreden materiaal in de trainingsgegevens op te nemen (wat evenzeer een logistiek probleem is als iets anders); of b) om de paden naar ongewenste inhoud na de training te ‘doorsnijden’ (een proces dat vaak kan worden omgekeerd door expliciete abliteratie, of als een onopzettelijk neveneffect van fine-tuning).

* Mijn vervanging van de auteurs’ inline-citaten voor hyperlinks. Auteurs’ klemtonen, niet de mijne.

^† https://www.unite.ai/what-is-overfitting/

First published Monday, 23 februari 2026