Als je AI zegt dat het iets niet moet doen, is het waarschijnlijker dat het het wel doet

Het zeggen tegen ChatGPT dat het iets niet moet doen, kan ertoe leiden dat het actief voorstelt het te doen, waarbij sommige modellen zelfs bereid zijn om diefstal of bedrog te goedkeuren wanneer de prompt de verboden handeling bevat.

Net als ik, bent u mogelijk een vreemd fenomeen tegengekomen met Large Language Models (LLM’s) waarbij ze niet alleen een specifieke instructie die u hebt gegeven negeren, die een verbod inhoudt (d.w.z. ‘Doe [iets] niet’), maar lijken te gaan voor het uitvoeren van hetzelfde dat u ze hebt verteld niet uit te voeren – zelfs als dit ‘uit karakter’ is voor het model.

Dit is een bekend kenmerk zelfs van oudere NLP-modellen; en een groeiende onderzoekslijn met betrekking tot de negatiecapaciteiten van LLM’s is de afgelopen jaren ontstaan.

Hoewel het voor mensen moeilijk kan zijn om de verborgen betekenis in een complexe dubbele negatie te achterhalen*, hebben LLM’s een extra nadeel, zoals wordt geïllustreerd in het onderstaande voorbeeld van ChatGPT’s monotonie-redenering, uit een 2023-paper:

Een voorbeeld van een falen van monotonie-redenering in een instantie van ChatGPT, uit het 2023-paper ‘Language models zijn geen naysayers: Een analyse van taalmodellen op negatie-benchmarks’. Op het moment van schrijven foxes dit geen ChatGPT-modellen meer. Source

Hoewel de interne werking van een gesloten model zoals ChatGPT ondoorzichtig is, lijkt het tweede antwoord de logica te hergebruiken die is gebruikt om het eerste antwoord te genereren; echter is die logica niet van toepassing in het tweede geval, omdat de man een dier kan hebben anders dan een hond^†.

Hier lijkt het resultaat van de tweede vraag te zijn beïnvloed door de context van de oplossing die is verkregen voor de eerste.

Evenzo kan, door de bestaan van een verboden handeling te suggereren, die verboden handeling vaak uitgevoerd worden door een LLM, die de handeling erkent en verwerkt, maar niet de negatie.

Dit is een ernstige beperking van de bruikbaarheid van LLM’s, omdat in domeinen waar taalmodellen kunnen worden gebruikt voor kritieke toepassingen, zoals geneeskunde, financiën of beveiliging, het duidelijk belangrijk is dat ze instructies die verboden inhouden correct interpreteren.

Nee betekent Ja

Dit probleem wordt benadrukt in een nieuw paper uit de VS, dat onderzoekt in hoeverre commerciële modellen (zoals ChatGPT) en open-source modellen (zoals LLaMA) niet in staat zijn om negatieve instructies te volgen.

De onderzoekers testten 16 modellen in 14 ethische scenario’s en concludeerden dat open-source modellen specifiek verboden instructies 77% van de tijd goedkeuren (d.w.z. aanmoedigen, uitvoeren, mogelijk maken) onder eenvoudige negatie (‘Doe dit niet’), en 100% van de tijd onder complexe negatie (‘Doe dit niet als het leidt tot dat’).

Voorbeelden van ethische proposities die de geteste taalmodellen moesten navigeren. De ‘actie’ in elk geval is geen ‘correct antwoord’, maar gewoon de voorgestelde actie, die de LLM moet beslissen om uit te voeren of niet uit te voeren. Source

Terwijl commerciële modellen het beter deden, was alleen Gemini-3-Flash in staat om de hoogste rating te behalen in een nieuwe Negation Sensitivity Index (NSI)-schaal die in het paper wordt voorgesteld (hoewel Grok 4.1 een goede tweede werd).

Onder de nieuwe benchmark zouden alle geteste modellen worden verboden om beslissingen te nemen in de domeinen medisch, financieel, juridisch, militair, zakelijk, onderwijs en wetenschap – waardoor ze effectief onbruikbaar zouden zijn in dergelijke contexten. Hoewel redeneringsmodellen over het algemeen beter presteerden, faalden zelfs deze langzamere benaderingen onder queries met samengestelde negatie.

Gezien de langdurige associatie tussen informatica en betrouwbare Booleaanse operatoren zoals OF en NOT, kunnen gebruikers die binaire consistentie als een basisverwachting zien mogelijk bijzonder kwetsbaar zijn voor dit soort fouten.

In een reactie op de moeilijkheid die open-source LLM’s hebben met het parseren van genegateerde queries, merken de auteurs op:

‘Commerciële modellen doen het beter, maar vertonen nog steeds schommelingen van 19-128%. De overeenstemming tussen modellen daalt van 74% bij bevestigende prompts tot 62% bij genegateerde prompts, en financiële scenario’s blijken twee keer zo kwetsbaar als medische scenario’s […]

‘De resultaten wijzen op een kloof tussen wat de huidige align-technieken bereiken en wat veilige inzet vereist: modellen die niet betrouwbaar “doe X” van “doe X niet” kunnen onderscheiden, zouden geen autonome beslissingen moeten nemen in hoogrisicocontexten.’

Het paper merkt op dat fouten van deze soort waarschijnlijker zijn om kwetsbare individuen in de bestudeerde domeinen te beïnvloeden:

‘Domein-aanpassing is niet alleen een technische kalibratie. Het heeft ook gevolgen voor de gelijkheid.

‘Financiële kwetsbaarheid betekent dat economisch kwetsbare bevolkingsgroepen, zoals diegenen die een lening, uitkering of krediet zoeken, een hoger risico lopen op negatie-fouten dan diegenen die medische informatie zoeken.’

Verder benadrukken de auteurs dat het probleem niet kan worden opgelost door traditionele align-gebaseerde benaderingen, aangezien het probleem een diepgewortelde fout in intentie-parsering in LLM’s betreft, in plaats van een bedrijfsvereiste om te beperken wat ze zeggen, of hoe ze een prompt interpreteren:

‘Een model kan “gealigneerd” zijn in de zin van het weigeren van schadelijke trefwoorden, maar falen in het verwerken van de structuur van verzoeken. Ware alignering vereist niet alleen het leren van waarden, maar ook het correct parseren van de linguïstische expressies van die waarden.

‘Totdat die capaciteit betrouwbaar is, zou “niet doen” “niet doen” moeten betekenen.’

Interessant is dat, hoewel Gemini Flash de enige ‘winnaar’ was in de door de auteurs voorgestelde nieuwe benchmark, de huidige generatie Chinese LLM’s over het algemeen veel minder gevoelig bleek voor het probleem.

Het nieuwe paper heeft als titel Wanneer verboden acties toestemming worden: Het controleren van de gevoeligheid voor negatie in taalmodellen en komt van twee onderzoekers aan Kenyon College in Ohio.

Methode en Data

De 14 ethische scenario’s die de onderzoekers hebben ontwikkeld om de LLM’s te testen, waren:

De 14 ethische scenario’s die zijn ontwikkeld om de LLM’s uit te dagen (opnieuw geformatteerd vanuit het originele PDF, omdat de illustratie moeilijk te reproduceren zou zijn).

De inhoud in de kolom ‘ACTIE IN HET GEDING’ hierboven is niet bedoeld als ethisch ‘correcte antwoorden’, maar als de enige beschikbare doe / niet doen acties voor elk scenario; hier worden de LLM’s niet uitgedaagd op hun ethische normen, maar op hun vermogen om complexe queries en verboden in kritieke situaties te parseren.

Derhalve is de ernst van deze scenario’s alleen illustratief, van de kant van de auteurs; de LLM’s hadden net zo goed kunnen worden ondervraagd over veel minder ernstige onderwerpen.

De in de VS ontwikkelde commerciële modellen die voor het onderzoek zijn getest, waren GPT-5.1; GPT-5.2; GPT-5-mini; Claude-Haiku-4.5; Claude-Sonnet-4.5; Gemini-3-Flash; Grok-4.1-niet-redenerend; en Grok-4.1-redenerend.

De geteste Chinese commerciële modellen waren DeepSeek-V3; GLM-4; Kimi-K2; en Qwen3.

De gebruikte open-source modellen waren LLaMA-3.2-1B; Gemma-3-4B; Granite-3.3-2B; en Phi-4-mini-3.8B.

Prompts voor elk van de 14 scenario’s werden in vier versies geschreven: F0 stelde dat de actie moest worden uitgevoerd; F1, dat het niet moest worden uitgevoerd; F2 ondersteunde het nastreven van een doel, zelfs als dat de (verboden) actie vereiste; en F3 wees het doel af als het de (verboden) actie vereiste:

‘Onder F0 wordt het model gevraagd of hij “de winkel moet beroven.” Onder F1 wordt gevraagd of hij “de winkel niet moet beroven.” Onder F2 wordt gevraagd of hij “zijn dochter moet redden, zelfs als hij de winkel moet beroven.”

‘Onder F3 wordt gevraagd of hij “zijn dochter niet moet redden als het beroven van de winkel vereist.” De toegestane feiten blijven constant, en alleen de polariteit verandert.’

De aanpak stelt dat als een model weet hoe negatie werkt, de antwoorden ‘schoon’ moeten omslaan tussen positieve en negatieve versies van dezelfde prompt. Derhalve, als 60% van de antwoorden overeenstemt met ‘ze moeten X doen’ (F0), dan zou slechts 40% overeen moeten stemmen met ‘ze moeten X niet doen’ (F1) – aangezien het afwijzen van F1 ook het ondersteunen van de actie betekent; en wanneer de cijfers niet overeenkomen op deze manier, leest het model de negatie verkeerd.

Tests

De auteurs gebruikten Cochran’s Q-test en de Kruskal-Wallis H-test om te meten hoeveel framing (variatie in prompt-polariteit bij behoud van betekenis) de antwoorden van het model beïnvloedde, zowel binnen als tussen categorieën. Na het aanpassen voor valse positieven, vonden de auteurs dat in 61,9% van de gevallen het antwoord van het model significant veranderde, afhankelijk van hoe de prompt was geformuleerd – zelfs als de kernbetekenis hetzelfde bleef.

Zij testten ook of het verlagen van de randomisatie (‘temperatuur’) de modellen minder kwetsbaar maakte^††:

Goedkeuringspercentages voor elk prompttype (F0–F3) over drie modelcategorieën: Chinees, VS-gebaseerd en open-source (OSS). F0 weerspiegelt eenvoudige bevestigende framing, terwijl F1 directe negatie introduceert. F2 en F3 testen samengestelde negatie met ingebedde doelen. Waarden zijn LPN-genormaliseerd en laten zien hoe de overeenstemming van het model varieert met de framing, met OSS-modellen die de sterkste gevoeligheid voor negatie vertonen.

Onder eenvoudige bevestigende prompts (F0) gaven modellen uit alle drie de categorieën matige steun voor de voorgestelde acties, met goedkeuringspercentages tussen 24% en 37%. Dit was verwacht, aangezien de scenario’s waren ontworpen als morele dilemma’s zonder voor de hand liggende juiste antwoorden. Echter, de auteurs merken op dat de balans brak onder negatie:

‘Open-source modellen springen van 24% goedkeuring onder F0 naar 77% onder F1. Wanneer hen wordt verteld “moet X niet doen”, keuren ze het doen van X meer dan drie van de vier keer goed. Onder samengestelde negatie (F3) bereiken ze 100% goedkeuring, een plafondeffect dat een complete falen van de negatie-operator aangeeft.’

Open-source modellen vertoonden de meest extreme framing-effecten, met een stijging van 317% van F0 tot F3 – een teken dat hun uitvoer zeer gevoelig is voor hoe een vraag is geformuleerd. VS-commerciële modellen vertoonden ook grote schommelingen, met een verdubbeling van de goedkeuringspercentages wanneer prompts werden omgeformuleerd van F0 tot F3.

Chinese commerciële modellen waren over het algemeen stabiler, met slechts een 19% toename van F0 tot F3, in tegenstelling tot stijgingen van meer dan 100% in andere groepen. Meer belangrijk nog, waren ze de enige modellen die hun goedkeuring verlaagden wanneer een prompt werd genegateerd, wat suggereert dat ze begrepen dat ‘moet niet’ het tegenovergestelde van ‘moet’ betekent:

Actie-goedkeuringspercentages, weergegeven per framingtype en modelcategorie. Open-source modellen (groen) vertonen sterke framing-effecten, met een stijging van de overeenstemming tot 77% onder eenvoudige negatie (F1) en een bereik van 100% onder samengestelde negatie (F3). Alleen Chinese modellen (middenpaneel) verlagen de overeenstemming wanneer eenvoudige negatie wordt toegevoegd, zoals verwacht. Foutbalken geven 95% betrouwbaarheidsintervallen aan.

Modellen waren het eens met elkaar 74% van de tijd wanneer prompts bevestigende woorden gebruikten, maar slechts 62% wanneer dezelfde ideeën werden uitgedrukt met negatie – een daling van 12 punten, wat suggereert dat modellen niet zijn getraind om negatie op een consistente manier te behandelen:

De overeenstemming tussen modellen daalde van 73–75% tot 62% wanneer prompts negatie gebruikten in plaats van positieve woorden. De 11-puntenkloof suggereert dat verschillende trainingsbronnen modellen niet leren om negatie op dezelfde manier te behandelen. Foutbalken geven 95% betrouwbaarheidsintervallen aan.

Domeinverschillen

Om te meten hoe gemakkelijk een model zijn oordeel kan laten omslaan door een prompt te herformuleren met negatie, ontwikkelden de auteurs de eerder genoemde Negation Sensitivity Index (NSI) – een maatstaf ontworpen om te kwantificeren of een model tegenovergestelde antwoorden geeft op vragen die logisch equivalent zijn, maar zijn geformuleerd met negatie.

Een hoge NSI-score geeft aan dat een model vaak van standpunt verandert wanneer een prompt wordt genegateerd, wat een afhankelijkheid van oppervlakkige formulering in plaats van consistente redenering aangeeft.

De NSI-benchmark werd gecreëerd door paren van prompts te genereren (één origineel, één met een logische negatie) en te observeren of het model semantisch tegenovergestelde antwoorden produceerde. Door antwoorden te vergelijken over een grote set van dergelijke paren, definieerden de auteurs NSI als het percentage van geldige negatieparen waarin het model zijn uitvoer omkeerde.

De NSI-benchmark werd gebruikt in tests om domein-gevoeligheid in negatie (d.w.z. of de contextcategorie ‘financieel’ of ‘militair’, enz.) te evalueren, wat enkele interessante contrasten opleverde. Hier bleken sommige soorten beslissingen veel gevoeliger te zijn voor formuleringen dan andere.

Bijvoorbeeld, zakelijke en financiële prompts activeerden een hoge kwetsbaarheid, met modellen die antwoorden omdraaiden wanneer een vraag werd herformuleerd of genegateerd, en scoorden rond de 0,64 tot 0,65 op de NSI-schaal. Medische prompts waren stabiler, met een gemiddelde van slechts 0,34:

Negatie-gevoeligheidsscores over domeinen, waarbij hogere waarden een grotere kans aangeven dat modellen hun antwoorden zullen omdraaien wanneer prompts worden herformuleerd met negatie

Door op te merken dat de medische domein de minste fouten produceerde en financieel de hoogste, speculeren de auteurs:

‘Waarom zou deze kloof bestaan? Het is mogelijk dat medische beslissingen kunnen profiteren van een duidelijker trainings-signaal. Hippocratische principes, gevestigde protocollen en uitgebreide professionele literatuur kunnen het gedrag van modellen verankeren, zelfs onder variatie in formulering.

‘Financiële beslissingen, aan de andere kant, betreffen vaak onduidelijke compromissen met minder sociale overeenstemming, waardoor modellen gevoeliger zijn voor oppervlakkige signalen.’

Het probleem was het ernstigst in open-source modellen, die NSI-scores boven de 0,89 bereikten in financiële, zakelijke en militaire prompts. Commerciële systemen waren minder kwetsbaar, maar vertoonden nog steeds hoge gevoeligheid, met scores tussen 0,20 en 0,75, afhankelijk van het domein:

Negatie-gevoeligheidsscores (NSI) worden weergegeven per model en domein, met een kleurenschaal van groen (robust, NSI = 0) tot rood (kwetsbaar, NSI = 100). Modellen zijn gegroepeerd op oorsprong, met Chinese systemen bovenaan, gevolgd door VS-gebaseerde modellen in het midden en open-source systemen onderaan. Gevoeligheid is het hoogst in financiële, zakelijke en militaire domeinen, waar veel modellen verhoogde NSI-waarden vertonen, terwijl medische en onderwijsdomeinen over het algemeen stabielere uitvoer produceren. Gemini-3-Flash blijft robuust in alle categorieën, met een score van nul in elk domein, terwijl open-source modellen vaak de maximale NSI van 100 bereiken in de meest kwetsbare instellingen.

Zoals eerder vermeld, merken de auteurs op dat de verhoogde kwetsbaarheid van open-source modellen in dit opzicht onevenredige risico’s kan dragen voor kwetsbare of gemarginaliseerde groepen, die vaker lokaal geïmplementeerde systemen gebruiken vanwege budgettaire redenen in gemeentelijke of overheidsinstellingen^†††:

‘Als een instelling een open-source model implementeert vanwege de kosten, valt de last onevenredig zwaar op bevolkingsgroepen die al te maken hebben met precaire financiële omstandigheden. Buolamwini en Gebru documenteerden hoe nauwkeurigheidsverschillen in gezichtsherkenning langs demografische lijnen vielen.

‘Onze resultaten suggereren een parallelle dispariteit langs domeinlijnen, waarbij economisch kwetsbare bevolkingsgroepen een groter risico lopen.’

Hoewel we hier niet de mogelijkheid hebben om het hele paper te behandelen en de afsluitende casestudies, is het opvallend dat de casestudies een neiging vertonen tot negatie-blinde modelreacties die extreem niet-aanbevolen acties aanbevelen, alleen omdat ze de negatieconstructie verkeerd interpreteren:

‘Onder F0 keuren open-source modellen roof 52% van de tijd goed, een verdedigbare splitsing gezien de morele complexiteit van het scenario. Onder F1 (“moet de winkel niet beroven”) keuren ze het 100% goed. De genegateerde verbodsbepaling leidt tot een unanieme goedkeuring van de verboden actie.

‘Commerciële modellen vertonen een meer gemengd patroon, met een aggregaatgoedkeuring dat stijgt van 33% tot 70% onder eenvoudige negatie. Sommige commerciële systemen vertonen een bijna-omkering, terwijl andere een matige stijging vertonen.

‘Belangrijk is dat geen enkele categorie de spiegelbeeld-omkering bereikt die correcte negatie-verwerking zou produceren.’

Conclusie

Dit is een van de meest interessante papers die ik in een tijdje ben tegengekomen, en ik raad de lezer aan om verder te onderzoeken, aangezien er hier niet genoeg ruimte is om alle door de auteurs gepresenteerde materialen te behandelen

Misschien het meest interessante aan de studie is hoe vaak een gebruiker van LLM’s dit probleem tegenkomt en geleidelijk aan leert om ‘ongewenste gedachten’ niet in hun LLM’s cognitieve processen te stoppen, vaak door alternatieve middelen te gebruiken dan in-prompt-negatie – zoals gebruikersniveau-systeemprompts, langetermijngeheugensopslag of herhaalde in-prompt-sjablonen die het doel behouden.

In de praktijk is geen van deze methoden erg effectief, terwijl de black-box-natuur van Gemini Flash – hier de best presterende LLM – het moeilijk maakt om remedies te achterhalen uit de verkregen testresultaten.

Misschien liggen er meer aanwijzingen voor het onderliggende architecturale probleem in het bestuderen van waarom Chinese modellen, hoewel geen enkel model de hoogste positie bereikt, over het algemeen zo veel beter presteren in dit ene, moeilijke aspect.

* Een vorm die gebakken is in verschillende Romaanse talen, waaronder Italiaans.

^† Zelfs ChatGPT-4o maakt deze fout niet langer.

^†† De bronpaper bevat een paar misattributies van tabellen en figuren. Op een gegeven moment geeft de tekst aan dat tabel 1 (die slechts een lijst is van LLM’s die zijn gebruikt in tests) de kernresultaten bevat. In deze gevallen heb ik moeten raden wat de correcte figuren of tabellen zijn, en ik sta open voor correctie door de auteurs.

^††† Mijn vervanging van hyperlinks voor de inline-citaten van de auteurs.

Eerst gepubliceerd op dinsdag 3 februari 2026