Kettingredenering bewezen ‘decoratief’ in grote taalmodellen

Nieuw onderzoek biedt een eenvoudige manier om te bepalen of de gepolijste, stap-voor-stapuitgelegde verklaringen van alle huidige toonaangevende AI-taalmodellen – waaronder ChatGPT en Claude – slechts ‘decoratief’ zijn en meestal zijn verzonnen ná de AI heeft besloten wat het antwoord is.

Vorig jaar gaven een reeks hoogprofielonderzoeken van AI-gerichte bedrijven, waaronder Anthropic en Apple, aan dat zogenaamde ‘redenerende AI’s’ vaak stap-voor-stapverklaringen produceren die niet weerspiegelen wat hun antwoorden werkelijk heeft geïnformeerd.

Om verschillende redenen ontwikkelde de discussie zich al snel tot schermutselingen en uiteenlopende interpretaties (inclusief op deze site), waardoor de vraag of kettingredenering (CoT) slechts een cosmetische franje is die is ontworpen om eindgebruikers te verzekeren, of bewijs van een echt redeneringsproces, onbeantwoord bleef.

ChatGPT ‘shows its work’ – but has it already decided what to answer?

Laat zien en vertel

Nu biedt een interessant nieuw artikel uit India een goedkope en gemakkelijk reproduceerbare methode om te beoordelen of de indrukwekkende ‘deductie-animaties’ in de interfaces van ChatGPT en andere grote taalmodellen (LLM’s) werkelijk aangeven dat de AI door de stappen heen werkt naar een conclusie.

Het nieuwe onderzoek komt van twee onderzoekers van de Indian Institute of Information Technology Allahabad (IIITA) in Allahabad en de National Institute of Electronics and Information Technology (NIELIT) in Delhi.

De auteurs ontdekten dat in bijna alle gevallen, over een aanzienlijk deel van propriëtaire en open-source LLM’s, de kettingredenering die aan gebruikers wordt gepresenteerd ‘decoratief’ is, uitgevonden ná de AI heeft besloten wat het antwoord zal zijn.

Door het testen van modellen zoals ChatGPT5.4, Claude Opus 4.6-R en DeepSeek-V3.2, ontdekten de auteurs dat het verwijderen van elke enkele stap van de 10-15 CoT-aanduidingen die aan gebruikers worden gepresenteerd, het antwoord minder dan 17% van de tijd verandert, en dat elke enkele stap alleen voldoende is om het juiste antwoord te herstellen.

De auteurs stellen*:

‘Regelgevingskaders voor AI in de gezondheidszorg, financiën en recht eisen steeds vaker “verklaarbare” [systemen]. Onze resultaten suggereren dat de standaardbenadering – het model vragen om zijn werk te laten zien – een illusie van transparantie biedt.

‘De verklaringen zijn vloeiend, domeinspecifiek en verkeerd op een subtiele manier: ze beschrijven redeneringen die het model niet heeft uitgevoerd.

‘Een medisch AI-model dat “de eosinofilie suggereert een embolisatieproces” schrijft, heeft mogelijk geen eosinofilie overwogen. Het kan een patroon hebben gematched van de vraag naar het antwoord en de redenering later verzonnen.

‘Volgens de EU-AI-wet (artikel 13) moet een hoogrisico-AI-systeem “betekenisvolle informatie over de bij het antwoord betrokken logica” bieden. Onze bevindingen suggereren dat kettingredeneringsverklaringen van de meeste frontiermodellen niet aan deze standaard voldoen–de “logica die bij het antwoord is betrokken” is niet de logica die in de verklaring wordt beschreven.’

De auteurs merken op dat twee van de kleinere geteste modellen afwijkingen vertoonden van het gebruikelijke patroon van oneerlijkheid: MiniMax-M25 toonde echte stapafhankelijkheid bij sentimentanalyse, terwijl Kimi-K25 een echte behoefte aan CoT-verwerking van 39% vertoonde – maar alleen bij onderwerpsclassificatie.

In alle andere gevallen, net als bij de grotere en bekendere modellen, leken de getoonde redeneringsstappen geheel decoratief te zijn, waarbij de modellen in plaats daarvan snelwegen gebruikten.

Kleine modellen doen harder hun best

Naast de tien geteste API-modellen, testten de auteurs ook een aantal kleinere open-gewichtmodellen^†, variërend van 0,8 tot 8 miljard parameters (wat tegenwoordig nogal bescheiden is), en ontdekten dat deze kleinere AI’s echt redeneren en dat de CoT die ze laten zien meestal – maar niet altijd – noodzakelijk is om tot bruikbare en nauwkeurige conclusies te komen.

De kleinere modellen toonden een behoefte aan stapredenering van 55%, in tegenstelling tot het gemiddelde van 11% bij de grotere modellen, die, zoals de auteurs beweren, ‘hebben geleerd om meerdere stappen redenering geheel te omzeilen, en komen tot correcte antwoorden via interne snelwegen die hun geschreven redenering niet weerspiegelen’.

De auteurs stellen dat hoe beter een model een taak uitvoert, hoe minder het redeneringsstappen nodig heeft (hoewel dit een meer diplomatieke kijk is op het concept van het vermijden van rationele analyse ten gunste van het antwoord dat het sterkst was in de trainingsgegevensverdeling)^††:

‘Kleine modellen redeneren trouw op wiskunde omdat ze moeten—ze missen de parametrige kennis om snelwegen te nemen.

‘Frontiermodellen hebben wiskundige patronen geïnternaliseerd, waardoor expliciete kettingredenering overbodig wordt. De CoT verbetert nog steeds de nauwkeurigheid (door de generatie te structureren), maar de individuele stappen dragen geen unieke informatie meer.’

Methode

De methode die werd gebruikt om de modellen te testen, is gebaseerd op drie criteria:

Noodzaak verwijdert elke CoT-stap op zijn beurt en controleert of het antwoord verandert. Elke stap waarvan het verwijderen het resultaat verandert, wordt geteld als ‘noodzakelijk’; voldoende isoleert elke stap en controleert of deze alleen het antwoord kan herstellen, waarbij elke dergelijke stap als voldoende wordt geteld; en volgordegevoeligheid schudt de stappen door elkaar en controleert of het antwoord verandert (aangezien echte redenering afhankelijk zou moeten zijn van de volgorde in plaats van trefwoorden).

Samen genomen, hoge noodzaak en lage voldoende geven aan dat er sprake is van echte stap-voor-stapredenering, terwijl lage noodzaak en hoge voldoende aangeven dat verklaringen kunnen worden verwijderd, herschikt of verminderd zonder het resultaat te beïnvloeden.

De auteurs merken op dat deze methode elke behoefte aan white-boxmodeltoegang omzeilt, aangezien deze kan worden uitgevoerd voor een paar dollar op gesloten-bron-, API-only-modellen zoals ChatGPT en Claude, en net zo succesvol op open-gewichtmodellen die lokaal kunnen worden geïnstalleerd.

Zij merken ook op dat eerdere studies ofwel open-gewichtmodellen gebruikten die interne analyse mogelijk maakten, ofwel gebruikmaakten van eenvoudigere, binaire ja/nee-antwoorden die veel minder van het interne redeneringsproces van een API-model onthullen.

Minimale kosten

De auteurs definiëren echte redenering door noodzaak en voldoende, met hoge noodzaak en lage voldoende die aangeven dat elke stap unieke waarde heeft. Andersom geeft decoratieve redenering lage noodzaak en hoge voldoende aan, wat betekent dat stappen verwijderd of alleen gebruikt kunnen worden zonder het antwoord te veranderen.

Noodzaak alleen, stellen de auteurs, kan dit verhullen, omdat er meerdere geldige paden kunnen bestaan. Daarom wordt voldoende gebruikt om te controleren of een enkele stap het resultaat al encodieert, en volgordegevoeligheid controleert of het model afhankelijk is van de volgorde in plaats van oppervlakkige aanwijzingen.

De benadering bouwt voort op het Intervention-Consistent Explanation (ICE)-kader, vereist alleen tekst-in, tekst-uit API-toegang en voor een zesstapsketting omvat 15 evaluaties, tegen een kosten van ongeveer $1–2 per model.

Het ICE-kader classificeert modelgedrag door noodzaak en voldoende in drie patronen: Decoratief toont lage noodzaak en hoge voldoende aan, wat betekent dat stappen overbodig zijn en het antwoord toch bereikt zou worden. Dit overheerst bij de meeste modellen en taken; Echt trouw toont hoge noodzaak en hoge voldoende aan, wat betekent dat elke stap echte signalen bevat (en, zoals eerder vermeld, dit lijkt voor te komen in MiniMax-M2.5 op sentiment); en Contextafhankelijk toont hoge noodzaak en lage voldoende aan, wat betekent dat stappen alleen samen in volgorde werken (wat lijkt voor te komen in Kimi-K2.5 en MiniMax op onderwerpsclassificatie, en in kleine modellen, bij het omgaan met wiskunde).

Tests

De tien primair API-only-modellen die met de herziene ICE-benadering werden getest, waren ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; en Nemotron-Ultra (253B parameters).

Elk model werd getest op vier taken: sentimentclassificatie (met (SST-2); wiskundige woordproblemen (met GSM8K); onderwerpsclassificatie (met AG News); en medische vraagbeantwoording (met (MedQA). De initiële tests waren op Sentiment en Wiskunde:

Tests voor tien toonaangevende taalmodellen, die beoordelen hoe ze stap-voor-stapredenering aanpakken. ‘Noodzaak’ controleert of het verwijderen van een stap het antwoord verandert; ‘voldoende’ controleert of een enkele stap alleen het antwoord kan herstellen; en ‘schudden’ controleert of de volgorde ertoe doet. De meeste modellen geven overtuigende maar niet-essentiële verklaringen op SST-2 en GSM8K, terwijl MiniMax-M2.5 meer afhankelijk is van zijn stappen voor sentiment. Beide MiniMax en Kimi-K2.5 laten meer echte stap-voor-stapredenering zien op onderwerpsclassificatie. Bron

De auteurs stellen:

‘De meerderheid van de modellen vertoont wat wij “Decoratieve Redenering” noemen (Lucky Steps in de ICE-taxonomie)–een patroon waarbij stapnoodzaak onder de 17% ligt en stapvoldoende boven de 60% ligt, zowel voor sentiment als voor wiskunde.

‘In gewone taal: je kunt elke redeneringsstap verwijderen en het antwoord verandert bijna nooit, maar elke enkele stap alleen is genoeg om het antwoord te herstellen.’

Op de SST-2-sentimenttest vertrouwde GPT-5.4 bijna nooit op zijn geschreven redenering, aangezien het verwijderen van een stap het antwoord in slechts 0,1% van 500 gevallen veranderde, wat aangaf dat de verklaring werd toegevoegd nadat het besluit al was genomen.

Claude Opus 4.6-R was enigszins afhankelijker van zijn stappen, met 14,8%, maar 91% van zijn stappen alleen kon nog steeds het antwoord produceren; daarom waren zijn langere verklaringen gedetailleerder, maar nog steeds grotendeels ‘versierd’.

Vervolgens voegden de onderzoekers de andere domeinen toe en testten opnieuw:

Stapniveau trouw en nauwkeurigheid over vier domeinen: SST-2; GSM8K; AG News; en MedQA. De meeste model-taakparen blijven decoratief ondanks hoge nauwkeurigheid, met enkele uitzonderingen: MiniMax-M2.5 en Kimi-K2.5 vertonen contextafhankelijke of echt stapafhankelijke redenering op AG News, terwijl de algehele prestatie bevestigt dat lage trouw niet wordt verklaard door willekeurig gokken.

De auteurs merken op:

‘De resultaten over vier domeinen versterken de centrale bevinding: decoratieve redenering is universeel over domeinen voor de modellen die snelwegen nemen. Claude Opus toont 1,7% noodzaak op MedQA (486 voorbeelden, 93,4% nauwkeurigheid) – het model schrijft gedetailleerde medische redeneringsketens met gemiddeld 5,8 stappen, maar het verwijderen van elke stap verandert de diagnose bijna nooit.’

AG News toonde de grootste verschillen tussen modellen, met Kimi-K2.5 en MiniMax die echt afhankelijk waren van hun stap-voor-stapredenering, en de meeste andere systemen die verklaringen produceerden die weinig effect hadden op het eindantwoord.

DeepSeek-V3.2, getest over alle vier taken, bleef decoratief; ondanks het schrijven van de langste verklaringen, waren zijn antwoorden zelden afhankelijk van de stappen.

Uitvoerrigiditeit

De tests wezen op een vierde fenomeen, dat de auteurs uitvoerrigiditeit noemden: sommige modellen zijn gewoon niet geneigd om redeneringsprocessen uit te voeren, afhankelijk van het onderwerp en mogelijk van andere omstandigheden. Hieronder zien we de redenering van Claude Opus bij het beantwoorden van een vraag over de medische status van een 61-jarige man; en daaronder, wat GPT-OSS-120B uitvoerde:

Woordrijkdom versus terughoudendheid.

De auteurs merken op dat Uitvoerrigiditeit taakafhankelijk is:

Over taken, verschillen de modellen sterk in hoe vaak ze ervoor kiezen ‘hun werk te laten zien’. Claude en DeepSeek produceren meerdere stapsverklaringen bijna elke keer, ongeacht domein, in tegenstelling tot Qwen3.5-397B, die dit zelden doet. Andere modellen veranderen hun gedrag afhankelijk van de taak, waarbij sommige gedetailleerde logische ketens produceren voor classificatie, maar veel minder voor medische vragen.

Zij merken op:

‘De modellen die het meest geneigd zijn om redenering intern te omzeilen, zijn ook degenen die het meest geneigd zijn om redenering extern te vermijden. GPT-OSS-120B produceert meerdere stapsredeneringen voor 99% van de sentimentvragen en 100% van de classificatievragen–maar slechts 38% van de medische vragen. Op 62% van de medische vragen produceert het een antwoord met één letter.’

Het patroon lijkt niet willekeurig: GPT-OSS-120B produceert meerdere stapsredeneringen voor bijna alle sentiment- en classificatie-items, maar schakelt over naar een enkel antwoordletter op de meeste medische vragen (waar het meestal geen zichtbare redenering biedt).

De auteurs hypotheseren dat omdat stapniveautests geschreven ketens vereisen om te analyseren, een model dat in één token antwoordt, niet kan worden geëvalueerd met die methoden; de afwezigheid van externe redenering blokkeert dus directe meting.

Het artikel concludeert dat modellen die zijn geselecteerd voor hoogrisicotoepassingen, getest moeten worden op trouw evenals nauwkeurigheid, en suggereren dat een model dat 2% minder nauwkeurig is, maar echt redeneert, de voorkeur kan verdienen – niet in de laatste plaats omdat het voldoet aan EU- en andere opkomende regelgeving met betrekking tot verklarende AI. Op dit moment, op basis van de bewijzen uit de studie, ‘bedriegen’ bijna alle LLM’s die CoT-mogelijkheden hebben, bijna altijd

Conclusie

Dit is een interessant artikel dat uitgebreidere tests en discussies over het onderwerp biedt dan we hier kunnen behandelen, en ik raad de lezer aan om naar het bronmateriaal te gaan.

Het centrale bericht, dat voortbouwt op de controverse van vorig jaar, is dat de AI-platforms met de hoogste inzet mogelijk scherp en oneerlijk zijn bij het simuleren van standaarden die hun modellen nog niet kunnen halen.

Verder is de kloof tussen de omvang en capaciteiten van open-gewicht- en gesloten API-modellen, zoals ChatGPT, zo groot dat men meestal niet redelijkerwijs kan afleiden wat de effecten van gesloten-gewichtmodellen zijn uit open-gewichtinstallaties, waardoor de duisternis van deze processen en standaarden wordt verdiept.

Hoewel het zeldzaam is dat een echt white-boxtestmethodologie ontstaat die zowel open- als geslotenbronmodellen kan omvatten; maar echte remedies voor ‘goedkope trucs’ van dit type zullen waarschijnlijk alleen plaatsvinden wanneer krachtige instanties, zoals de EU, de onderkant van de belangrijkste AI-portals bedreigen.

*Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

^† Het artikel vermeldt geen samenhangende lijst van deze kleinere modellen en bevat aanvullende varianten van één model, waardoor een definitieve lijst een kwestie van deductie is.

^†† De auteurs benadrukken.

Eerst gepubliceerd op woensdag 25 maart 2026