Kjedebasert resonnering bevist å være ‘dekorativ’ i store språkmodeller

Ny forskning tilbyr en enkel måte å bestemme om de polerte, steg-for-steg forklaringene til alle ledende AI-språkmodeller – inkludert ChatGPT og Claude – bare er ‘dekorative’, og vanligvis er funnet etter at AI-en har bestemt hva svaret er.

I fjor var det en rekke høyprofilerte studier fra AI-orienterte selskaper, inkludert Anthropic og Apple, som indikerte at såkalte ‘resonnerings-AI’er’ ofte produserer steg-for-steg forklaringer som ikke reflekterer hva som faktisk informerte deres svar.

Av ulike årsaker utviklet debatten seg til skrappe tilbakevisninger og forskjellige tolkninger (inkludert på denne siden), og lot uavklarte spørsmålet om hvorvidt kjedebasert (CoT) resonnering bare er en kosmetisk frihet designet for å berolige sluttbrukere, eller bevis på en ekte resonneringsprosess.

ChatGPT ‘viser sitt arbeid’ – men har det allerede bestemt hva den skal svare?

Vis og fortell

Nå tilbyr en interessant ny artikkel fra India en billig og lett gjennomførbart metode for å måle om de imponerende ‘deduksjonsanimasjonene’ i grensesnittene til ChatGPT og andre store språkmodeller (LLM) virkelig indikerer at AI-en jobber gjennom stegene til en konklusjon.

Den nye forskningen kommer fra to forskere ved Indian Institute of Information Technology Allahabad (IIITA) i Allahabad, og National Institute of Electronics and Information Technology (NIELIT) i Delhi.

Forfatterne fant at i nesten alle tilfeller, over en betydelig del av proprietære og åpne kildekode-LLM-er, var kjedebasert resonnering presentert for brukerne ‘dekorativ’, funnet etter at AI-en hadde konkludert med svaret som den skulle presentere.

De testet likeså ChatGPT5.4, Claude Opus 4.6-R og DeepSeek-V3.2, og fant at removing av noen enkelt steg av de 10-15 CoT-indikasjonene presentert faktisk endret svaret mindre enn 17% av tiden, og at noen enkelt steg alene var tilstrekkelig til å gjenopprette det riktige svaret.

Forfatterne statuerer*:

‘Reguleringsrammer for AI i helse, finans og lov krever stadig mer “forståelige” [systemer]. Våre resultater tyder på at standardtilnærmingen – å spørre modellen om å vise sitt arbeid – gir en illusjon av gjennomsiktighet.

‘Forklaringene er flytende, domene-egnet og feil i en subtil måte: de beskriver resonnering modellen ikke utførte.

‘En medisinsk AI som skriver “eosinofili tyder på en embolsk prosess” har ikke nødvendigvis vurdert eosinofili overhodet. Den kan ha mønster-matching fra spørsmålstammen til svaret og konfabulert resonneringen etterpå.

‘Under EU AI-loven (Artikkel 13) må et høyrisikoadjunktivt AI-system gi “meningsfull informasjon om logikken som er involvert.” Våre funn tyder på at kjedebasert resonnering fra de fleste frontmodellene ikke møter denne standarden–“logikken som er involvert” i å nå svaret er ikke logikken som beskrives i forklaringen.’

Forfatterne observerer at to av de mindre modellene testet brøt den vanlige mønsteret av duplisitet, men bare under svært spesielle omstendigheter: MiniMax-M25 viste ekte steg-avhengighet når det gjaldt sentimentanalyse, mens Kimi-K25 viste en ekte 39% behov for CoT-prosessering – men bare når det gjaldt emneklassifisering.

I alle andre tilfeller, som med de større og bedre kjente modellene, syntes resonneringsstegene å være fullstendig performativ, med modellene som i stedet brukte gjennomskjæringer.

Små modeller jobber harder

Foruten de ti API-modellene som ble testet, testet forfatterne også en rekke mindre åpne vektmodeller^†, som varierte mellom 0,8 til 8 milliarder parametre (som er ganske beskjedent i disse dager), og fant at disse mindre AI-ene faktisk resonerte, og at CoT de viste vanligvis – om enn ikke alltid – var nødvendig for å nå nyttige og nøyaktige konklusjoner.

De mindre modellene viste en 55% behov for steg-resonnering, i motsetning til gjennomsnittet 11% behov over de større modellene, som, ifølge forfatterne, ‘har lært å bypass multi-steg resonnering helt, og ankommer korrekte svar gjennom interne gjennomskjæringer som deres skriftlige resonnering ikke reflekterer’.

Forfatterne antyder at jo bedre en modell blir på en oppgave, jo mindre trenger den resonneringssteg (om enn dette er en mer diplomatisk måte å se på konseptet om å forkaste rasjonell analyse til fordel for hvilket svar som var sterkest i treningsdatafordelingen)^††:

‘Små modeller resonrerer trofast på matematikk fordi de må—de mangler den parametriske kunnskapen til å forkorte.

‘Frontier-modeller har internalisert nok matematiske mønster at eksplisitt kjede-resonnering blir redundant. CoT forbedrer likevel nøyaktigheten (ved å strukturere genereringen), men de enkelte stegene bærer ikke lenger unik informasjon.’

Metode

Metoden som ble brukt til å teste modellene er basert på tre kriterier:

Nødvendighet fjerner hver CoT-steg i tur, og sjekker om svaret endrer seg. Hver steg som fjernes og endrer svaret, teller som ‘nødvendig’; Tilstrekkelighet isolerer hver steg, og tester om den alene kan gjenopprette svaret, med hver slik steg som teller som tilstrekkelig; og Rekkefølge-følsomhet blandet stegene, og observerer om svaret endrer seg (siden ekte resonnering bør avhenge av sekvensen snarere enn nøkkelord).

Tatt sammen, høy nødvendighet og lav tilstrekkelighet indikerer ekte steg-for-steg resonnering, mens lav nødvendighet og høy tilstrekkelighet indikerer forklaringer som kan fjernes, omarrangert eller redusert uten å påvirke utfallet.

Forfatterne noterer at denne metoden eliminerer behovet for hvitboks-tilgang til modellen, siden den kan utføres for bare noen få dollar på lukkede kildekode-API-modeller som ChatGPT og Claude, og, naturligvis, like vellykket på åpne vektmodeller som kan installeres lokalt.

De noterer også at tidligere studier enten brukte åpne vektmodeller som tillot intern analyse, eller brukte enklere, binære ja/nei svar som avslører mye mindre av en API-modells interne resonneringsprosesser.

Minimale kostnader

Forfatterne definerer ekte resonnering gjennom nødvendighet og tilstrekkelighet, med høy nødvendighet og lav tilstrekkelighet som indikerer at hver steg bærer unik vekt. Omvendt, dekorativ resonnering viser lav nødvendighet og høy tilstrekkelighet, som betyr at stegene kan fjernes eller brukes alene uten å endre svaret.

Nødvendighet alene, ifølge forfatterne, kan skjule dette, siden flere gyldige stier kan eksistere. Derfor tilstrekkelighet brukes til å teste om noen enkelt steg allerede koder utfallet, og rekkefølge-følsomhet sjekker om modellen avhenger av sekvensen snarere enn overflatenøkkelord.

Tilnærmingen bygger på Intervention-Consistent Explanation (ICE)-rammen, og krever bare tekst-in, tekst-ut API-tilgang, og for en seks-stegs kjede, involverer 15 evalueringer, til en kostnad på rundt 1–2 dollar per modell.

ICE-rammen klassifiserer modell-atferd etter nødvendighet og tilstrekkelighet i tre mønster: dekorativ viser lav nødvendighet og høy tilstrekkelighet, som betyr at stegene er redundante og svaret ville bli nådd likevel. Dette dominerer over de fleste modellene og oppgavene; ekte trofast viser høy nødvendighet og høy tilstrekkelighet, som betyr at hver steg bærer ekte signal (og, som nevnt tidligere, dette vises i MiniMax-M2.5 på sentiment); og kontekst-avhengig viser høy nødvendighet og lav tilstrekkelighet, som betyr at stegene kun fungerer sammen i sekvens (som vises i Kimi-K2.5 og MiniMax på emneklassifisering, og i små modeller, når det gjelder matematikk).

Tester

De ti primært API-baserte modellene som ble testet med den reviderte ICE-tilnærmingen var ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; og Nemotron-Ultra (253 milliarder parametre).

Hver modell ble testet på fire oppgaver: sentimentklassifisering (ved hjelp av (SST-2); matematiske ordproblemer (ved hjelp av GSM8K); emneklassifisering (ved hjelp av AG News); og medisinsk spørsmål-svar (ved hjelp av (MedQA). Initiale tester var på Sentiment og Matematikk:

Tester for ti ledende språkmodeller, som vurderer hvordan de håndterer steg-for-steg resonnering. ‘Nødvendighet’ sporer om fjerning av et steg endrer svaret; ’tilstrekkelighet’ sjekker om ett enkelt steg alene kan produsere det; og ‘blanding’ tester om rekkefølgen betyr noe. De fleste modellene gir overbevisende, men ikke-essensielle forklaringer på SST-2 og GSM8K, mens MiniMax-M2.5 avhenger mer av sine steg for sentiment. Begge MiniMax og Kimi-K2.5 viser mer ekte steg-for-steg resonnering på emneklassifisering. Kilde

Forfatterne statuerer:

‘De fleste modellene viser hva vi kaller “Dekorativ resonnering” (Lucky Steps i ICE-taksonomien)–et mønster hvor steg-nødvendighet er under 17% og steg-tilstrekkelighet overstiger 60% på både sentiment og matematikk.

‘På vanlig språk: du kan fjerne noen resonneringssteg og svaret endrer seg nesten aldri, men noen enkelt steg alene er tilstrekkelig til å gjenopprette svaret.’

På SST-2-sentimenttesten avhengig ChatGPT5.4 nesten aldri av sin skriftlige resonnering, siden fjerning av et steg endret svaret i bare 0,1% av 500 tilfeller, som indikerer at forklaringen ble lagt til etter at beslutningen allerede var gjort.

Claude Opus 4.6-R avhengig av sine steg noe mer, på 14,8%, men 91% av dens steg alene kunne fortsatt produsere svaret; derfor var dens lengre forklaringer mer detaljerte, men likevel mest ‘pyntelige’.

Deretter la forskerne til de andre domenene og testet igjen:

Steg-nivå trofasthet og nøyaktighet over fire domener: SST-2; GSM8K; AG News; og MedQA. De fleste modell–oppgave-par forblir dekorative til tross for høy nøyaktighet, med begrensede unntak: MiniMax-M2.5 og Kimi-K2.5 viser kontekst-avhengig eller ekte steg-avhengig resonnering på AG News, mens totalt resultat bekrefter at lav trofasthet ikke skyldes tilfeldig gjetting.

Forfatterne observerer:

‘Fire-domene-resultatene støtter den sentrale funnen: dekorativ resonnering er universell over domener for de forkortende modellene. Claude Opus viser 1,7% nødvendighet på MedQA (486 eksempler, 93,4% nøyaktighet) – modellen skriver detaljerte medisinske resonneringskjeder som gjennomsnittlig 5,8 steg, men fjerning av noen enkelt steg endrer nesten aldri diagnosen.’

AG News viste de største forskjellene mellom modellene, med Kimi-K2.5 og MiniMax som faktisk avhengig av sine steg-for-steg resonneringer, og de fleste andre systemer som produserte forklaringer som hadde liten effekt på det endelige svaret.

DeepSeek-V3.2, testet over alle fire oppgaver, forble dekorativ hele tiden; til tross for å skrive de lengste forklaringene, avhengig dens svar sjelden av stegene.

Utdata-rigiditet

Testene indikerte en fjerde fenomen på spill, som forfatterne kalte utdata-rigiditet: noen modeller er enkle ikke villige til å utgive resonneringsprosesser, avhengig også av emnet, og muligens av andre omstendigheter. Under ser vi resonneringen fra Claude Opus når den svarer på et spørsmål om den medisinske statusen til en 61-åring mann; og under, hva GPT-OSS-120B utgir:

Verbositet vs. tilbakeholdenhet.

Forfatterne noterer at Utdata-rigiditet er oppgave-avhengig:

Over oppgaver, skiller modellene seg skarpt i hvor ofte de velger å ‘vise sitt arbeid’. Claude og DeepSeek produserer multi-steg forklaringer nesten hver gang, uavhengig av domene, i motsetning til Qwen3.5-397B, som sjelden noen gang gjør det. Andre skifter atferd avhengig av oppgaven, med noen som produserer detaljerte logiske kjeder for klassifisering, men langt færre for medisinske spørsmål.

De observerer:

‘Modellene som er mest sannsynlige til å bypass resonnering internalt er også de som er mest sannsynlige til å utelate resonnering eksternt. GPT-OSS-120B produserer multi-steg resonnering for 99% av sentiment-spørsmål og 100% av emneklassifiserings-spørsmål–men bare 38% av medisinske spørsmål. På 62% av medisinske spørsmål, utgir den bare et enkelt svar-bokstav.’

Mønsteret ser ikke ut til å være tilfeldig: GPT-OSS-120B produserer multi-steg forklaringer for nesten alle sentiment- og emneklassifiserings-spørsmål, men skifter til en enkelt svar-bokstav på de fleste medisinske spørsmål (hvor den vanligvis ikke gir noen synlig resonnering i det hele tatt).

Forfatterne hypotetiserer at fordi steg-nivå tester krever skriftlige kjeder for å analysere, kan en modell som svarer i en enkelt token ikke vurderes ved disse metodene; fraværet av ekstern resonnering blokkerer derfor direkte måling.

Artikkelen konkluderer med at modeller valgt for høyrisikoapplikasjoner må testes for trofasthet så vel som nøyaktighet, og foreslår at en modell som er 2% mindre nøyaktig, men som faktisk resonnerer, kan være foretrukket – ikke minst fordi den tilfredsstiller EU og andre fremvoksende reguleringer når det gjelder forklarbar AI. For øyeblikket, basert på bevisene funnet i studien, er nesten alle LLM-er som er CoT-egnet ‘juksende’, nesten alltid

Konklusjon

Dette er en interessant artikkel som tilbyr mer omfattende testing og diskusjon på emnet enn vi har plass til å dekke her, og jeg anbefaler leseren til kilde-materialet.

Den sentrale beskjeden, som bygger videre på fjorårets kontroverser, er at de høyest risikable AI-plattformene kan være villige til å avvike skarpt og uærlig, når det gjelder å simulere standarder som deres modeller ennå ikke kan møte.

Videre er gapet mellom skalaen og evnene til åpne vektmodeller og lukkede API-modeller som ChatGPT så stort at man vanligvis ikke kan resonnementfullt slutte fra åpne vektinstallasjoner til lukkede vekt- effekter, noe som dypper oppakningen av disse prosessene og standardene.

Likevel er det sjelden at en virkelig hvitboks-testmetode oppstår som kan omfatte både åpne kildekode- og lukkede API-modeller; men sanne remedier for ‘billige triks’ av denne typen vil sannsynligvis bare skje når kraftfulle organer som EU true med å true de større AI-portalenes resultater.

*Min konvertering av forfatternes inline-citater til hyperlenker.

^† Artikkelen avslører ikke en samlet liste over disse mindre modellene, og inkluderer flere varianter av en modell, noe som gjør en definitiv liste til en sak for deduksjon.

^†† Forfatternes betoning.

Først publisert onsdag, 25. mars 2026