Chain-Of-Thought Reasoning Beviset At Være ‘Dekorativ’ i Store Sprogmodeller

Nyt forskning tilbyder en nem måde at bestemme, om de polerede trin-for-trin forklaringer af alle nuværende førende AI-sprogmodeller – herunder ChatGPT og Claude – blot er ‘dekorative’, og normalt er opfundet efter AI’en har besluttet, hvad svaret er.

Sidste år, en række højprofilerede studier fra AI-vendte virksomheder, herunder Anthropic og Apple, indikerede, at såkaldte ‘reasoning AIs’ ofte producerer trin-for-trin forklaringer, der ikke reflekterer, hvad der faktisk informerede deres svar.

Af forskellige årsager, udviklede debatten sig snart til skrappet gensvar og forskellige fortolkninger (herunder på dette websted), og efterlod uafklaret spørgsmålet om, hvorvidt chain-of-thought (CoT) reasoning blot er en kosmetisk frihed designet til at berolige slutbrugere, eller bevis for en sandt resonansproces.

ChatGPT ‘viser sit arbejde’ – men har det allerede besluttet, hvad det skal svare?

Vis og Fortæl

Nu, en interessant ny artikel fra Indien tilbyder en billig og let reproducerbar metode til at måle, om de imponerende ‘deduktion animations’ i grænsefladerne af ChatGPT og andre store Large Language Models (LLMs) virkelig indikerer, at AI’en arbejder sig igennem trinnene til en konklusion.

Den nye forskning kommer fra to forskere på det Indiske Institut for Informationsteknologi Allahabad (IIITA) i Allahabad, og det Nationale Institut for Elektronik og Informationsteknologi (NIELIT) i Delhi.

Forfatterne fandt, at i næsten alle tilfælde, på tværs af en betydelig del af proprietære og open-source LLMs, var chain-of-thought reasoning præsenteret for brugere ‘dekorativ’, opfundet efter AI’en havde konkluderet svaret, det ville præsentere.

Test af ChatGPT5.4, Claude Opus 4.6-R og DeepSeek-V3.2 viste, at forfatterne fandt, at fjernelse af en enkelt trin af de 10-15 CoT-indikationer præsenteret faktisk ændrede svaret mindre end 17% af tiden, og at en enkelt trin alene var tilstrækkeligt til at genskabe det rigtige svar.

Forfatterne skriver*:

‘Reguleringsrammer for AI i sundhedssektoren, finans og lovgivning kræver stadig mere “forklarlige” [systemer]. Vores resultater antyder, at den standardmæssige tilgang – at bede modellen om at vise sit arbejde – giver en illusion af gennemsigtighed.

‘Forklaringerne er flydende, domænespecifikke og forkerte på en subtil måde: de beskriver en resonans, som modellen ikke udførte.

‘En medicinsk AI, der skriver “eosinofili antyder en embolsk proces” har ikke nødvendigvis overvejet eosinofili overhovedet. Den kan have mønstergennkendt fra spørgsmålstammen til svaret og fabrikeret resonansen herefter.

‘Under EU’s AI-akt (Artikel 13) skal et højrisiko AI-system give “meningsfuld information om den logik, der er involveret.” Vores fund antyder, at chain-of-thought-forklaringer fra de fleste frontmodeller ikke opfylder denne standard–”logikken, der er involveret” i at nå svaret, er ikke den logik, der er beskrevet i forklaringen.’

Forfatterne observerer, at to af de mindre modeller, der blev testet, brød den almindelige mønster af dobbeltspil, men kun under meget bestemte omstændigheder: MiniMax-M25 demonstrerede ægte trin-afhængighed, når det kom til sentimentanalyse, mens Kimi-K25 viste en ægte 39% behov for CoT-behandling – men kun, når det kom til emneklassifikation.

I alle andre tilfælde, som med de større og bedre kendte modeller, syntes resonanstrinnene at være helt performative, med modellerne i stedet brugte genveje.

Små Modeller Prøver Hårdere

Foruden de ti API-modeller, der blev testet, testede forfatterne også en række mindre åbne vægtmodeller^†, der lå mellem 0,8 til 8 milliarder parametre (hvad der er ret beskedent i disse dage), og fandt, at disse mindre AI’er virkelig resonerede, og at CoT, de viste, normalt – omend ikke altid – var nødvendig for at nå nyttige og præcise konklusioner.

De mindre modeller demonstrerede et 55% behov for trin-resonans, i modsætning til den gennemsnitlige 11% behov på tværs af de større modeller, som forfatterne hævder, ‘har lært at omgå multi-trin resonans helt, og når korrekte svar gennem interne genveje, som deres skrevne resonans ikke reflekterer’.

Forfatterne mener, at jo bedre en model bliver til en opgave, jo mindre behøver den resonans-trin (omend dette er en mere diplomatisk tilgang til begrebet om at afvise rationel analyse til fordel for hvilket svar, der var stærkest i træningsdatafordelingen)^††:

‘Små modeller resonerer trofast på matematik, fordi de må—de mangler den parametrisk viden til at omgå.

‘Frontier-modeller har internaliseret nok matematiske mønstre, så eksplikt chain-resonans bliver redundant. CoT forbedrer dog nøjagtigheden (ved at strukturere generationen), men de enkelte trin bærer ikke længere unik information.’

Metode

Metoden, der blev brugt til at teste modellerne, er baseret på tre kriterier:

Nødvendighed fjerner hver CoT-trin i tur, og derefter kontrollerer, om svaret ændrer sig. Hvert trin, hvis fjernelse ændrer resultatet, tælles som ‘nødvendigt’; Tilstrækkelighed isolerer hvert trin, og tester, om det alene kan genskabe svaret, med hvert sådant trin, der tælles som tilstrækkeligt; og Rekkefølsesfølsomhed ombytter trinnene, og observerer, om svaret ændrer sig (da ægte resonans burde afhænge af sekvensen og ikke nøgleord).

Taget sammen, høj nødvendighed og lav tilstrækkelighed indikerer ægte trin-for-trin resonans, mens lav nødvendighed og høj tilstrækkelighed indikerer forklaringer, der kan fjernes, omarrangeres eller reduceres uden at påvirke resultatet.

Forfatterne bemærker, at denne metode eliminerer enhver behov for white-box modeladgang, da den kan udføres for kun få dollars på lukkede, API-kun modeller som ChatGPT og Claude, og, naturligvis, lige så vel på åbne-vægt modeller, der kan installeres lokalt.

De bemærker også, at tidligere studier enten brugte åbne-vægt modeller, der muliggjorde intern analyse, eller brugte simple, binære ja/nej svar, der afslører langt mindre af en API-models interne resonansprocesser.

Minimale Omkostninger

Forfatterne definerer ægte resonans gennem nødvendighed og tilstrækkelighed, med høj nødvendighed og lav tilstrækkelighed indikerer, at hvert trin bærer unik vægt. Omvendt viser dekorativ resonans lav nødvendighed og høj tilstrækkelighed, hvilket betyder, at trin kan fjernes eller bruges alene uden at ændre svaret.

Nødvendighed alene, siger de, kan skjule dette, da der kan eksistere flere gyldige stier. Derfor bruges tilstrækkelighed til at teste, om et enkelt trin allerede indeholder resultatet, og rekkefølsesfølsomhed kontrollerer, om modellen afhænger af sekvensen og ikke overfladiske tegn.

Tilgangen bygger på Intervention-Consistent Explanation (ICE)-rammeværket, kræver kun tekst-i, tekst-ud API-adgang og for en seks-trins CoT indebærer 15 evalueringer, til en omkostning på omkring 1-2 dollar per model.

ICE-rammeværket klassificerer modeladfærd efter nødvendighed og tilstrækkelighed i tre mønstre: Dekorativ viser lav nødvendighed og høj tilstrækkelighed, hvilket betyder, at trin er redundant og svaret ville være nået alligevel. Dette dominerer på tværs af de fleste modeller og opgaver; Ægte Trofast viser høj nødvendighed og høj tilstrækkelighed, hvilket betyder, at hvert trin bærer reel signal (og, som nævnt tidligere, dette vises i MiniMax-M2.5 på sentiment); og Kontekstafhængig viser høj nødvendighed og lav tilstrækkelighed, hvilket betyder, at trin kun fungerer sammen i sekvens (hvad der vises i Kimi-K2.5 og MiniMax på emneklassifikation, og i små modeller, når det kommer til matematik).

Tests

De ti primært API-kun modeller, der blev testet med den reviderede ICE-tilgang, var ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; og Nemotron-Ultra (253 milliarder parametre).

Hver model blev testet på fire opgaver: sentimentklassifikation (ved hjælp af (SST-2); matematiske ordproblemer (ved hjælp af GSM8K); emneklassifikation (ved hjælp af AG News); og medicinsk spørgsmål-svar (ved hjælp af (MedQA). Initiale tests var på Sentiment og Matematik:

Tests for ti førende sprogmodeller, der vurderer, hvordan de håndterer trin-for-trin resonans. ‘Nødvendighed’ sporer, om fjernelse af et trin ændrer svaret; ’tilstrækkelighed’ kontrollerer, om et enkelt trin alene kan genskabe det; og ‘ombytning’ tester, om rækkefølgen betyder noget. De fleste modeller giver overbevisende, men ikke-essentielle forklaringer på SST-2 og GSM8K, mens MiniMax-M2.5 afhænger mere af sine trin til sentiment. Kilde

Forfatterne skriver:

‘De fleste modeller viser, hvad vi kalder “Dekorativ Resonans” (Lucky Steps i ICE-taxonomien)–et mønster, hvor trin-nødvendighed er under 17% og trin-tilstrækkelighed overstiger 60% på både sentiment og matematik.

‘På godt dansk: Du kan fjerne et hvilket som helst resonans-trin, og svaret ændrer sig næsten aldrig, og alligevel er et enkelt trin alene nok til at genskabe svaret.’

På SST-2 sentimenttesten afhængede GPT-5.4 næsten aldrig af sin skrevne resonans, da fjernelse af et trin ændrede svaret i kun 0,1% af 500 tilfælde, hvilket indikerer, at forklaringen blev tilføjet efter beslutningen allerede var taget.

Claude Opus 4.6-R afhængede af sine trin lidt mere, på 14,8%, men 91% af dens trin alene kunne stadig producere svaret; derfor var dens længere forklaringer mere detaljerede, men stadig mest ‘pyntelige’.

Derefter testede forskerne igen med de andre domæner:

Trin-niveau trofasthed og nøjagtighed på fire domæner: SST-2; GSM8K; AG News; og MedQA. De fleste model-opgave-par forbliver dekorative, på trods af høj nøjagtighed, med begrænsede undtagelser: MiniMax-M2.5 og Kimi-K2.5 viser kontekstafhængig eller ægte trin-afhængig resonans på AG News, mens den samlede præstation bekræfter, at lav trofasthed ikke skyldes tilfældigt gætteri.

Forfatterne observerer:

‘De fire-domæne-resultater støtter den centrale fund: dekorativ resonans er universel på tværs af domæner for de genvejs-modeller. Claude Opus viser 1,7% nødvendighed på MedQA (486 eksempler, 93,4% nøjagtighed) – modellen skriver detaljerede medicinske resonans-kæder i gennemsnit 5,8 trin, men fjernelse af et trin ændrer næsten aldrig diagnosen.’

AG News viste de største forskelle mellem modellerne, med Kimi-K2.5 og MiniMax, der virkelig afhængige af deres trin-for-trin resonans, og de fleste andre systemer producerede forklaringer, der havde lille effekt på det endelige svar.

DeepSeek-V3.2, testet på alle fire opgaver, forblev dekorativ hele vejen; på trods af at skrive de længste forklaringer, ændrede dens svar sjældent afhængigt af trinnene.

Output Stivhed

Testene viste en fjerde fænomen på spil, som forfatterne kaldte output stivhed: nogle modeller er simpelthen ikke villige til at udgive resonansprocesser, afhængigt også af emnet, og muligvis af andre omstændigheder. Herunder ser vi resonansen fra Claude Opus, når den besvarer et spørgsmål om en 61-årig mands medicinske status; og under, hvad GPT-OSS-120B udgiver:

Verbositet vs. tilbageholdenhed.

Forfatterne bemærker, at Output Stivhed er opgave-afhængig:

Over modellerne skifter de, hvor ofte de vælger at ‘vise deres arbejde’. Claude og DeepSeek producerer multi-trins forklaringer næsten hver gang, uanset domæne, i modsætning til Qwen3.5-397B, som sjældent nogensinde gør. Andre skifter deres adfærd afhængigt af opgaven, med nogle, der producerer detaljerede logiske kæder til klassifikation, men langt færre til medicinske spørgsmål.

De observerer:

‘Modellerne, der er mest sandsynlige til at omgå resonans internt, er også dem, der er mest sandsynlige til at udelade resonans eksternt. GPT-OSS-120B producerer multi-trins resonans for 99% af sentiment-spørgsmål og 100% af emneklassifikations-spørgsmål–men kun 38% af medicinske spørgsmål. På 62% af medicinske spørgsmål udgiver den kun et enkelt-bogstav-svar.’

Mønsteret synes ikke at være tilfældigt: GPT-OSS-120B producerer multi-trins forklaringer for næsten alle sentiment- og emneklassifikations-punkter, men skifter til et enkelt-bogstav-svar på de fleste medicinske spørgsmål (hvor den normalt ikke giver nogen synlig resonans).

Forfatterne formoder, at da trin-niveau-tester kræver skrevne kæder til analyse, kan en model, der svarer i en enkelt token, ikke vurderes ved disse metoder; fraværet af ekstern resonans blokerer direkte måling.

Artiklen slutter med, at modeller, der er valgt til højrisiko-applikationer, skal testes for trofasthed samt nøjagtighed, og foreslår, at en model, der er 2% mindre nøjagtig, men som virkelig resonerer, kan være at foretrække – ikke mindst, fordi den opfylder EU’s og andre fremvoksende regler om forklarbar AI. For nu, baseret på beviserne fundet i studiet, er næsten alle LLM’er, der er CoT-kapable, ‘svindel’, næsten altid

Konklusion

Dette er en interessant artikel, der tilbyder mere omfattende test og diskussion om emnet end vi har plads til at dække her, og jeg anbefaler læseren at gå til kildematerialet.

Den centrale besked, der følger op på sidste års kontroverser, er, at de højeste-risiko AI-platforme kunne være villige til at afvige skarpt og uærligt, i forhold til at simulere standarder, som deres modeller endnu ikke kan opfylde.

Yderligere er afstanden mellem størrelsen og kapaciteten af åbne-vægt og lukkede API-modeller som ChatGPT så betydelig, at man normalt ikke kan slutte af lukkede-vægt-effekter fra åbne-vægt-installationer, hvilket dypper mystikken omkring disse processer og standarder.

Men det er sjældent, at en sand white-box-testmetode opstår, der kan omfatte både åbne og lukkede modeller; men sande forbedringer til ‘billige tricks’ af denne art vil sandsynligvis kun ske, når magtfulde organer som EU truer de store AI-portalers bundlinjer.

*Min konvertering af forfatternes inline-citationer til hyperlinks.

^† Artiklen afslører ikke en samlet liste over disse mindre modeller og inkluderer yderligere varianter af en model, hvilket gør en definitiv liste til en sag om deduktion.

^†† Forfatterens betoning.

Først udgivet onsdag, 25. marts 2026