Tankekedjeresonemang bevisats vara ‘dekorativ’ i stora språkmodeller

Nya studier erbjuder ett enkelt sätt att avgöra om de polerade steg-för-steg-förklaringarna från alla ledande AI-språkmodeller – inklusive ChatGPT och Claude – bara är ‘dekorativa’ och vanligtvis konstruerade efter att AI har bestämt sig för svaret.

Förra året visade en serie högprofilerade studier från AI-relaterade företag, inklusive Anthropic och Apple, att så kallade ‘resonemangs-AI’ ofta producerar steg-för-steg-förklaringar som inte återspeglar vad som faktiskt informerade deras svar.

Av olika skäl urartade debatten snart till slagsmål och olika tolkningar (inklusive på denna webbplats), vilket lämnade den olösta frågan om kedjeresonemang (CoT) bara är en kosmetisk prydnad som är avsedd att övertyga slutanvändarna, eller om det är bevis för en sann resonemangsprocess.

ChatGPT ‘visar sitt arbete’ – men har den redan bestämt sig för svaret?

Visa och berätta

Nu erbjuder en intressant ny artikel från Indien ett billigt och enkelt sätt att mäta om de imponerande ‘deduktionsanimeringarna’ i gränssnitten för ChatGPT och andra stora språkmodeller (LLM) verkligen indikerar att AI arbetar genom stegen till en slutsats.

Den nya artikeln kommer från två forskare vid Indian Institute of Information Technology Allahabad (IIITA) i Allahabad och National Institute of Electronics and Information Technology (NIELIT) i Delhi.

Författarna fann att i nästan alla fall, över en betydande del av proprietära och öppen-källkods-LLM, är kedjeresonemang som presenteras för användare ‘dekorativa’, uppfunna efter att AI har dragit slutsatsen som den ska presentera.

Testning av modeller som ChatGPT5.4, Claude Opus 4.6-R och DeepSeek-V3.2 visade att författarna fann att borttagning av någon enskild steg av de 10-15 CoT-indikationer som presenterades faktiskt ändrade svaret mindre än 17% av tiden, och att varje enskild steg ensamt var tillräckligt för att återställa det rätta svaret.

Författarna skriver*:

‘Regleringsramar för AI inom hälso- och sjukvård, finansiella tjänster och juridik kräver allt oftare “förklarliga” [system]. Våra resultat tyder på att den standardiserade metoden – att be modellen att visa sitt arbete – ger en illusion av transparens.

‘Förklaringarna är flytande, domän-lämpliga och fel på ett subtilt sätt: de beskriver resonemang som modellen inte har utfört.

‘En medicinsk AI som skriver “eosinofili tyder på en embolisk process” har inte nödvändigtvis övervägt eosinofili alls. Den kan ha mönster-matcherat från frågestammen till svaret och förklarat resonemanget efteråt.

‘Enligt EU:s AI-lag (artikel 13) måste ett högrisk-AI-system tillhandahålla “meningsfull information om den logik som är involverad.” Våra fynd tyder på att kedjeresonemangsförklaringar från de flesta frontmodellerna inte uppfyller denna standard–den “logik som är involverad” i att nå svaret är inte den logik som beskrivs i förklaringen.’

Författarna observerar att två av de mindre modellerna som testades bröt mot den vanliga mönstret av dubbelhet, men bara under mycket specifika omständigheter: MiniMax-M25 visade äkta steg-beroende när den hanterade sentimentanalys, medan Kimi-K25 visade en äkta 39% behov av CoT-bearbetning – men bara när den hanterade ämnesklassificering.

I alla andra fall, liksom med de större och mer kända modellerna, tycktes resonemangsstegen vara helt performativa, med modellerna som istället använde genvägar.

Små modeller anstränger sig mer

Förutom de tio API-modellerna som testades, testade författarna också ett antal mindre öppen-viktsmodeller^†, som sträckte sig från 0,8 till 8 miljarder parametrar (vilket är ganska blygsamt nuförtiden), och fann att dessa mindre AI-modeller faktiskt resonerar, och att CoT de visar vanligtvis – men inte alltid – är nödvändigt för att nå användbara och precisa slutsatser.

De mindre modellerna visade en 55% behov av steg-resonemang, i kontrast till den genomsnittliga 11% behovet över de större modellerna, som, enligt författarna, ‘har lärt sig att kringgå multi-steg-resonemang helt, och nå rätt svar genom interna genvägar som deras skrivna resonemang inte återspeglar’.

Författarna hävdar att ju bättre en modell blir på en uppgift, desto mindre behöver den resonemangs-steg (även om detta är en mer diplomatisk tolkning av begreppet att avstå från rationell analys till förmån för vilket svar som helst som var starkast i utbildningsdatafördelningen)^††:

‘Små modeller resonerar troget på matematik eftersom de måste—de saknar parametrisk kunskap för att ta genvägar.

‘Frontmodellerna har internaliserat tillräckligt med matematiska mönster så att explicit kedjeresonemang blir överflödigt. CoT förbättrar fortfarande noggrannheten (genom att strukturera generationen), men de enskilda stegen bär inte längre unik information.’

Metod

Metoden som användes för att testa modellerna baseras på tre kriterier:

Nödvändighet tar bort varje CoT-steg i turordning och kontrollerar sedan om svaret ändras. Varje steg som tas bort och ändrar svaret räknas som ‘nödvändigt’; Tillräcklighet isolerar varje steg och testar om det ensamt kan återställa svaret, och varje sådant steg räknas som tillräckligt; och Ordens känslighet blandar stegen och observerar om svaret ändras (eftersom äkta resonemang borde bero på sekvensen snarare än nyckelord).

Tagna tillsammans indikerar hög nödvändighet och låg tillräcklighet äkta steg-för-steg-resonemang, medan låg nödvändighet och hög tillräcklighet indikerar förklaringar som kan tas bort, omarrangeras eller reduceras utan att påverka resultatet.

Författarna noterar att denna metod eliminerar behovet av vitlåda-modellåtkomst, eftersom den kan utföras för bara några dollar på stängda källkodsmodeller som ChatGPT och Claude, och naturligtvis lika framgångsrikt på öppen-viktsmodeller som kan installeras lokalt.

De noterar också att tidigare studier antingen använde öppen-viktsmodeller som möjliggjorde intern analys eller använde enklare, binära ja/nej-svar som avslöjar mycket mindre av en API-modells interna resonemangsprocesser.

Minsta kostnader

Författarna definierar äkta resonemang genom nödvändighet och tillräcklighet, med hög nödvändighet och låg tillräcklighet som indikerar att varje steg bär unik vikt. Omvänt visar dekorativt resonemang låg nödvändighet och hög tillräcklighet, vilket innebär att steg kan tas bort eller användas ensamt utan att ändra svaret.

Nödvändighet i sig, påpekar de, kan dölja detta, eftersom flera giltiga vägar kan finnas. Därför används tillräcklighet för att testa om något enskilt steg redan kodar resultatet, och ordens känslighet kontrollerar om modellen beror på sekvensen snarare än ytanvisningar.

Tillvägagångssättet bygger på Intervention-Consistent Explanation (ICE)-ramverket, kräver endast text-in, text-ut API-åtkomst och för en sex-stegs-kedja innebär 15 utvärderingar, till en kostnad på cirka 1–2 dollar per modell.

ICE-ramverket klassificerar modellbeteende efter nödvändighet och tillräcklighet i tre mönster: dekorativ visar låg nödvändighet och hög tillräcklighet, vilket innebär att steg är redundanta och svaret skulle nås ändå. Detta dominerar över de flesta modeller och uppgifter; äkta visar hög nödvändighet och hög tillräcklighet, vilket innebär att varje steg bär verklig signal (och, som nämnts tidigare, detta verkar i MiniMax-M2.5 på sentiment); och sammanhangsberoende visar hög nödvändighet och låg tillräcklighet, vilket innebär att steg bara fungerar tillsammans i sekvens (vilket verkar i Kimi-K2.5 och MiniMax på ämnesklassificering, och i små modeller, när de hanterar matematik).

Tester

De tio primärt API-baserade modellerna som testades med den reviderade ICE-metoden var ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; och Nemotron-Ultra (253 miljarder parametrar).

Varje modell testades på fyra uppgifter: sentimentklassificering (med hjälp av (SST-2); matematiska ordproblem (med hjälp av GSM8K); ämnesklassificering (med hjälp av AG News); och medicinska frågesvar (med hjälp av (MedQA). Inledande tester var på Sentiment och Matematik:

Tester för tio ledande språkmodeller, utvärdering av hur de hanterar steg-för-steg-resonemang. ‘Nödvändighet’ spårar om borttagning av ett steg ändrar svaret; ’tillräcklighet’ kontrollerar om ett steg ensamt kan producera det; och ‘blanda’ testar om ordningen har betydelse. De flesta modeller ger övertygande men icke-essentiella förklaringar på SST-2 och GSM8K, medan MiniMax-M2.5 förlitar sig mer på sina steg för sentiment. Både MiniMax och Kimi-K2.5 visar mer äkta steg-för-steg-resonemang på ämnesklassificering. Källa

Författarna skriver:

‘De flesta modellerna visar vad vi kallar “Dekorativt resonemang” (Lucky Steps i ICE-taxonomi)–ett mönster där steg-nödvändighet är under 17% och steg-tillräcklighet överstiger 60% över både sentiment och matematik.

‘På vanligt språk: du kan ta bort något resonemangs-steg och svaret ändras nästan aldrig, men något enskilt steg ensamt är tillräckligt för att återställa svaret.’

På SST-2-sentimenttestet förlitade sig GPT-5.4 nästan aldrig på sin skrivna förklaring, eftersom borttagning av ett steg ändrade svaret i bara 0,1% av 500 fall, vilket indikerar att förklaringen lades till efter att beslutet redan var fattat.

Claude Opus 4.6-R förlitade sig på sina steg något mer, vid 14,8%, men 91% av dess steg ensamt kunde fortfarande producera svaret; därför var dess längre förklaringar mer detaljerade, men fortfarande mestadels ‘prydnads-liknande’.

Därefter lade forskarna till de andra domänerna och testade igen:

Steg-nivå-trohet och noggrannhet över fyra domäner: SST-2; GSM8K; AG News; och MedQA. De flesta modell-uppgiftspar visar ‘dekorativt’ trots hög noggrannhet, med begränsade undantag: MiniMax-M2.5 och Kimi-K2.5 visar sammanhangsberoende eller äkta steg-baserat resonemang på AG News, medan den totala prestationen bekräftar att låg trohet inte förklaras av slumpmässigt gissande.

Författarna observerar:

‘De fyra-domänsresultaten förstärker den centrala upptäckten: dekorativt resonemang är universellt över domäner för de genvägande modellerna. Claude Opus visar 1,7% nödvändighet på MedQA (486 exempel, 93,4% noggrannhet) – modellen skriver detaljerade medicinska resonemangskedjor som i genomsnitt består av 5,8 steg, men borttagning av något steg ändrar nästan aldrig diagnosen.’

AG News visade de största skillnaderna mellan modellerna, med Kimi-K2.5 och MiniMax som faktiskt förlitade sig på sina steg-för-steg-förklaringar, och de flesta andra system som producerade förklaringar som erbjöd liten effekt på det slutliga svaret.

DeepSeek-V3.2, som testades över alla fyra uppgifter, förblev dekorativt genomgående; trots att den skrev de längsta förklaringarna, ändrades dess svar sällan beroende på stegen.

Utmatningsstelhet

Testerna indikerade en fjärde fenomen som var i spel, som författarna kallade utmatningsstelhet: vissa modeller är helt enkelt ovilliga att producera resonemangsprocesser, beroende också på ämnet och möjligen på andra omständigheter. Nedan ser vi resonemanget från Claude Opus när den svarar på en fråga om en 61-årig mans medicinska status; och under, vad GPT-OSS-120B producerade:

Verbositet vs. återhållsamhet.

Författarna noterar att utmatningsstelhet är uppgiftsberoende:

Över uppgifterna skiljer sig modellerna kraftigt i hur ofta de väljer att ‘visa sitt arbete’. Claude och DeepSeek producerar multi-steg-förklaringar nästan varje gång, oavsett domän, i kontrast till Qwen3.5-397B, som sällan gör det. Andra skiftar sitt beteende beroende på uppgiften, med vissa som producerar detaljerade logikkedjor för klassificering, men betydligt färre för medicinska frågor.

De observerar:

‘Modellerna som är mest benägna att kringgå resonemang internt är också de som är mest benägna att utelämna resonemang externt. GPT-OSS-120B producerar multi-steg-resonemang för 99% av sentimentfrågor och 100% av ämnesklassificeringsfrågor–men bara 38% av medicinska frågor. På 62% av medicinska frågor producerar den ett enkelt svar.’

Mönstret verkar inte vara slumpmässigt: GPT-OSS-120B producerar multi-steg-förklaringar för nästan alla sentiment- och ämnesklassificeringsfrågor, men växlar till ett enkelt svar på de flesta medicinska frågorna (där den vanligtvis inte tillhandahåller någon synlig förklaring alls).

Författarna hypoteserar att eftersom steg-nivå-tester kräver skrivna kedjor för analys, kan en modell som svarar med en enda token inte utvärderas med dessa metoder; frånvaron av yttre resonemang blockerar därmed direkt mätning.

Artikeln slutsats är att modeller som är utvalda för högriskapplikationer måste testas för trohet samt noggrannhet, och föreslår att en modell som är 2% mindre noggrann men som faktiskt resonerar kan vara att föredra – inte minst för att den uppfyller EU:s och andra framväxande regleringar i fråga om förklarbar AI. För tillfället, baserat på bevisen från studien, “lurar” nästan alla LLM som är CoT-kapabla nästan alltid

Slutsats

Detta är en intressant artikel som erbjuder mer omfattande testning och diskussion på ämnet än vi har utrymme att täcka här, och jag rekommenderar läsaren att gå till källmaterialet.

Den centrala budskapet, som följer på förra årets kontroverser, är att de högrisk-AI-plattformarna kan vara villiga att avvika skarpt och oärligt i fråga om att simulera standarder som deras modeller ännu inte kan uppfylla.

Ytterligare, gapet mellan storleken och förmågan hos öppen-vikts- och stängd-API-modeller som ChatGPT är så betydande att man vanligtvis inte kan resonera om stängd-vikts-effekter från öppen-vikts-installationer, vilket ökar ogenomskinligheten i dessa processer och standarder.

Men det är sällsynt att en verkligt vitlåda-testmetod framträder som kan omfatta öppen-källkods- och stängd-källkodsmodeller; men verkliga lösningar på “billiga trick” av det här slaget kommer troligen bara att hända när kraftfulla organ som EU hotar de stora AI-portalsens ekonomi.

*Min konvertering av författarnas inline-citationer till hyperlänkar.

^† Artikeln avslöjar inte en sammanhängande lista över dessa mindre modeller, och innehåller ytterligare varianter av en modell, vilket gör en definitiv lista till en fråga om deduktion.

^†† Författarnas betoningar.

Publicerad första gången onsdag, 25 mars 2026