Chain-Of-Thought-Reasoning als “Dekorativ” in großen Sprachmodellen erwiesen

Neue Forschung bietet eine einfache Möglichkeit, um festzustellen, dass die polierten, schrittweisen Erklärungen aller aktuellen führenden KI-Sprachmodelle – einschließlich ChatGPT und Claude – lediglich “dekorativ” sind und normalerweise nachdem die KI bereits entschieden hat, was die Antwort sein wird.

Im letzten Jahr zeigten eine Reihe von hochkarätigen Studien von KI-bezogenen Unternehmen, einschließlich Anthropic und Apple, dass sogenannte “Reasoning-AIs” oft schrittweise Erklärungen produzieren, die nicht das widerspiegeln, was ihre Antworten tatsächlich informiert hat.

Aus verschiedenen Gründen entwickelte sich die Debatte bald zu heftigen Widerlegungen und verschiedenen Interpretationen (einschließlich auf dieser Website), was die Frage unbeantwortet ließ, ob Chain-of-Thought- (CoT-) Reasoning lediglich ein kosmetisches Accessoire ist, das den Endbenutzer beruhigen soll, oder ein Beweis für einen wahren Denkprozess ist.

ChatGPT ‘zeigt seine Arbeit’ – aber hat es bereits entschieden, was es antworten soll?

Zeigen und Erzählen

Jetzt bietet ein interessantes neues Papier aus Indien eine billige und leicht nachvollziehbare Methode, um zu messen, ob die beeindruckenden “Deduktionsanimationen” in den Schnittstellen von ChatGPT und anderen großen Large Language Models (LLMs) tatsächlich anzeigen, dass die KI durch die Schritte zu einer Schlussfolgerung arbeitet.

Die neue Forschung stammt von zwei Forschern des Indian Institute of Information Technology Allahabad (IIITA) in Allahabad und des National Institute of Electronics and Information Technology (NIELIT) in Delhi.

Die Autoren fanden heraus, dass in fast allen Fällen, über eine signifikante Anzahl von proprietären und Open-Source-LLMs, die Chain-of-Thought-Reasoning, die den Benutzern präsentiert wird, “dekorativ” ist und normalerweise nachdem die KI die Antwort entschieden hat, die sie präsentieren wird.

Bei der Überprüfung von ChatGPT5.4, Claude Opus 4.6-R und DeepSeek-V3.2 fanden die Autoren heraus, dass das Entfernen eines einzelnen Schritts der 10-15 CoT-Indikationen tatsächlich die Antwort weniger als 17% der Zeit änderte und dass ein einzelner Schritt allein ausreichte, um die richtige Antwort zu erhalten.

Die Autoren erklären*:

‘Regulierungsrahmen für KI im Gesundheitswesen, in der Finanzwirtschaft und im Rechtswesen verlangen zunehmend “erklärbare” [Systeme]. Unsere Ergebnisse deuten darauf hin, dass der Standardansatz – die Aufforderung an das Modell, seine Arbeit zu zeigen – eine Illusion von Transparenz bietet.

‘Die Erklärungen sind flüssig, domänenangemessen und auf eine subtile Weise falsch: Sie beschreiben die Argumentation, die das Modell nicht durchgeführt hat.

‘Ein medizinisches KI-System, das “die Eosinophilie weist auf einen embolischen Prozess hin” schreibt, hat nicht unbedingt die Eosinophilie berücksichtigt. Es kann das Muster von der Fragestellung zur Antwort abgeglichen und die Argumentation danach erfunden haben.

‘Nach dem EU-KI-Gesetz (Artikel 13) muss ein Hochrisiko-KI-System “bedeutungsvolle Informationen über die beteiligte Logik” bereitstellen. Unsere Ergebnisse deuten darauf hin, dass Chain-of-Thought-Erklärungen der Mehrheit der Frontier-Modelle diesen Standard nicht erfüllen – die “beteiligte Logik” bei der Erreichung der Antwort ist nicht die Logik, die in der Erklärung beschrieben wird.’

Die Autoren bemerken, dass zwei der kleineren Modelle, die getestet wurden, den gemeinsamen Muster der Doppelzüngigkeit durchbrachen, aber nur unter sehr spezifischen Umständen: MiniMax-M25 zeigte echte schrittweise Abhängigkeit bei der Sentiment-Analyse, während Kimi-K25 eine echte 39%ige Notwendigkeit für CoT-Verarbeitung zeigte – aber nur bei der Themenklassifizierung.

In allen anderen Fällen, wie bei den größeren und bekannteren Modellen, schienen die dargestellten Argumentationsschritte völlig performativ zu sein, wobei die Modelle stattdessen Abkürzungen verwendeten.

Kleine Modelle bemühen sich mehr

Neben den zehn API-Modellen, die getestet wurden, testeten die Autoren auch eine Reihe von kleineren Open-Weight-Modellen^†, die zwischen 0,8 und 8 Milliarden Parametern lagen (was heutzutage ziemlich bescheiden ist), und fanden heraus, dass diese kleineren KI-Systeme tatsächlich argumentieren und dass die CoT, die sie zeigen, normalerweise – aber nicht immer – notwendig ist, um nützliche und genaue Schlussfolgerungen zu erreichen.

Die kleineren Modelle zeigten eine 55%ige Notwendigkeit für schrittweises Argumentieren, im Gegensatz zu durchschnittlich 11% bei den größeren Modellen, die, wie die Autoren behaupten, ‘gelernt haben, mehrschrittiges Argumentieren vollständig zu umgehen und durch interne Abkürzungen zu korrekten Antworten zu gelangen, die ihre geschriebenen Argumentationen nicht widerspiegeln’.

Die Autoren vermuten, dass je besser ein Modell eine Aufgabe ausführt, desto weniger benötigt es Argumentationsschritte (obwohl dies eine diplomatischere Interpretation des Konzepts ist, bei dem rationale Analyse zugunsten der stärksten Antwort in der Trainingsdatenverteilung aufgegeben wird)^††:

‘Kleine Modelle argumentieren auf mathematische Weise, weil sie mussten—sie verfügen nicht über die parametrigen Kenntnisse, um Abkürzungen zu nutzen.

‘Frontier-Modelle haben genug mathematische Muster internalisiert, dass explizite Chain-Argumentation redundant wird. Die CoT verbessert die Genauigkeit (indem sie die Generierung strukturiert), aber die einzelnen Schritte tragen keine einzigartigen Informationen mehr.’

Methode

Die Methode, die verwendet wurde, um die Modelle zu testen, basiert auf drei Kriterien:

Notwendigkeit entfernt jeden CoT-Schritt nacheinander und überprüft dann, ob die Antwort geändert wird. Jeder Schritt, dessen Entfernen die Antwort ändert, wird als “notwendig” gezählt; ausreichend isoliert jeden Schritt und überprüft, ob er allein die Antwort liefern kann, wobei jeder solche Schritt als ausreichend gezählt wird; und Reihenfolgeempfindlichkeit mischt die Schritte und beobachtet, ob die Antwort geändert wird (da echte Argumentation von der Reihenfolge abhängen sollte, anstatt von Schlüsselwörtern).

Zusammengenommen deuten hohe Notwendigkeit und niedrige Ausreichendheit auf echte schrittweise Argumentation hin, während niedrige Notwendigkeit und hohe Ausreichendheit auf Erklärungen hindeuten, die entfernt, umgestellt oder reduziert werden können, ohne die Antwort zu beeinflussen.

Die Autoren bemerken, dass diese Methode es vermeidet, Zugang zu den internen Modellstrukturen zu benötigen, da sie für nur wenige Dollar an geschlossenen, API-only-Modellen wie ChatGPT und Claude durchgeführt werden kann und genauso erfolgreich an Open-Weight-Modellen, die lokal installiert werden können.

Sie bemerken auch, dass vorherige Studien entweder Open-Weight-Modelle verwendeten, die interne Analysen ermöglichten, oder einfache, binäre Ja/Nein-Antworten verwendeten, die viel weniger über die internen Argumentationsprozesse eines API-Modells offenbaren.

Minimale Kosten

Die Autoren definieren echte Argumentation durch Notwendigkeit und Ausreichendheit, wobei hohe Notwendigkeit und niedrige Ausreichendheit darauf hindeuten, dass jeder Schritt einzigartiges Gewicht trägt. Umgekehrt zeigt dekorative Argumentation niedrige Notwendigkeit und hohe Ausreichendheit, was bedeutet, dass Schritte entfernt oder allein verwendet werden können, ohne die Antwort zu ändern.

Notwendigkeit allein, so erklären sie, kann dies verschleiern, da mehrere gültige Pfade existieren können. Daher wird Ausreichendheit verwendet, um zu überprüfen, ob ein einzelner Schritt allein das Ergebnis already kodiert, und Reihenfolgeempfindlichkeit überprüft, ob das Modell von der Reihenfolge abhängt und nicht von Oberflächenhinweisen.

Der Ansatz basiert auf dem Intervention-Consistent-Explanation-(ICE)-Framework, erfordert nur Text-in-Text-out-API-Zugriff und für eine sechsschrittige Chain beinhaltet 15 Bewertungen, die etwa 1–2 Dollar pro Modell kosten.

Das ICE-Framework klassifiziert das Modellverhalten durch Notwendigkeit und Ausreichendheit in drei Muster: Dekorativ zeigt niedrige Notwendigkeit und hohe Ausreichendheit, was bedeutet, dass Schritte redundant sind und die Antwort ohnehin erreicht würde; Wahrhaftig zeigt hohe Notwendigkeit und hohe Ausreichendheit, was bedeutet, dass jeder Schritt echte Signale trägt (und, wie bereits erwähnt, bei MiniMax-M2.5 bei Sentiment auftritt); und Kontextabhängig zeigt hohe Notwendigkeit und niedrige Ausreichendheit, was bedeutet, dass Schritte nur in Sequenz zusammenarbeiten.

Tests

Die zehn hauptsächlich API-only-Modelle, die mit dem überarbeiteten ICE-Ansatz getestet wurden, waren ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; und Nemotron-Ultra (253B Parameter).

Jedes Modell wurde auf vier Aufgaben getestet: Sentiment-Klassifizierung (mit (SST-2)); mathematische Wortprobleme (mit GSM8K); Themenklassifizierung (mit AG News); und medizinische Fragebeantwortung (mit (MedQA)). Die anfänglichen Tests waren auf Sentiment und Mathematik beschränkt:

Tests für zehn führende Sprachmodelle, die ihre Fähigkeit zur schrittweisen Argumentation bewerten. ‘Notwendigkeit’ verfolgt, ob das Entfernen eines Schritts die Antwort ändert; ‘Ausreichendheit’ überprüft, ob ein Schritt allein die Antwort liefern kann; und ‘Reihenfolge’ überprüft, ob die Reihenfolge wichtig ist. Die meisten Modelle liefern überzeugende, aber nicht wesentliche Erklärungen auf SST-2 und GSM8K, während MiniMax-M2.5 auf Sentiment stärker auf seine Schritte angewiesen ist. Sowohl MiniMax als auch Kimi-K2.5 zeigen echte schrittweise Argumentation auf AG News. Quelle

Die Autoren stellen fest:

‘Die Mehrheit der Modelle zeigt, was wir “Dekorative Argumentation” nennen (Lucky Steps in der ICE-Taxonomie) – ein Muster, bei dem die Notwendigkeit eines Schritts unter 17% und die Ausreichendheit über 60% bei beiden Sentiment und Mathematik liegt.

‘In einfachen Worten: Man kann jeden Argumentationsschritt entfernen und die Antwort ändert sich fast nie, doch jeder einzelne Schritt allein reicht aus, um die Antwort zu erhalten.’

Bei dem SST-2-Sentiment-Test hing ChatGPT5.4 fast nie von seiner geschriebenen Argumentation ab, da das Entfernen eines Schritts die Antwort in nur 0,1% von 500 Fällen änderte, was darauf hindeutet, dass die Erklärung nach der Entscheidung hinzugefügt wurde.

Claude Opus 4.6-R hing von seinen Schritten slightly mehr ab, bei 14,8%, aber 91% seiner Schritte allein konnten die Antwort noch liefern; daher waren seine längeren Erklärungen detaillierter, aber immer noch größtenteils “dekorativ”.

Die Forscher fügten dann die anderen Domänen hinzu und testeten erneut:

Schrittweises Argumentieren und Genauigkeit über vier Domänen: SST-2; GSM8K; AG News; und MedQA. Die meisten Modell-Domänen-Paare bleiben dekorativ, trotz hoher Genauigkeit, mit wenigen Ausnahmen: MiniMax-M2.5 und Kimi-K2.5 zeigen kontextabhängige oder echte schrittweise Argumentation auf AG News, während die Gesamtleistung bestätigt, dass geringe Treue nicht durch zufälliges Raten erklärt wird.

Die Autoren bemerken:

‘Die Ergebnisse über vier Domänen bestätigen die zentrale Erkenntnis: Dekorative Argumentation ist universell über Domänen für die Abkürzungsmodelle. Claude Opus zeigt 1,7% Notwendigkeit auf MedQA (486 Beispiele, 93,4% Genauigkeit) – das Modell schreibt detaillierte medizinische Argumentationsketten mit durchschnittlich 5,8 Schritten, doch das Entfernen eines Schritts ändert die Diagnose fast nie.’

AG News zeigte die größten Unterschiede zwischen den Modellen, wobei Kimi-K2.5 und MiniMax tatsächlich auf ihre schrittweise Argumentation angewiesen waren und die meisten anderen Systeme Erklärungen produzierten, die wenig Auswirkung auf die endgültige Antwort hatten.

DeepSeek-V3.2, das über alle vier Aufgaben getestet wurde, blieb dekorativ; trotz der längsten Erklärungen hingen seine Antworten selten von den Schritten ab.

Ausgabesteifigkeit

Die Tests deuteten auf ein viertes Phänomen hin, das die Autoren als Ausgabesteifigkeit bezeichneten: Einige Modelle sind einfach nicht geneigt, Argumentationsprozesse auszugeben, abhängig von der Aufgabe und möglicherweise von anderen Umständen. Unten sehen wir die Argumentation von Claude Opus, wenn es auf eine Frage zur medizinischen Status eines 61-jährigen Mannes antwortet; und darunter, was GPT-OSS-120B ausgibt:

Verbosity vs. Reticence.

Die Autoren bemerken, dass Ausgabesteifigkeit von der Aufgabe abhängt:

Über Aufgaben hinweg unterscheiden sich die Modelle stark darin, wie oft sie ihre Arbeit zeigen. Claude und DeepSeek produzieren mehrschrittige Erklärungen fast immer, unabhängig von der Domäne, im Gegensatz zu Qwen3.5-397B, das dies fast nie tut. Andere ändern ihr Verhalten je nach Aufgabe, wobei einige detaillierte Logikketten für Klassifizierung produzieren, aber viel weniger für medizinische Fragen.

Sie bemerken:

‘Die Modelle, die am wahrscheinlichsten interne Argumentation umgehen, sind auch diejenigen, die am wahrscheinlichsten externe Argumentation auslassen. GPT-OSS-120B produziert mehrschrittige Argumentation für 99% der Sentiment-Fragen und 100% der Themenklassifizierungsfragen – aber nur 38% der medizinischen Fragen. Bei 62% der medizinischen Anfragen gibt es nur ein einzelnes Antwortzeichen aus.’

Das Muster scheint nicht zufällig zu sein: GPT-OSS-120B produziert mehrschrittige Erklärungen für fast alle Sentiment- und Themenklassifizierungsfragen, aber wechselt zu einer einzelnen Antwort auf die meisten medizinischen Fragen (wo es normalerweise keine sichtbare Argumentation liefert).

Die Autoren vermuten, dass weil schrittweise Tests geschriebene Ketten erfordern, um sie zu analysieren, ein Modell, das in einem Token antwortet, nicht durch diese Methoden bewertet werden kann; die Abwesenheit externer Argumentation blockiert also die direkte Messung.

Das Papier schlussfolgert, dass Modelle, die für hochriskante Anwendungen ausgewählt werden, auf Treue sowie auf Genauigkeit getestet werden sollten, und schlagen vor, dass ein Modell, das 2% weniger genau ist, aber tatsächlich argumentiert, vorzuziehen sein könnte – nicht zuletzt, weil es EU- und andere aufkommende Vorschriften in Bezug auf erklärbares KI erfüllt. Derzeit, basierend auf den im Studium gefundenen Beweisen, “betrügen” fast alle LLMs, die CoT-fähig sind, fast immer.

Schlussfolgerung

Dies ist ein interessantes Papier, das umfangreichere Tests und Diskussionen zum Thema bietet, als wir hier besprechen können, und ich empfehle dem Leser, die Quellenmaterialien zu konsultieren.

Die zentrale Botschaft, die sich auf die Kontroversen des letzten Jahres bezieht, ist, dass die wichtigsten KI-Plattformen bereit sein könnten, scharf und unehrlich zu sein, was die Simulation von Standards angeht, die ihre Modelle noch nicht erfüllen können.

Weiterhin ist der Abstand zwischen der Größe und den Fähigkeiten von Open-Weight- und geschlossenen API-Modellen wie ChatGPT so groß, dass man normalerweise nicht vernünftigerweise die Effekte von geschlossenen Gewichten aus Open-Weight-Installationen ableiten kann, was die Undurchsichtigkeit dieser Prozesse und Standards vertieft.

Es ist jedoch selten, dass eine wirklich weiße Box-Testmethodik entsteht, die Open-Source- und geschlossene Modelle umfasst; aber wahre Abhilfen gegen “billige Tricks” dieser Art werden wahrscheinlich nur dann auftreten, wenn mächtige Körperschaften wie die EU die Gewinne großer KI-Portale bedrohen.

*Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

^† Das Papier gibt keine kohärente Liste dieser kleineren Modelle an und enthält zusätzliche Varianten eines Modells, was eine definitive Liste zu einer Frage der Deduktion macht.

^†† Autoren-Betonungen.

Erstveröffentlichung am Mittwoch, 25. März 2026