La raison de la chaîne de pensée prouvée « décorative » dans les principaux modèles de langage

De nouvelles recherches offrent un moyen facile de déterminer que les explications polies et étape par étape de tous les principaux modèles de langage AI actuels – y compris ChatGPT et Claude – ne sont que « décoratives » et sont généralement inventées après que l’AI a décidé de la réponse.

L’an dernier, une série d’études de haute visibilité menées par des entreprises spécialisées dans l’IA, notamment Anthropic et Apple, ont indiqué que les soi-disant « IA de raisonnement » produisent souvent des explications étape par étape qui ne reflètent pas ce qui a réellement informé leurs réponses.

Pour diverses raisons, le débat a rapidement dégénéré en réponses cinglantes et interprétations diverses (y compris sur ce site), laissant sans réponse la question de savoir si la raison de la chaîne de pensée (CoT) est juste un ornement cosmétique conçu pour rassurer les utilisateurs finals, ou la preuve d’un véritable processus de raisonnement.

ChatGPT ‘montre son travail’ – mais a-t-il déjà décidé de la réponse?

Montre et dis

Maintenant, un nouvel article intéressant de l’Inde propose une méthode facile et reproductible pour déterminer si ces impressions « d’animations de déduction » dans les interfaces de ChatGPT et d’autres principaux modèles de langage (LLM) indiquent vraiment que l’IA travaille à travers les étapes pour parvenir à une conclusion.

La nouvelle recherche provient de deux chercheurs de l’Indian Institute of Information Technology Allahabad (IIITA) à Allahabad et du National Institute of Electronics and Information Technology (NIELIT) à Delhi.

Les auteurs ont constaté que dans presque tous les cas, sur une large gamme de modèles de langage propriétaires et open-source, la raison de la chaîne de pensée présentée aux utilisateurs est « décorative », inventée après que l’IA a conclu la réponse qu’elle présentera.

En testant les likes de ChatGPT5.4, Claude Opus 4.6-R et DeepSeek-V3.2, les auteurs ont constaté que la suppression de n’importe quelle étape des 10-15 indications de CoT présentées a changé la réponse moins de 17 % du temps, et qu’une seule étape, seule, était suffisante pour récupérer la bonne réponse.

Les auteurs déclarent*:

‘Les cadres réglementaires pour l’IA dans les soins de santé, la finance et le droit exigent de plus en plus des systèmes « explicables ». Nos résultats suggèrent que l’approche standard – demander au modèle de montrer son travail – fournit une illusion de transparence.

‘Les explications sont fluides, appropriées au domaine et fausses d’une manière subtile: elles décrivent un raisonnement que le modèle n’a pas effectué.

‘Un modèle d’IA médicale qui écrit “l’éosinophilie suggère un processus embolique” n’a pas nécessairement considéré l’éosinophilie. Il peut avoir fait correspondre le motif à partir de la tige de la question à la réponse et confabulé le raisonnement par la suite.

‘Selon le règlement de l’UE sur l’IA (article 13), un système d’IA à haut risque doit fournir des « informations significatives sur la logique impliquée ». Nos résultats suggèrent que les explications de la chaîne de pensée des principaux modèles ne répondent pas à cette norme – la « logique impliquée » pour parvenir à la réponse n’est pas la logique décrite dans l’explication.’

Les auteurs observent que deux des plus petits modèles testés ont rompu le modèle commun de duplicité, mais seulement dans des circonstances très particulières: MiniMax-M25 a démontré une véritable dépendance étape par étape lorsqu’il s’agissait d’ analyse des sentiments, tandis que Kimi-K25 a montré une véritable nécessité de 39 % pour le traitement de la chaîne de pensée – mais seulement lorsqu’il s’agissait de classification de sujet.

Dans tous les autres cas, comme pour les modèles plus grands et mieux connus, les étapes de raisonnement présentées semblaient être entièrement performatives, les modèles utilisant plutôt des raccourcis.

Les petits modèles s’efforcent davantage

En plus des dix modèles d’API testés, les auteurs ont également testé un certain nombre de modèles open-weight plus petits^†, allant de 0,8 à 8 milliards de paramètres (ce qui est assez modeste de nos jours), et ont constaté que ces petits modèles d’IA raisonnent réellement et que la chaîne de pensée qu’ils montrent est généralement – bien que pas toujours – nécessaire pour parvenir à des conclusions utiles et précises.

Les petits modèles ont démontré un besoin de 55 % pour le raisonnement étape par étape, par opposition à la moyenne de 11 % pour les modèles plus grands, qui, selon les auteurs, ‘ont appris à contourner complètement le raisonnement multi-étapes, en arrivant à des réponses correctes grâce à des raccourcis internes que leur raisonnement écrit ne reflète pas’.

Les auteurs posent l’hypothèse que plus un modèle est performant pour une tâche, moins il a besoin d’étapes de raisonnement (bien que cela soit une interprétation plus diplomatique du concept d’abandon de l’analyse rationnelle en faveur de la réponse la plus forte dans la distribution des données d’entraînement)^††:

‘Les petits modèles raisonnent fidèlement en mathématiques parce qu’ils doivent—ils manquent de connaissances paramétriques pour contourner.

‘Les modèles de pointe ont internalisé suffisamment de modèles mathématiques pour que la chaîne de pensée explicite devienne redondante. La chaîne de pensée améliore toujours la précision (en structurant la génération), mais les étapes individuelles ne portent plus d’informations uniques.’

Méthode

La méthode utilisée pour tester les modèles est basée sur trois critères:

Nécessité supprime chaque étape de la chaîne de pensée à tour de rôle, puis vérifie si la réponse change. Toute étape dont la suppression modifie la réponse est considérée comme « nécessaire »; Suffisance isole chaque étape, puis vérifie si elle seule peut encore produire la réponse, toute étape qui peut le faire étant considérée comme suffisante; et Sensibilité à l’ordre mélange les étapes, puis observe si la réponse change (puisque un véritable raisonnement devrait dépendre de la séquence et non de mots clés).

Ensemble, une nécessité élevée et une suffisance faible indiquent un véritable raisonnement étape par étape, tandis qu’une nécessité faible et une suffisance élevée indiquent des explications qui peuvent être supprimées, réorganisées ou réduites sans affecter le résultat.

Les auteurs notent que cette méthode élimine tout besoin d’accès à la boîte blanche du modèle, puisqu’elle peut être effectuée pour quelques dollars sur des modèles d’API fermés tels que ChatGPT et Claude, et, naturellement, tout aussi bien sur des modèles à poids ouvert qui peuvent être installés localement.

Ils notent également que les études antérieures ont soit utilisé des modèles à poids ouvert qui ont facilité l’analyse interne, soit utilisé des réponses plus simples et binaires oui/non qui révèlent moins de processus de raisonnement internes de l’API.

Coûts minimaux

Les auteurs définissent un véritable raisonnement par nécessité et suffisance, avec une nécessité élevée et une suffisance faible indiquant que chaque étape porte un poids unique. À l’inverse, un raisonnement décoratif montre une nécessité faible et une suffisance élevée, ce qui signifie que les étapes peuvent être supprimées ou utilisées seules sans changer la réponse.

Nécessité à elle seule, disent-ils, peut obscurcir cela, puisque plusieurs chemins valides peuvent exister. Par conséquent, suffisance est utilisée pour vérifier si une seule étape encode déjà le résultat, et sensibilité à l’ordre vérifie si le modèle dépend de la séquence et non de signaux de surface.

L’approche s’appuie sur le cadre d’explication cohérent avec l’intervention (ICE), nécessite seulement un accès API texte-entrée, texte-sortie, et pour une chaîne de six étapes, cela implique 15 évaluations, à un coût d’environ 1 à 2 dollars par modèle.

Le cadre ICE classe le comportement du modèle en fonction de nécessité et suffisance en trois modèles: Decorative montre une nécessité faible et une suffisance élevée, ce qui signifie que les étapes sont redondantes et que la réponse serait atteinte de toute façon. Cela domine la plupart des modèles et des tâches; Truly Faithful montre une nécessité élevée et une suffisance élevée, ce qui signifie que chaque étape porte un signal réel (et, comme mentionné plus tôt, cela apparaît dans MiniMax-M2.5 sur le sentiment); et Context Dependent montre une nécessité élevée et une suffisance faible, ce qui signifie que les étapes ne fonctionnent qu’ensemble dans une séquence (ce qui apparaît dans Kimi-K2.5 et MiniMax sur la classification de sujet, et dans les petits modèles, lorsqu’ils traitent des mathématiques).

Tests

Les dix modèles d’API principalement testés avec l’approche ICE révisée étaient ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; et Nemotron-Ultra (253 milliards de paramètres).

Chaque modèle a été testé sur quatre tâches: classification de sentiments (en utilisant (SST-2)); problèmes mathématiques (en utilisant GSM8K); classification de sujet (en utilisant AG News); et questions-réponses médicales (en utilisant (MedQA)). Les tests initiaux portaient sur Sentiment et Mathématiques:

Tests pour dix principaux modèles de langage, évaluant la façon dont ils gèrent le raisonnement étape par étape. ‘Nécessité’ suit si la suppression d’une étape change la réponse; ‘suffisance’ vérifie si une seule étape peut encore produire la réponse; et ‘mélange’ vérifie si l’ordre compte. La plupart des modèles donnent des explications convaincantes mais non essentielles sur SST-2 et GSM8K, tandis que MiniMax-M2.5 s’appuie davantage sur ses étapes pour le sentiment. Les deux MiniMax et Kimi-K2.5 montrent un raisonnement étape par étape plus réel sur la classification de sujet. Source

Les auteurs déclarent:

‘La majorité des modèles présentent ce que nous appelons “Decorative Reasoning” (Lucky Steps dans la taxonomie ICE) – un modèle où la nécessité d’étape est inférieure à 17 % et la suffisance d’étape dépasse 60 % à la fois pour le sentiment et les mathématiques.

‘En langage clair: vous pouvez supprimer n’importe quelle étape de raisonnement et la réponse change presque jamais, pourtant n’importe quelle étape seule peut encore produire la réponse.’

Sur le test de sentiment SST-2, GPT-5.4 a rarement utilisé son raisonnement écrit, puisque la suppression d’une étape a changé la réponse dans seulement 0,1 % des 500 cas, indiquant que l’explication a été ajoutée après que la décision ait été prise.

Claude Opus 4.6-R s’est appuyé davantage sur ses étapes, à 14,8 %, mais 91 % de ses étapes seules pouvaient encore produire la réponse; par conséquent, ses explications plus longues étaient plus détaillées, mais toujours principalement « ornamentales ».

Par la suite, les chercheurs ont ajouté les autres domaines et ont testé à nouveau:

Fidélité au niveau de l’étape et précision à travers quatre domaines: SST-2; GSM8K; AG News; et MedQA. La plupart des paires modèle-tâche restent ‘décoratives’ malgré une précision élevée, avec quelques exceptions: MiniMax-M2.5 et Kimi-K2.5 affichent un raisonnement contextuel ou étape par étape sur AG News, tandis que les performances globales confirment que la faible fidélité n’est pas due à des suppositions aléatoires.

Les auteurs observent:

‘Les résultats à quatre domaines renforcent la découverte centrale: le raisonnement décoratif est universel à travers les domaines pour les modèles qui prennent des raccourcis. Claude Opus montre 1,7 % de nécessité sur MedQA (486 exemples, 93,4 % de précision) – le modèle écrit des chaînes de raisonnement médical détaillées avec une moyenne de 5,8 étapes, pourtant la suppression de n’importe quelle étape change presque jamais le diagnostic.’

AG News a montré les plus grandes différences entre les modèles, avec Kimi-K2.5 et MiniMax s’appuyant réellement sur leur raisonnement étape par étape, et la plupart des autres systèmes produisant des explications qui n’ont que peu d’effet sur la réponse finale.

DeepSeek-V3.2, testé sur toutes les quatre tâches, est resté décoratif tout au long; malgré avoir écrit les explications les plus longues, ses réponses dépendaient rarement des étapes.

Rigidité de la sortie

Les tests ont indiqué un quatrième phénomène en jeu, que les auteurs ont appelé rigidité de la sortie: certains modèles sont simplement réticents à sortir des processus de raisonnement, en fonction également du sujet, et possiblement d’autres circonstances. En dessous, nous voyons le raisonnement de Claude Opus lorsqu’il répond à une question sur l’état médical d’un homme de 61 ans; et en dessous, ce que GPT-OSS-120B a sorti:

Verbosité vs. réticence.

Les auteurs notent que la rigidité de la sortie est dépendante de la tâche:

À travers les tâches, les modèles diffèrent fortement dans la fréquence à laquelle ils choisissent de ‘montrer leur travail’. Claude et DeepSeek produisent des explications multi-étapes presque chaque fois, quelle que soit le domaine, contrairement à Qwen3.5-397B, qui le fait rarement. D’autres modèles changent leur comportement en fonction de la tâche, certains produisant des chaînes logiques détaillées pour la classification, mais beaucoup moins pour les questions médicales.

Ils observent:

‘Les modèles les plus susceptibles de contourner le raisonnement internement sont également ceux les plus susceptibles d’omettre le raisonnement externement. GPT-OSS-120B produit des explications multi-étapes pour 99 % des questions de sentiment et 100 % des questions de classification de sujet – mais seulement 38 % des questions médicales. Sur 62 % des questions médicales, il produit une réponse avec une seule lettre.’

Le modèle ne semble pas être aléatoire: GPT-OSS-120B produit des explications multi-étapes pour presque toutes les questions de sentiment et de classification de sujet, mais passe à une réponse avec une seule lettre pour la plupart des questions médicales (où il ne fournit généralement aucune raison visible).

Les auteurs hypothèsent que puisque les tests au niveau de l’étape nécessitent des chaînes écrites pour analyser, un modèle qui répond avec un seul jeton ne peut pas être évalué par ces méthodes; l’absence de raisonnement externe bloque donc la mesure directe.

Le document conclut que les modèles sélectionnés pour des applications à haut risque doivent être testés pour fidélité ainsi que pour précision, et suggèrent qu’un modèle qui est 2 % moins précis, mais qui raisonne réellement, peut être préférable – ne serait-ce que parce qu’il satisfait les réglementations de l’UE et d’autres réglementations émergentes en matière d’IA explicables. Pour l’instant, sur la base des preuves trouvées dans l’étude, presque tous les LLM capables de chaîne de pensée « trichent », presque tout le temps

Conclusion

Ceci est un article intéressant qui propose des tests et des discussions plus approfondis sur le sujet que nous n’avons pas la place de couvrir ici, et je vous recommande de consulter le matériel source.

Le message central, qui fait suite aux controverses de l’an dernier, est que les principales plateformes d’IA à haut risque pourraient être prêtes à s’écarter fortement et de manière déloyale des normes qu’elles ne peuvent pas encore atteindre.

De plus, l’écart entre l’échelle et les capacités des modèles à poids ouvert et des modèles d’API fermés tels que ChatGPT est si important que, en général, on ne peut pas raisonnablement en déduire les effets des modèles à poids fermés à partir d’installations à poids ouvert, ce qui accroît l’opacité de ces processus et normes.

Cependant, il est rare qu’une méthodologie de test en boîte blanche réellement émerge qui puisse englober à la fois les modèles à poids ouvert et les modèles à poids fermés; mais de véritables remèdes à des « astuces bon marché » de ce type ne se produiront probablement que lorsque des organismes puissants comme l’UE menaceront les lignes de fond des principaux portails d’IA.

*Ma conversion des citations en ligne des auteurs en hyperliens.

^† Le document ne divulgue pas une liste cohérente de ces petits modèles, et inclut des variantes supplémentaires d’un modèle, ce qui rend une liste définitive une question de déduction.

^†† Emphases des auteurs.

Publié pour la première fois mercredi 25 mars 2026