Les LLM ne raisonnent pas – Ils sont juste très bons pour planifier

Les grands modèles de langage (LLM) tels que OpenAI’s o3, Google’s Gemini 2.0 (GOOGL ) et DeepSeek’s R1 ont montré des progrès remarquables dans la résolution de problèmes complexes, la génération de textes similaires à ceux des humains et même la rédaction de code avec précision. Ces LLM avancés sont souvent appelés « modèles de raisonnement » pour leurs capacités remarquables à analyser et résoudre des problèmes complexes. Mais ces modèles raisonnent-ils vraiment, ou sont-ils simplement exceptionnellement bons pour planifier ? Cette distinction est subtile mais profonde, et elle a des implications majeures sur la façon dont nous comprenons les capacités et les limites des LLM.

Pour comprendre cette distinction, comparons deux scénarios :

• Raisonnement : Un détective enquêtant sur un crime doit rassembler des preuves contradictoires, déduire lesquelles sont fausses et arriver à une conclusion basée sur des preuves limitées. Ce processus implique l’inférence, la résolution de contradictions et la pensée abstraite.
• Planification : Un joueur d’échecs calculant la meilleure séquence de coups pour mettre son adversaire en échec.

Bien que les deux processus impliquent plusieurs étapes, le détective s’engage dans un raisonnement profond pour faire des inférences, évaluer les contradictions et appliquer des principes généraux à un cas spécifique. Le joueur d’échecs, en revanche, s’engage principalement dans la planification, en sélectionnant une séquence optimale de coups pour gagner la partie. Les LLM, comme nous allons le voir, fonctionnent beaucoup plus comme le joueur d’échecs que comme le détective.

Comprendre la différence : Raisonnement vs Planification

Pour comprendre pourquoi les LLM sont bons pour planifier plutôt que pour raisonnement, il est important de comprendre d’abord la différence entre les deux termes. Le raisonnement est le processus de dérivation de nouvelles conclusions à partir de prémisses données en utilisant la logique et l’inférence. Il implique l’identification et la correction des incohérences, la génération de nouvelles idées plutôt que de simplement fournir des informations, la prise de décision dans des situations ambiguës et l’engagement dans la compréhension causale et la pensée contre-factuelle comme les scénarios « Et si ? ».

La planification, en revanche, se concentre sur la structuration d’une séquence d’actions pour atteindre un objectif spécifique. Elle repose sur la division de tâches complexes en étapes plus petites, le suivi de stratégies de résolution de problèmes connues, l’adaptation de modèles appris précédemment à des problèmes similaires et l’exécution de séquences structurées plutôt que la dérivation de nouvelles idées. Bien que le raisonnement et la planification impliquent tous deux un traitement étape par étape, le raisonnement nécessite une abstraction et une inférence plus profondes, tandis que la planification suit des procédures établies sans générer de connaissances fondamentalement nouvelles.

Comment les LLM abordent le « raisonnement »

Les LLM modernes, tels que OpenAI’s o3 et DeepSeek-R1, sont équipés d’une technique appelée Chain-of-Thought (CoT) pour améliorer leurs capacités de résolution de problèmes. Cette méthode encourage les modèles à diviser les problèmes en étapes intermédiaires, imitant la façon dont les humains réfléchissent logiquement à un problème. Pour voir comment cela fonctionne, considérons un simple problème de mathématiques :

Si un magasin vend des pommes à 2 $ chacune, mais offre une réduction de 1 $ par pomme si vous achetez plus de 5 pommes, combien coûteraient 7 pommes ?

Un LLM typique utilisant CoT pourrait résoudre ce problème comme suit :

1. Déterminez le prix régulier : 7 * 2 $ = 14 $.
2. Identifiez que la réduction s’applique (puisque 7 > 5).
3. Calculez la réduction : 7 * 1 $ = 7 $.
4. Soustrayez la réduction du total : 14 $ – 7 $ = 7 $.

En explicitant une séquence d’étapes, le modèle minimise les chances d’erreurs qui surviennent lorsqu’il tente de prédire une réponse en une seule fois. Bien que cette décomposition étape par étape fasse des LLM ressembler à des modèles de raisonnement, il s’agit essentiellement d’une forme de résolution de problèmes structurée, similaire à suivre une recette étape par étape. En revanche, un véritable processus de raisonnement pourrait reconnaître une règle générale : Si la réduction s’applique au-delà de 5 pommes, alors chaque pomme coûte 1 $. Un humain peut déduire une telle règle immédiatement, mais un LLM ne le peut pas, car il suit simplement une séquence structurée de calculs.

Pourquoi Chain-of-Thought est de la planification, et non du raisonnement

Bien que Chain-of-Thought (CoT) ait amélioré les performances des LLM sur des tâches orientées logique comme les problèmes de mathématiques et les défis de codage, il ne s’agit pas d’un véritable raisonnement logique. En effet, CoT suit des connaissances procédurales, en s’appuyant sur des étapes structurées plutôt que sur la génération de nouvelles idées. Il manque une véritable compréhension de la causalité et des relations abstraites, ce qui signifie que le modèle ne s’engage pas dans la pensée contre-factuelle ou ne considère pas des scénarios hypothétiques qui nécessitent une intuition au-delà des données vues. De plus, CoT ne peut pas fondamentalement changer son approche au-delà des modèles sur lesquels il a été formé, limitant sa capacité à raisonner de manière créative ou à s’adapter dans des scénarios inhabituels.

Que faudrait-il pour que les LLM deviennent de véritables machines de raisonnement ?

Alors, qu’est-ce que les LLM ont besoin pour raisonner vraiment comme les humains ? Voici quelques domaines clés où ils nécessitent des améliorations et des approches potentielles pour y parvenir :

1. Compréhension symbolique : Les humains raisonnent en manipulant des symboles et des relations abstraits. Les LLM, cependant, manquent d’un mécanisme de raisonnement symbolique réel. L’intégration de l’IA symbolique ou de modèles hybrides qui combinent les réseaux de neurones avec des systèmes de logique formelle pourrait améliorer leur capacité à s’engager dans un véritable raisonnement.
2. Inférence causale : Le véritable raisonnement nécessite la compréhension de la cause et de l’effet, et non seulement des corrélations statistiques. Un modèle qui raisonne doit déduire des principes sous-jacents à partir des données plutôt que de simplement prédire le prochain jeton. La recherche sur l’IA causale, qui modélise explicitement les relations de cause à effet, pourrait aider les LLM à passer de la planification au raisonnement.
3. Réflexion sur soi et Métacognition : Les humains évaluent constamment leurs propres processus de pensée en se demandant « Est-ce que cette conclusion a du sens ? » Les LLM, en revanche, n’ont pas de mécanisme pour la réflexion sur soi. La construction de modèles qui peuvent évaluer de manière critique leurs propres sorties serait un pas vers le véritable raisonnement.
4. Bon sens et intuition : Même si les LLM ont accès à une grande quantité de connaissances, ils ont souvent du mal avec le raisonnement de bon sens. Cela se produit parce qu’ils n’ont pas d’expériences du monde réel pour façonner leur intuition, et ils ne peuvent pas facilement reconnaître les absurdités que les humains remarqueraient immédiatement. Ils manquent également d’un moyen de faire entrer la dynamique du monde réel dans leur processus de prise de décision. Une façon d’améliorer cela pourrait consister à construire un modèle avec un moteur de bon sens, qui pourrait impliquer l’intégration de données sensorielles du monde réel ou l’utilisation de graphes de connaissances pour aider le modèle à mieux comprendre le monde comme les humains le font.
5. Pensée contre-factuelle : Le raisonnement humain implique souvent de se demander « Et si les choses étaient différentes ? » Les LLM ont du mal avec ces types de scénarios « Et si » parce qu’ils sont limités par les données sur lesquelles ils ont été formés. Pour que les modèles pensent comme les humains dans ces situations, ils devraient simuler des scénarios hypothétiques et comprendre comment les changements dans les variables peuvent affecter les résultats. Ils devraient également avoir un moyen de tester différentes possibilités et de générer de nouvelles idées, plutôt que de simplement prédire sur la base de ce qu’ils ont déjà vu. Sans ces capacités, les LLM ne peuvent pas vraiment imaginer des futurs alternatifs – ils ne peuvent que travailler avec ce qu’ils ont appris.

Conclusion

Bien que les LLM puissent sembler raisonner, ils s’appuient en réalité sur des techniques de planification pour résoudre des problèmes complexes. Que ce soit pour résoudre un problème de mathématiques ou pour s’engager dans une déduction logique, ils organisent principalement des modèles connus de manière structurée plutôt que de comprendre profondément les principes qui les sous-tendent. Cette distinction est cruciale dans la recherche en IA, car si nous confondons une planification sophistiquée avec un véritable raisonnement, nous risquons de surestimer les véritables capacités de l’IA.

La voie vers un véritable raisonnement IA nécessitera des avancées fondamentales au-delà de la prédiction de jetons et de la planification probabiliste. Cela exigera des percées dans la logique symbolique, la compréhension causale et la métacognition. Jusqu’alors, les LLM resteront des outils puissants pour la résolution de problèmes structurés, mais ils ne penseront pas vraiment comme les humains.