Le déplacement neurosymbolique : Pourquoi les LLM purs atteignent leurs limites

L’industrie de l’IA connaît un changement significatif qui n’est pas encore largement reconnu. Alors que les grands modèles de langage (LLM) continuent de dominer le domaine, une nouvelle approche émerge discrètement. Cette approche, appelée ici LLM neurosymboliques, permet aux LLM basés sur les réseaux de neurones d’utiliser un raisonnement symbolique pour effectuer les tâches. Contrairement aux LLM purs, qui s’appuient uniquement sur les capacités de reconnaissance de modèles des réseaux de neurones, les LLM neurosymboliques convertissent d’abord les instructions en langage naturel en programmes symboliques, puis utilisent des interpréteurs symboliques externes, tels que des interpréteurs de langage de programmation, pour les exécuter. Cette intégration améliore la capacité du modèle à gérer des tâches complexes, offrant une meilleure précision, transparence et interprétabilité. Dans cet article, nous allons explorer les raisons derrière le déplacement croissant vers les LLM neurosymboliques.

Le mythe de la mise à l’échelle se décompose

La promesse clé de l’ère des LLM purs était simple : des modèles plus grands produiraient de meilleurs résultats. L’idée était que, avec plus de données et de puissance de calcul, l’IA pourrait produire de meilleurs résultats. Cette théorie a fonctionné pendant un certain temps, mais les développements récents ont montré ses limites. Un exemple récent est Grok 4, qui a utilisé 100 fois la puissance de calcul de son prédécesseur, mais n’a pas montré d’améliorations significatives sur des benchmarks difficiles comme Humanity’s Last Exam. Même si Grok 4 a performé mieux dans certaines zones, les gains ont été nettement inférieurs aux attentes. Cependant, lorsque des outils symboliques ont été intégrés dans ces modèles, les performances ont été améliorées de manière spectaculaire. Cela suggère que la mise à l’échelle seule n’est pas la clé pour améliorer les performances de l’IA et que l’approche neurosymbolique a le potentiel de surpasser les LLM purs.

Les limites des réseaux de neurones purs

Les LLM purs ont des faiblesses inhérentes qui ne peuvent pas être surmontées par la mise à l’échelle. Ces limites découlent de la façon dont les LLM sont construits à l’aide de réseaux de neurones, qui s’appuient principalement sur la reconnaissance de modèles. Même si cela est efficace dans de nombreux contextes, leur dépendance à la reconnaissance de modèles et l’absence de capacités de raisonnement restreignent leur capacité à effectuer des tâches complexes qui nécessitent une compréhension plus profonde ou une inférence logique. Par exemple, lorsque des chercheurs d’Apple ont ajouté des clauses non pertinentes à des problèmes mathématiques, les LLM de pointe ont vu une baisse de précision allant jusqu’à 65 %. Dans l’étude GSM-Symbolic, les LLM ont performé mal lorsqu’ils ont été confrontés à des nombres mélangés ou à des clauses supplémentaires, même avec des entrées visuelles parfaites.

Un autre exemple de cette faille est visible dans la construction de mots croisés. ChatGPT, qui ne peut pas comprendre les codes, a des difficultés avec des tâches telles que la construction de grilles. Cela l’a amené à faire des erreurs simples, telles que reconnaître “RCRCT” comme un mot valide. En revanche, o3 d’OpenAI, qui utilise des codes symboliques, peut créer des grilles de mots croisés correctement. Cela montre que les LLM purs ne peuvent pas exécuter de manière fiable des processus algorithmiques, distinguer la corrélation de la causalité ou maintenir une cohérence logique dans des tâches de raisonnement à plusieurs étapes.

L’essor de l’IA symbolique : Précision logique plutôt que reconnaissance de modèles

L’IA symbolique utilise un système transparent et basé sur des règles qui est plus facile à comprendre et à vérifier. Contrairement aux réseaux de neurones, qui sont souvent opaques, les systèmes symboliques fournissent des chemins de raisonnement clairs de l’entrée à la conclusion. Cela rend l’IA symbolique idéale pour les applications qui nécessitent de la transparence et de la responsabilité.

Les systèmes symboliques sont également plus efficaces. Par exemple, l’apprenant de concepts neurosymboliques Concept Learner atteint une grande précision en utilisant seulement 10 % des données requises par les réseaux de neurones traditionnels. Plus important encore, les systèmes symboliques peuvent fournir des explications lisibles par l’homme pour chaque décision, ce qui est crucial pour des domaines comme la santé, la finance et le droit.

Des études récentes montrent l’efficacité des approches symboliques dans des tâches telles que le problème de la tour de Hanoï, où des modèles comme o3 ont performé mieux lorsqu’ils utilisaient des codes symboliques. De même, l’apprenant de règles abductives avec prise de conscience du contexte (ARLC) a démontré une précision quasi parfaite dans des problèmes arithmétiques, tandis que les LLM purs ont eu du mal à atteindre même 10 % de précision à mesure que les problèmes devenaient plus complexes.

La demande croissante pour une IA explicative

À mesure que les réglementations sur les systèmes d’IA augmentent, la demande pour une IA explicative et transparente va croître. Des secteurs comme la santé, la finance et le droit nécessitent des systèmes d’IA qui puissent expliquer leur raisonnement. L’IA neurosymbolique est particulièrement bien adaptée pour répondre à ces besoins. L’Acte sur l’IA de l’Union européenne et des réglementations similaires poussent les entreprises à adopter des systèmes d’IA qui démontrent de la responsabilité et de la transparence.

De plus, les tendances d’investissement se déplacent vers des systèmes d’IA qui peuvent équilibrer les performances avec l’explicabilité. Les entreprises qui valorisent à la fois l’innovation et la confiance trouvent les systèmes neurosymboliques, avec leur capacité supérieure à expliquer les décisions, de plus en plus attractifs.

L’amélioration de la fiabilité de l’IA avec l’intégration neurosymbolique

Même si les LLM purs ont progressé de manière significative, leur fiabilité reste une préoccupation, en particulier dans des domaines à enjeux élevés comme la santé, le droit et la finance. Cette fiabilité découle de la dépendance des LLM à l’égard des modèles et des probabilités, ce qui peut conduire à des sorties imprévisibles et à des erreurs. Les LLM neurosymboliques, qui combinent les réseaux de neurones avec un raisonnement symbolique, offrent une solution. En utilisant la logique pour vérifier et organiser les informations, les LLM peuvent s’assurer que les réponses générées sont à la fois précises et fiables. Cela peut réduire les erreurs, améliorer la transparence et maintenir la cohérence dans les sorties. Cette approche pourrait être particulièrement précieuse dans des secteurs critiques, en améliorant la confiance dans les systèmes d’IA. Un exemple de cette approche, le modèle GraphRAG, montre comment combiner ces technologies peut améliorer à la fois la créativité et la précision.

Les LLM neurosymboliques en action

Les LLM neurosymboliques ont montré des performances remarquables dans la résolution de défis complexes. Les systèmes de Google DeepMind, tels que AlphaFold, AlphaProof et AlphaGeometry, combinent les LLM avec un raisonnement symbolique pour atteindre des résultats exceptionnels dans le pliage de protéines, la preuve de théorèmes mathématiques et la résolution de problèmes géométriques. Ils utilisent des techniques de raisonnement symbolique telles que la recherche et l’itération conditionnelle, que les réseaux de neurones traditionnels avaient abandonnées. De plus, les modèles modernes utilisent de plus en plus des règles symboliques pour l’augmentation de données, montrant que le raisonnement symbolique devient une partie clé des systèmes d’IA de pointe.

Les défis et les opportunités

Même si les LLM neurosymboliques ont fait des progrès significatifs, il reste encore beaucoup de travail à faire. Les implémentations actuelles, telles que l’ajout d’interpréteurs de code aux LLM, offrent des capacités fonctionnelles, mais elles ne constituent pas encore une solution complète pour répondre aux exigences de l’intelligence artificielle générale (AGI). Le véritable défi est de développer des systèmes où les composants neuronaux et symboliques travaillent ensemble de manière transparente, en permettant aux machines de raisonner et de comprendre le monde comme les humains. L’un des objectifs futurs des LLM neurosymboliques est de leur permettre de s’intégrer dynamiquement avec différents modes de raisonnement sans perdre de cohérence. Cela les rendra capables de raisonner différemment dans différentes situations. Cependant, cela nécessite de nouvelles architectures qui puissent utiliser le raisonnement symbolique aux côtés des réseaux de neurones.

Le point clé

L’essor de l’IA neurosymbolique est un changement de paradigme dans le développement de l’intelligence artificielle. Même si les LLM traditionnels ont prouvé leur efficacité dans de nombreux domaines, ils sont limités par leur dépendance à la reconnaissance de modèles et leur manque de capacités de raisonnement. L’approche neurosymbolique émergente, qui combine les LLM avec un raisonnement symbolique, offre des avantages significatifs en termes de précision, de transparence et d’interprétabilité. Les systèmes neurosymboliques excellent dans les tâches qui nécessitent un raisonnement complexe, une précision logique et une explicabilité. Ces qualités sont de plus en plus importantes dans des industries réglementées comme la santé, la finance et le droit. Avec la demande croissante pour la transparence et la responsabilité de l’IA, l’IA neurosymbolique devient une solution critique pour développer des systèmes plus fiables et compréhensibles. Cependant, des défis restent pour intégrer pleinement les composants neuronaux et symboliques, et l’innovation continue sera nécessaire pour créer des systèmes capables de raisonnement dynamique à travers plusieurs modes.