Les capacités de raisonnement analogique de l’IA : un défi à l’intelligence humaine ?

Le raisonnement analogique, cette capacité unique que les humains possèdent pour résoudre des problèmes inconnus en établissant des parallèles avec des problèmes connus, a longtemps été considéré comme une fonction cognitive distinctivement humaine. Cependant, une étude révolutionnaire menée par des psychologues de l’UCLA présente des résultats convaincants qui pourraient nous amener à reconsidérer cela.

GPT-3 : égalant l’intellect humain ?

Les recherches de l’UCLA ont révélé que GPT-3, un modèle de langage d’IA développé par OpenAI, démontre des capacités de raisonnement presque équivalentes à celles d’étudiants de premier cycle, notamment lorsqu’il s’agit de résoudre des problèmes similaires à ceux rencontrés dans les tests d’intelligence et les examens standardisés comme le SAT. Cette révélation, publiée dans la revue Nature Human Behaviour, soulève une question intrigante : GPT-3 imite-t-il la raison humaine en raison de son vaste ensemble de données de formation de langage, ou utilise-t-il un processus cognitif entièrement nouveau ?

Les mécanismes exacts de GPT-3 restent cachés par OpenAI, laissant les chercheurs de l’UCLA curieux du mécanisme derrière ses capacités de raisonnement analogique. Malgré les performances louables de GPT-3 dans certaines tâches de raisonnement, l’outil n’est pas sans défauts. Taylor Webb, l’auteur principal de l’étude et chercheur postdoctoral à l’UCLA, a noté : « Même si nos résultats sont impressionnants, il est essentiel de souligner que ce système a des contraintes importantes. GPT-3 peut effectuer un raisonnement analogique, mais il a du mal avec des tâches triviales pour les humains, telles que l’utilisation d’outils pour une tâche physique. »

Les capacités de GPT-3 ont été mises à l’épreuve à l’aide de problèmes inspirés des matrices progressives de Raven – un test impliquant des séquences de formes complexes. En convertissant les images en un format texte que GPT-3 pouvait déchiffrer, Webb a veillé à ce que ces défis soient entièrement nouveaux pour l’IA. Lorsqu’on l’a comparé à 40 étudiants de premier cycle de l’UCLA, non seulement GPT-3 a-t-il égalé les performances humaines, mais il a également reproduit les erreurs humaines. Le modèle d’IA a résolu avec précision 80 % des problèmes, dépassant la moyenne humaine tout en restant dans la fourchette des meilleures performances humaines.

L’équipe a également testé les capacités de GPT-3 en utilisant des questions d’analogie non publiées du SAT, avec l’IA surpassant la moyenne humaine. Cependant, elle a légèrement vacillé lorsqu’elle a tenté d’établir des analogies à partir de courtes histoires, même si le modèle GPT-4 plus récent a montré des résultats améliorés.

Pont entre l’IA et la cognition humaine

Les chercheurs de l’UCLA ne s’arrêtent pas aux seules comparaisons. Ils ont entrepris de développer un modèle informatique inspiré de la cognition humaine, comparant constamment ses capacités avec celles des modèles d’IA commerciaux. Keith Holyoak, professeur de psychologie à l’UCLA et co-auteur, a déclaré : « Notre modèle d’IA psychologique a surpassé les autres dans les problèmes d’analogie jusqu’à la dernière mise à jour de GPT-3, qui a affiché des capacités supérieures ou équivalentes. »

Cependant, l’équipe a identifié certaines zones où GPT-3 était en retard, notamment dans les tâches nécessitant une compréhension de l’espace physique. Dans les défis impliquant l’utilisation d’outils, les solutions de GPT-3 étaient nettement erronées.

Hongjing Lu, l’auteur principal de l’étude, a exprimé son étonnement face aux bonds en avant de la technologie au cours des deux dernières années, en particulier dans la capacité de l’IA à raisonner. Mais la question de savoir si ces modèles « pensent » vraiment comme les humains ou s’ils imitent simplement la pensée humaine est toujours débattue. La quête de connaissances sur les processus cognitifs de l’IA nécessite un accès au backend des modèles d’IA, un saut qui pourrait façonner la trajectoire future de l’IA.

Partageant le même sentiment, Webb conclut : « L’accès au backend des modèles GPT bénéficierait énormément aux chercheurs en IA et en cognition. Actuellement, nous sommes limités aux entrées et aux sorties, et cela manque de la profondeur décisive que nous visons. »