Capacités de raisonnement analogique de l'IA : défier l'intelligence humaine ?

Le raisonnement analogique, la capacité unique que possèdent les humains à résoudre des problèmes inconnus en établissant des parallèles avec des problèmes connus, a longtemps été considéré comme une fonction cognitive humaine distinctive. Cependant, une étude révolutionnaire menée par des psychologues de l'UCLA présente des résultats convaincants qui pourraient nous pousser à repenser cela.

GPT-3 : Correspondre à l'intellect humain ?

La recherche de l'UCLA a révélé que GPT-3, un modèle de langage d'IA développé par OpenAI, démontre des capacités de raisonnement presque équivalentes à celles des étudiants de premier cycle, en particulier lorsqu'ils sont chargés de résoudre des problèmes similaires à ceux rencontrés dans les tests d'intelligence et les examens standardisés comme le SAT. Cette révélation, publiée dans la revue Comportement humain de nature, soulève une question intrigante : GPT-3 émule-t-il le raisonnement humain en raison de son vaste ensemble de données de formation linguistique, ou exploite-t-il un processus cognitif entièrement nouveau ?

Le fonctionnement exact de GPT-3 reste caché par OpenAI, laissant les chercheurs de l'UCLA curieux du mécanisme derrière ses capacités de raisonnement analogique. Malgré les performances louables de GPT-3 sur certaines tâches de raisonnement, l'outil n'est pas sans défauts. Taylor Webb, auteur principal de l'étude et chercheur postdoctoral à l'UCLA, a noté : « Bien que nos résultats soient impressionnants, il est essentiel de souligner que ce système présente des contraintes importantes. GPT-3 peut effectuer un raisonnement analogique, mais il se débat avec des tâches triviales pour les humains, telles que l'utilisation d'outils pour une tâche physique.

Les capacités de GPT-3 ont été mises à l'épreuve à l'aide de problèmes inspirés des matrices progressives de Raven, un test impliquant des séquences de formes complexes. En convertissant les images en un format texte que GPT-3 pouvait déchiffrer, Webb s'est assuré qu'il s'agissait de défis entièrement nouveaux pour l'IA. Comparé à 40 étudiants de premier cycle de l'UCLA, non seulement GPT-3 correspondait aux performances humaines, mais il reflétait également les erreurs commises par les humains. Le modèle d'IA a résolu avec précision 80 % des problèmes, dépassant le score humain moyen tout en se situant dans la fourchette des meilleurs performances humaines.

L'équipe a en outre sondé les prouesses de GPT-3 à l'aide de questions d'analogie SAT non publiées, l'IA surpassant la moyenne humaine. Cependant, il a légèrement faibli lors de la tentative de tirer des analogies à partir d'histoires courtes, bien que le nouveau modèle GPT-4 ait montré des résultats améliorés.

Combler le fossé entre l'intelligence artificielle et la cognition humaine

Les chercheurs de l'UCLA ne s'arrêtent pas à de simples comparaisons. Ils se sont lancés dans le développement d'un modèle informatique inspiré de la cognition humaine, juxtaposant constamment ses capacités avec des modèles commerciaux d'IA. Keith Holyoak, professeur de psychologie à l'UCLA et co-auteur, a fait remarquer : "Notre modèle d'IA psychologique surpassait les autres dans les problèmes d'analogie jusqu'à la dernière mise à jour de GPT-3, qui affichait des capacités supérieures ou équivalentes."

Cependant, l'équipe a identifié certains domaines où GPT-3 était à la traîne, en particulier dans les tâches nécessitant une compréhension de l'espace physique. Dans les défis impliquant l'utilisation d'outils, les solutions de GPT-3 étaient nettement à côté de la plaque.

Hongjing Lu, l'auteur principal de l'étude, s'est dit émerveillé par les avancées technologiques au cours des deux dernières années, en particulier par la capacité de raisonnement de l'IA. Mais la question de savoir si ces modèles «pensent» véritablement comme les humains ou imitent simplement la pensée humaine reste à débattre. La quête d'informations sur les processus cognitifs de l'IA nécessite l'accès au backend des modèles d'IA, un saut qui pourrait façonner la trajectoire future de l'IA.

Faisant écho à ce sentiment, Webb conclut : « L'accès au backend des modèles GPT profiterait énormément aux chercheurs en IA et en cognition. Actuellement, nous sommes limités aux entrées et aux sorties, et il manque la profondeur décisive à laquelle nous aspirons.