Les chatbots d’IA luttent pour comprendre le langage

L’avènement des chatbots d’intelligence artificielle (IA) a transformé les expériences de conversation, apportant des progrès qui semblent parallèles à la compréhension et à l’utilisation du langage humain. Ces chatbots, alimentés par des modèles de langage importants, deviennent habiles à naviguer dans les complexités de l’interaction humaine.

Cependant, une étude récente étude a mis en lumière la vulnérabilité persistante de ces modèles pour distinguer le langage naturel du non-sens. L’enquête menée par des chercheurs de l’Université de Columbia présente des insights intrigants sur les améliorations potentielles des performances des chatbots et du traitement du langage humain.

L’enquête sur les modèles de langage

L’équipe a élaboré sur leur recherche impliquant neuf différents modèles de langage soumis à de nombreuses paires de phrases. Les participants humains dans l’étude ont été invités à discerner la phrase la plus « naturelle » dans chaque paire, reflétant l’utilisation quotidienne. Les modèles ont ensuite été évalués en fonction de leur accord avec les choix humains.

Lorsque les modèles ont été opposés les uns aux autres, ceux basés sur les réseaux de neurones transformateurs ont montré de meilleures performances par rapport aux modèles de réseaux de neurones récurrents plus simples et aux modèles statistiques. Cependant, même les modèles les plus sophistiqués ont démontré des erreurs, sélectionnant souvent des phrases perçues comme non sensibles par les humains.

La lutte contre les phrases non sensées

Le Dr Nikolaus Kriegeskorte, investigateur principal à l’Institut Zuckerman de Columbia, a souligné le succès relatif des grands modèles de langage pour capturer les aspects cruciaux manqués par les modèles plus simples. Il a noté : « Que même les meilleurs modèles que nous avons étudiés puissent encore être trompés par des phrases non sensées montre que leurs calculs manquent de quelque chose sur la façon dont les humains traitent le langage. »

Un exemple frappant de l’étude a mis en évidence des modèles comme BERT qui surestiment la naturalité des phrases, contrastant avec des modèles comme GPT-2, qui s’accordent avec les jugements humains. Les imperfections prévalantes dans ces modèles, comme l’a noté Christopher Baldassano, Ph.D., professeur adjoint de psychologie à Columbia, soulèvent des préoccupations concernant la confiance en les systèmes d’IA dans les processus de prise de décision, attirant l’attention sur leurs « points aveugles » apparents dans l’étiquetage des phrases.

Implications et directions futures

Les lacunes dans les performances et l’exploration de pourquoi certains modèles excellent plus que d’autres sont des domaines d’intérêt pour le Dr Kriegeskorte. Il croit que la compréhension de ces disparités peut considérablement propulser les progrès dans les modèles de langage.

L’étude ouvre également des voies pour explorer si les mécanismes des chatbots d’IA peuvent déclencher de nouvelles enquêtes scientifiques, aidant les neuroscientifiques à déchiffrer les complexités du cerveau humain.

Tal Golan, Ph.D., l’auteur correspondant de l’article, a exprimé son intérêt pour comprendre les processus de pensée humaine, compte tenu des capacités croissantes des outils d’IA dans le traitement du langage. « La comparaison de leur compréhension du langage avec la nôtre nous donne une nouvelle approche pour réfléchir à la façon dont nous pensons », a-t-il commenté.

L’exploration des capacités linguistiques des chatbots d’IA a révélé les défis persistants pour aligner leur compréhension sur la cognition humaine.

Les efforts continus pour creuser ces différences et les révélations qui en découlent sont prêts non seulement à améliorer l’efficacité des chatbots d’IA mais également à dévoiler les nombreuses couches des processus cognitifs humains.

La juxtaposition de la compréhension du langage basée sur l’IA et de la cognition humaine pose les fondements pour des explorations multifacettes, pouvant potentiellement remodeler les perceptions et faire progresser les connaissances dans les domaines interconnectés de l’IA et des neurosciences.