Les modèles d’IA fournissent des informations sur la façon dont le cerveau traite le langage

De nouvelles recherches menées par le Massachusetts Institute of Technology suggèrent que la fonction sous-jacente des modèles de prédiction de mots suivants ressemble à la fonction des centres de traitement du langage dans le cerveau humain.

Sens du langage

Les modèles de langage prédictifs les plus récents pourraient apprendre quelque chose sur le sens sous-jacent du langage, ce qui serait un énorme progrès dans le domaine. Les modèles prédisent le mot qui vient ensuite, mais ils effectuent également des tâches qui nécessitent un certain degré de compréhension réelle. Ces tâches incluent la réponse aux questions, la synthèse de documents et la complétion d’histoires.

Les modèles ont été conçus pour optimiser les performances de prédiction de texte sans essayer de reproduire quoi que ce soit concernant la façon dont le cerveau humain comprend le langage. Cependant, l’équipe de neuroscientifiques du MIT suggère que quelque chose se passe à cet égard.

L’une des découvertes les plus intéressantes de cette recherche est que les modèles informatiques qui fonctionnent bien sur d’autres types de tâches de langage ne montrent pas cette similitude avec le cerveau humain. Cela est considéré comme une preuve que le cerveau humain pourrait utiliser la prédiction de mots suivants pour effectuer le traitement du langage.

Nancy Kanwisher est professeur de neurosciences cognitives Walter A. Rosenblith. Elle est également membre de l’Institut de recherche sur le cerveau McGovern du MIT et du Centre pour les cerveaux, les esprits et les machines (CBMM), et auteur de l’étude.

“Plus le modèle est bon pour prédire le mot suivant, plus il correspond étroitement au cerveau humain”, déclare Kanwisher. “C’est incroyable que les modèles correspondent si bien, et cela suggère indirectement que peut-être ce que fait le système linguistique humain, c’est prédire ce qui va se passer ensuite.”

L’étude a été publiée dans les Proceedings de l’Académie nationale des sciences.

Elle comprenait également des auteurs principaux, Joshue Tenenbaum, professeur de sciences cognitives au MIT et membre du CBMM et de l’intelligence artificielle (CSAIL) du MIT ; et Eveline Fedorenko, professeure associée de neurosciences et membre de l’Institut de recherche sur le cerveau McGovern. Le premier auteur de l’article était Martin Schrimpf, un étudiant diplômé du MIT.

L’étude

L’équipe du MIT a comparé les centres de traitement du langage dans le cerveau humain avec les modèles de traitement du langage. Ils ont analysé 43 modèles de langage différents, notamment ceux qui sont optimisés pour la prédiction de mots suivants, tels que GPT-3. D’autres modèles ont été conçus pour effectuer des tâches de langage différentes, telles que le remplissage d’un espace vide.

Chaque modèle a été présenté avec une chaîne de mots, et les chercheurs ont mesuré l’activité des nœuds qui composent le réseau. Les modèles ont ensuite été comparés à l’activité dans le cerveau, qui ont été mesurés chez des sujets effectuant trois tâches de langage : écouter des histoires, lire des phrases une à une et lire des phrases avec un mot révélé à la fois.

Les ensembles de données humains comprenaient des données de résonance magnétique fonctionnelle (fMRI) et des mesures électrocortiques intracraniennes prises chez des personnes subissant une chirurgie du cerveau pour l’épilepsie.

Les chercheurs ont constaté que les modèles de prédiction de mots suivants les plus performants présentaient des modèles d’activité qui ressemblaient étroitement à ceux observés dans le cerveau humain. Ces mêmes modèles ont également démontré une activité fortement corrélée avec les mesures de réponses comportementales humaines, telles que la vitesse à laquelle les gens peuvent lire le texte.

“Nous avons constaté que les modèles qui prédisent bien les réponses neuronales correspondent également aux réponses comportementales humaines, sous la forme de temps de lecture. Et les deux sont expliqués par les performances du modèle sur la prédiction de mots suivants. Ce triangle relie vraiment tout”, déclare Schrimpf.

Les chercheurs vont maintenant essayer de construire des variantes des modèles de traitement du langage, qui pourraient leur permettre de voir comment de petits changements dans leur architecture affectent les performances et leur capacité à correspondre aux données neuronales humaines.