Les modèles d'IA donnent un aperçu de la façon dont le cerveau traite le langage

De nouvelles recherches du Massachusetts Institute of Technology suggèrent que la fonction sous-jacente des modèles informatiques de "prédiction du mot suivant" ressemble à la fonction des centres de traitement du langage dans le cerveau humain. 

Signification de la langue

Les modèles de langage prédictifs les plus récents pourraient apprendre quelque chose sur la signification sous-jacente du langage, ce qui constituerait un énorme pas en avant dans le domaine. Les modèles prédisent le mot qui vient ensuite, mais ils effectuent également des tâches qui nécessitent un certain degré de véritable compréhension. Ces tâches comprennent la réponse aux questions, la synthèse des documents et la rédaction de l'histoire. 

Les modèles ont été conçus pour optimiser les performances de prédiction de texte sans tenter d'imiter quoi que ce soit concernant la façon dont le cerveau humain comprend le langage. Cependant, l'équipe de neuroscientifiques du MIT suggère que quelque chose se passe à cet égard. 

L'un des enseignements les plus intéressants de cette recherche est que les modèles informatiques qui fonctionnent bien sur d'autres types de tâches langagières ne présentent pas cette similitude avec le cerveau humain. Ceci est considéré comme une preuve que le cerveau humain pourrait utiliser la prédiction du mot suivant pour effectuer le traitement du langage. 

Nancy Kanwisher est titulaire de la chaire Walter A. Rosenblith de neurosciences cognitives. Elle est également membre du McGovern Institute for Brain Research and Center for Brains, Minds, and Machines (CBMM) du MIT et auteur de l'étude.

"Plus le modèle prédit le mot suivant, plus il correspond au cerveau humain", explique Kanwisher. "C'est incroyable que les modèles s'adaptent si bien, et cela suggère très indirectement que ce que fait peut-être le système du langage humain prédit ce qui va se passer ensuite."

L'étude est apparue dans le Actes de l'Académie nationale des sciences. 

Il comprenait également les auteurs principaux Joshue Tenenbaum, professeur de sciences cognitives au MIT et membre du CBMM et de l'intelligence artificielle du MIT (CSAIL); et Eveline Fedorenko, Frederick A. et Carole J. Middleton Professeur associé en développement de carrière en neurosciences et membre du McGovern Institute. Le premier auteur de l'article était Martin Schrimpf, un étudiant diplômé du MIT. 

L'Étude

L'équipe du MIT a comparé les centres de traitement du langage dans le cerveau humain avec des modèles de traitement du langage. Ils ont analysé 43 modèles de langage différents, y compris ceux qui sont optimisés pour la prédiction du mot suivant, comme GPT-3. D'autres modèles ont été conçus pour effectuer différentes tâches linguistiques, comme remplir un blanc. 

Chaque modèle a été présenté avec une chaîne de mots, et les chercheurs ont mesuré l'activité des nœuds qui composent le réseau. Les modèles ont ensuite été comparés à l'activité dans le cerveau, qui a été mesurée chez des sujets effectuant trois tâches linguistiques : écouter des histoires, lire des phrases une à la fois et lire des phrases dans lesquelles un mot est révélé à la fois. 

Les ensembles de données humaines comprenaient des données de résonance magnétique fonctionnelle (fMRI) et des mesures électrocorticographiques intracrâniennes qui ont été prises chez des personnes subissant une chirurgie cérébrale pour l'épilepsie.

Les chercheurs ont découvert que les modèles de prédiction du mot suivant les plus performants avaient des modèles d'activité qui ressemblaient étroitement à ceux observés dans le cerveau humain. Ces mêmes modèles ont également démontré une activité hautement corrélée avec des mesures de mesures comportementales humaines telles que la vitesse à laquelle les gens peuvent lire le texte.

« Nous avons constaté que les modèles qui prédisent bien les réponses neuronales ont également tendance à mieux prédire les réponses comportementales humaines, sous la forme de temps de lecture. Et puis les deux sont expliqués par les performances du modèle sur la prédiction du mot suivant. Ce triangle relie vraiment tout ensemble », explique Schrimpf.

Les chercheurs vont maintenant chercher à créer des variantes des modèles de traitement du langage, ce qui pourrait leur permettre de voir comment de petits changements dans leur architecture affectent les performances et leur capacité à s'adapter aux données neuronales humaines.