人工智能模型揭示大脑如何处理语言

麻省理工学院的最新研究表明，‘下一个词预测’计算模型的底层功能与人类大脑的语言处理中心功能相似。

语言的意义

最新的预测语言模型可能正在学习语言的底层意义，这将是该领域的一个巨大进步。这些模型预测下一个词，但它们也执行需要一定程度的真正理解的任务。这些任务包括回答问题、文档摘要和故事完成。

这些模型是为优化预测文本的性能而设计的，而不是尝试模仿人类大脑理解语言的任何方面。然而，麻省理工学院的神经科学家团队建议，在这方面发生了某些事情。

该研究的一个更有趣的见解是，执行其他类型语言任务的计算机模型不显示这种与人类大脑的相似性。这被视为人类大脑可能使用下一个词预测来执行语言处理的证据。

纳ンシ·坎威舍（Nancy Kanwisher）是认知神经科学的沃尔特·A·罗森布利斯教授（Walter A. Rosenblith Professor），也是麻省理工学院的麦戈文脑研究所（McGovern Institute for Brain Research）和脑、思维和机器（Center for Brains, Minds, and Machines，CBMM）成员，并且是该研究的作者。

“模型预测下一个词的能力越好，它就越能拟合人类大脑，”坎威舍说。“模型拟合得如此之好，间接地表明人类语言系统可能正在预测接下来会发生什么。”

该研究发表在《国家科学院院刊》（Proceedings of the National Academy of Sciences）上。

该研究还包括来自麻省理工学院认知科学教授、CBMM和麻省理工学院计算机科学和人工智能实验室（CSAIL）成员乔舒亚·特内鲍姆（Joshua Tenenbaum）和来自麦戈文脑研究所的神经科学弗雷德里克·A·和卡罗尔·J·米德尔顿职业发展副教授埃维琳·费多伦科（Eveline Fedorenko）的共同作者。论文的第一作者是麻省理工学院的研究生马丁·施里姆普夫（Martin Schrimpf）。

研究

麻省理工学院的团队比较了人类大脑的语言处理中心和语言处理模型。他们分析了43种不同的语言模型，包括那些针对下一个词预测进行优化的模型，如GPT-3。其他模型的设计目的是执行不同的语言任务，例如填空。

每个模型都被呈现一个单词序列，研究人员测量组成网络的节点的活动，模式然后与大脑的活动进行比较，大脑的活动是在执行三个语言任务时测量的：听故事、一次读一句话和一次读一个词。

人类数据集包括功能性磁共振成像（fMRI）数据和来自接受癫痫脑外科手术的人的颅内电皮层图测量数据。

研究人员发现，表现最佳的下一个词预测模型具有与人类大脑中看到的模式非常相似的活动模式。这些模型还表现出高度相关的活动，与人类行为测量标准（如人们阅读文本的速度）有关。

“我们发现，预测神经反应良好的模型也往往更好地预测人类行为反应，以阅读时间的形式呈现。然后，这两者都被模型在下一个词预测上的性能所解释。这个三角形将一切联系在一起，”施里姆普夫说。

研究人员现在将努力构建语言处理模型的变体，这可能使他们能够看到其架构中小的变化如何影响其性能和拟合人类神经数据的能力。