言語処理モデルは脳が言語を処理する方法についての洞察を提供する

マサチューセッツ工科大学からの新しい研究によると、次の単語の予測の計算モデルは、人間の脳の言語処理センターの機能と似ていることが示唆されている。

言語の意味

最新の予測言語モデルは、言語の根本的な意味について学習している可能性があり、これはこの分野における大きな進歩となる。モデルは次の単語を予測するだけでなく、質問回答、文書要約、ストーリーの完成などのタスクを実行する。これらのタスクには、ある程度の真正の理解が必要である。

モデルは、人間の脳が言語を理解する方法を模倣しようとしないで、テキストの予測を最適化するように設計された。しかし、MITの神経科学者チームは、ある種の関連性があることを示唆している。

この研究の1つの興味深い洞察は、他のタイプの言語タスクで優れているコンピューターモデルは、人間の脳と同じような類似性を見せないことである。これは、人間の脳が言語処理を行うために次の単語の予測を使用している可能性があることを示唆している。

ナンシー・カンウィッシャーは、ウォルター・A・ローゼンブリース教授の認知神経科学者であり、MITのマクガバン脳研究所とブレインズ・マインズ・アンド・マシーンズ（CBMM）のメンバーであり、この研究の著者である。

「モデルが次の単語を予測する能力が高いほど、人間の脳と同じように機能する」とカンウィッシャーは言う。「モデルが人間の脳とどれほどよく一致するかは驚くべきことであり、間接的に言語システムが次に何が起こるかを予測している可能性があることを示唆している。」

この研究は、米国科学アカデミー紀要に掲載された。

この研究には、ジョシュア・テネンバウム教授、MITの認知科学教授であり、CBMMとMITのコンピュータ科学および人工知能研究所（CSAIL）のメンバーであり、エヴェリン・フェドレンコ、フレデリック・A・およびキャロル・J・ミドルトン・キャリア開発教授であり、神経科学者であり、マクガバン脳研究所のメンバーである。論文の第一著者は、マーティン・シュリンプフ、MITの大学院生である。

研究

MITチームは、人間の脳の言語処理センターと言語処理モデルを比較した。彼らは、GPT-3などの次の単語の予測に最適化された43種類の言語モデルを分析した。他のモデルは、空欄を埋めるなどの異なる言語タスクを実行するように設計された。

各モデルは、単語の列に提示され、ノードのネットワークの活動を測定した。パターンは、3つの言語タスク（ストーリーを聞く、1つずつ文を読む、1つずつ単語を読む）を実行する被験者の脳の活動と比較された。

人間のデータセットには、てんかんの脳外科手術を受ける人の機能的磁気共鳴画像法（fMRI）データと、脳内電気生理学的測定値が含まれた。

研究者は、次の単語の予測で優れているモデルが、人間の脳とよく似た活動パターンを持っていることを発見した。これらのモデルは、人間の行動の尺度であるテキストの読み取り時間と密接に関連している活動も示した。

「次の単語の予測で優れているモデルは、人間の脳の活動をよく予測する」とシュリンプフは言う。「そして、これらはすべて、次の単語の予測のパフォーマンスによって説明される。三角形がすべてを結び付ける。」

研究者は、言語処理モデルのバリアントを構築することを目指しており、これにより、モデルのアーキテクチャの小さな変更がパフォーマンスと人間の神経データへの適合性にどのように影響するかを調べることができる。