AIモデルは、脳が言語を処理する方法に関する洞察を提供する

マサチューセッツ工科大学からの新しい研究によると、‘次の単語の予測’計算モデルにおける基本的な機能は、人間の脳における言語処理センターの機能に似ている。

言語の意味

最新の予測言語モデルは、言語の根本的な意味について何かを学習している可能性があり、これはこの分野における大きな進歩となる。モデルは次の単語を予測するだけでなく、質問に答えたり、文書を要約したり、物語を完成させたりするなどのタスクを実行する。これらのタスクには、ある程度の真正の理解が必要である。
モデルは、人間の脳が言語を理解する方法を模倣しようとせずに、テキストの予測を最適化するように設計された。しかし、MITの神経科学者チームは、この点で何かが起こっていることを示唆している。
この研究の1つの興味深い洞察は、他のタイプの言語タスクで優れたパフォーマンスを示すコンピューターモデルは、人間の脳と同じような類似性を示さないことである。これは、人間の脳が言語処理を行うために次の単語の予測を使用している可能性があることを示唆している。
ナンシー・カンウィッシャーは、ウォルター・A・ローゼンブリース認知神経科学教授であり、MITのマクガバン脳研究所と脳、心、機械センター（CBMM）のメンバーでもあり、この研究の著者である。
“モデルが次の単語を予測する能力が高くなるほど、人間の脳に近くなります。モデルが人間の脳に非常に近いのは驚きです。これは、間接的に、人間の言語システムが何が起こるかを予測している可能性があることを示唆しています。”とカンウィッシャーは述べている。
この研究は、米国科学アカデミー紀要に掲載された。
この研究には、MITの認知科学教授であり、CBMMとMITのコンピュータサイエンスおよび人工知能研究所（CSAIL）のメンバーであるジョシュア・テネンバウム氏、およびマクガバン脳研究所のフレデリック・A・およびキャロル・J・ミドルトンキャリア開発准教授であるエベリン・フェドレンコ氏が共同研究者として参加した。論文の第一著者は、MITの大学院生であるマーティン・シュリンプフ氏であった。

研究

MITのチームは、人間の脳における言語処理センターと言語処理モデルを比較検討した。次の単語の予測に最適化されたGPT-3を含む43種類の言語モデルを分析した。他のモデルは、空欄を埋めるなどの異なる言語タスクを実行するように設計されていた。
各モデルは単語の文字列を提示され、ネットワークを構成するノードの活動を測定した。パターンは、3つの言語タスク（物語を聞く、1回に1文ずつ読む、1回に1単語ずつ読む）を実行する被験者からの脳活動と比較された。
人間のデータセットには、てんかんの脳外科手術を受ける人から得られた機能的磁気共鳴画像法（fMRI）データと頭皮内電図測定が含まれた。
研究者は、次の単語の予測を最もよく行うモデルは、人間の脳で見られるパターンに近い活動パターンを持っていることを発見した。これらのモデルはまた、テキストを読む速度などの人間の行動尺度と高度に相関する活動も示した。
“次の単語の予測がうまくいくモデルは、人間の脳の神経応答を予測するのにも優れています。さらに、読み取り時間などの人間の行動応答も予測します。両方とも、モデル性能によって説明されます。この三角形は、すべてをまとめるものです。”とシュリンプフは述べている。
研究者は、今後、言語処理モデルのバリエーションを構築することで、モデルのアーキテクチャの小さな変更がパフォーマンスや人間の神経データとの適合性にどのように影響するかを調べる予定である。