Модели ИИ предоставляют информацию о том, как мозг обрабатывает язык

Новые исследования, проводимые в Массачусетском технологическом институте, предполагают, что основная функция вычислительных моделей «предсказания следующего слова» напоминает функцию центров обработки языка в человеческом мозге.

Значение языка

Самые новые предсказательные языковые модели могут учиться чему-то о базовом значении языка, что будет огромным шагом вперед в этой области. Модели предсказывают слово, которое появляется следующим, но они также выполняют задачи, требующие определенной степени настоящего понимания. Эти задачи включают ответы на вопросы, суммирование документов и завершение истории.
Модели были разработаны для оптимизации производительности при предсказании текста без попытки имитировать что-либо, связанное с тем, как человеческий мозг понимает язык. Однако команда нейробиологов из Массачусетского технологического института предполагает, что что-то происходит в этом отношении.
Одним из более интересных прозрений этого исследования является то, что компьютерные модели, которые хорошо выполняют другие типы языковых задач, не показывают это сходство с человеческим мозгом. Это рассматривается как доказательство того, что человеческий мозг может использовать предсказание следующего слова для выполнения обработки языка.
Нэнси Канвisher является профессором когнитивной нейробиологии Уолтера А. Розенблита. Она также является членом Института исследования мозга Макговерна в Массачусетском технологическом институте и Центра мозга, умов и машин (CBMM), и является автором исследования.
“Чем лучше модель предсказывает следующее слово, тем ближе она соответствует человеческому мозгу”, – говорит Канвisher. “Удивительно, что модели соответствуют так хорошо, и это очень косвенно предполагает, что, может быть, то, что делает человеческая языковая система, – это предсказание того, что произойдет дальше”.
Исследование было опубликовано в Proceedings of the National Academy of Sciences.
В исследовании также приняли участие старшие авторы Джошуа Тененбаум, профессор когнитивной науки в Массачусетском технологическом институте и член CBMM и Массачусетского технологического института Искусственного интеллекта (CSAIL); и Эвелина Федоренко, профессор нейробиологии Фредерика А. и Карол Дж. Миддлтона и член Института Макговерна. Первым автором статьи был Мартин Шримпф, аспирант Массачусетского технологического института.

Исследование

Команда Массачусетского технологического института сравнила центры обработки языка в человеческом мозге с языковыми моделями обработки. Они проанализировали 43 разных языковых модели, включая те, которые оптимизированы для предсказания следующего слова, такие как GPT-3. Другие модели были разработаны для выполнения различных языковых задач, таких как заполнение пробела.
Каждая модель была представлена строкой слов, и исследователи измерили активность узлов, составляющих сеть. Затем закономерности были сравнены с активностью в мозге, которая была измерена у субъектов, выполняющих три языковые задачи: слушание историй, чтение предложений по одному и чтение предложений, в которых одно слово открывается за раз.
Человеческие наборы данных включали функциональные магнитно-резонансные (фМРТ) данные и интракраниальные электрокортиографические измерения, которые были взяты у людей, проходящих операцию на мозге из-за эпилепсии.
Исследователи обнаружили, что лучшие модели предсказания следующего слова имели закономерности активности, которые близко напоминали те, которые наблюдались в человеческом мозге. Те же модели также продемонстрировали активность, которая была тесно связана с мерами человеческого поведенческого реагирования, например, с тем, как быстро люди могут прочитать текст.
“Мы обнаружили, что модели, которые хорошо предсказывают нейронные ответы, также лучше предсказывают человеческое поведенческое реагирование, в форме времени чтения. И тогда оба этих фактора объясняются производительностью модели при предсказании следующего слова. Этот треугольник действительно соединяет все вместе”, – говорит Шримпф.
Исследователи теперь будут работать над созданием вариантов языковых моделей обработки, которые позволят им увидеть, как небольшие изменения в их архитектуре влияют на производительность и их способность соответствовать человеческим нейронным данным.