Моделі штучного інтелекту дають уявлення про те, як мозок обробляє мову

Нові дослідження в Масачусетському технологічному інституті свідчать, що основна функція обчислювальних моделей «передбачення наступного слова» нагадує функцію мовних центрів людини в мозку.

Значення мови

Найновішчі передбачувальні мовні моделі можуть вивчати щось про основне значення мови, що було б величезним кроком вперед у цій галузі. Моделі передбачають слово, яке йде далі, але вони також виконують завдання, які вимагають певного рівня справжнього розуміння. До цих завдань належать відповідаючи на питання, підсумовування документів та завершення історії.

Моделі були розроблені для оптимізації продуктивності при передбаченні тексту без спроби наслідувати щось щодо того, як людський мозок розуміє мову. Однак команда нейробіологів з MIT вважає, що відбувається щось цікаве.

Одним з найцікавіших висновків цього дослідження є те, що комп’ютерні моделі, які добре працюють на інших типах мовних завдань, не демонструють цієї схожості з людським мозком. Це розглядається як доказ того, що людський мозок може використовувати передбачення наступного слова для виконання мовної обробки.

Ненсі Канвisher – професор когнітивної нейробіології імені Волтера А. Розенбліта. Вона також член Інституту досліджень мозку Макговерна та Центру мозку, розуму та машин (CBMM) у MIT, а також авторка дослідження.

“Чим краще модель передбачає наступне слово, тим ближче вона підходить до людського мозку”, – говорить Канвisher. “Дуже цікаво, що моделі так добре підходять, і це дуже непрямо свідчить про те, що людська мовна система, можливо, передбачає, що станеться далі.”

Дослідження було опубліковано у виданні Proceedings of the National Academy of Sciences.

До нього також увійшли старші автори Джошуа Тененбаум, професор когнітивної науки у MIT та член CBMM та CSAIL; і Евеліна Федоренко, асистент професора нейробіології та член Інституту Макговерна. Першим автором статті був Мартін Шрімпф, аспірант MIT.

Дослідження

Команда MIT порівняла мовні центри у людському мозку з мовними моделями. Вони проаналізували 43 різні мовні моделі, включаючи ті, які оптимізовані для передбачення наступного слова, наприклад GPT-3. Інші моделі були розроблені для виконання різних мовних завдань, таких як заповнення пробілів.

Кожна модель була представлена рядком слів, і дослідники вимірювали активність вузлів, які складають мережу. Згодом ці закономірності були порівняні з активністю мозку, яку вимірювали у суб’єктів, які виконували три мовні завдання: слухання історій, читання речень по одному та читання речень, у яких одне слово відкривається одночасно.

Дані людських досліджень включали функціональні магнітно-резонансні (фМРТ) дані та інтрацеребральні електрокортиографічні вимірювання, які були зроблені у людей, які проходили операцію на мозку через епілепсію.

Дослідники виявили, що найкращі моделі передбачення наступного слова мали закономірності активності, які дуже нагадували ті, що спостерігалися в людському мозку. Ці самі моделі також демонстрували активність, яка була високо корельована з заходами людської поведінки, такими як швидкість читання тексту.

“Ми виявили, що моделі, які добре передбачають нейронні реакції, також добре передбачають реакції людської поведінки у вигляді часу читання. І обидва ці показники пояснюються продуктивністю моделі при передбаченні наступного слова. Це трикутник дійсно з’єднує все разом”, – говорить Шрімпф.

Дослідники тепер планують створити варіанти мовних моделей обробки, які дозволять їм побачити, як дрібні зміни в їхній архітектурі впливають на продуктивність та їхню здатність підходити до людських нейронних даних.