KI-Modelle geben Einblicke in die Art und Weise, wie das Gehirn Sprache verarbeitet

Neue Forschungsergebnisse des Massachusetts Institute of Technology legen nahe, dass die zugrunde liegende Funktion von Rechenmodellen zur Vorhersage des nächsten Wortes der Funktion von Sprachverarbeitungszentren im menschlichen Gehirn ähnelt. 

Bedeutung der Sprache

Die neuesten prädiktiven Sprachmodelle könnten etwas über die zugrunde liegende Bedeutung von Sprache lernen, was einen großen Fortschritt auf diesem Gebiet bedeuten würde. Die Modelle sagen das nächste Wort voraus, führen aber auch Aufgaben aus, die ein gewisses Maß an echtem Verständnis erfordern. Zu diesen Aufgaben gehören die Beantwortung von Fragen, die Zusammenfassung von Dokumenten und die Vervollständigung der Geschichte. 

Die Modelle wurden entwickelt, um die Leistung bei der Vorhersage von Text zu optimieren, ohne zu versuchen, irgendetwas darüber nachzuahmen, wie das menschliche Gehirn Sprache versteht. Das MIT-Neurowissenschaftlerteam geht jedoch davon aus, dass in dieser Hinsicht etwas passiert. 

Eine der interessanteren Erkenntnisse dieser Forschung ist, dass Computermodelle, die bei anderen Arten von Sprachaufgaben gut funktionieren, diese Ähnlichkeit mit dem menschlichen Gehirn nicht aufweisen. Dies gilt als Beweis dafür, dass das menschliche Gehirn die Vorhersage des nächsten Wortes nutzen könnte, um die Sprachverarbeitung durchzuführen. 

Nancy Kanwisher ist Walter A. Rosenblith-Professorin für kognitive Neurowissenschaften. Sie ist außerdem Mitglied des McGovern Institute for Brain Research and Center for Brains, Minds, and Machines (CBMM) des MIT und Autorin der Studie.

„Je besser das Modell das nächste Wort vorhersagen kann, desto besser passt es zum menschlichen Gehirn“, sagt Kanwisher. „Es ist erstaunlich, dass die Modelle so gut passen, und es deutet sehr indirekt darauf hin, dass das menschliche Sprachsystem möglicherweise vorhersagt, was als nächstes passieren wird.“

Die Studie erschien im Proceedings of the National Academy of Sciences. 

Dazu gehörten auch die leitenden Autoren Joshue Tenenbaum, Professor für Kognitionswissenschaft am MIT und Mitglied von CBMM und MITs Artificial Intelligence (CSAIL); und Eveline Fedorenko, Frederick A. und Carole J. Middleton Career Development Associate Professor für Neurowissenschaften und Mitglied des McGovern Institute. Der Erstautor der Arbeit war Martin Schrimpf, ein MIT-Absolvent. 

Die Studie

Das MIT-Team verglich Sprachverarbeitungszentren im menschlichen Gehirn mit Sprachverarbeitungsmodellen. Sie analysierten 43 verschiedene Sprachmodelle, darunter auch solche, die für die Vorhersage des nächsten Wortes optimiert sind, wie etwa GPT-3. Andere Modelle wurden entwickelt, um verschiedene Sprachaufgaben auszuführen, beispielsweise das Ausfüllen einer Lücke. 

Jedem Modell wurde eine Reihe von Wörtern präsentiert, und die Forscher maßen die Aktivität der Knoten, aus denen das Netzwerk besteht. Die Muster wurden dann mit der Aktivität im Gehirn verglichen, die bei Probanden gemessen wurde, die drei Sprachaufgaben ausführten: Geschichten anhören, Lesen Sie Sätze einzeln und lesen Sie Sätze, in denen jeweils ein Wort offenbart wird. 

Zu den menschlichen Datensätzen gehörten funktionelle Magnetresonanzdaten (fMRT) und intrakranielle elektrokortikografische Messungen, die von Menschen durchgeführt wurden, die sich einer Gehirnoperation wegen Epilepsie unterzogen.

Die Forscher fanden heraus, dass die leistungsstärksten Modelle zur Vorhersage des nächsten Wortes Aktivitätsmuster aufwiesen, die denen im menschlichen Gehirn sehr ähnelten. Dieselben Modelle zeigten auch Aktivitäten, die stark mit Messungen des menschlichen Verhaltens korrelierten, beispielsweise wie schnell Menschen den Text lesen können.

„Wir haben herausgefunden, dass die Modelle, die die neuronalen Reaktionen gut vorhersagen, auch dazu neigen, menschliche Verhaltensreaktionen in Form von Lesezeiten am besten vorherzusagen. Und dann werden beide durch die Modellleistung bei der Vorhersage des nächsten Wortes erklärt. Dieses Dreieck verbindet wirklich alles miteinander“, sagt Schrimpf.

Die Forscher werden nun versuchen, Varianten der Sprachverarbeitungsmodelle zu entwickeln, die es ihnen ermöglichen könnten, zu sehen, wie sich kleine Änderungen in ihrer Architektur auf die Leistung und ihre Fähigkeit, menschliche neuronale Daten anzupassen, auswirken.