KI-Modelle geben Einblicke in die Verarbeitung von Sprache im Gehirn

Neue Forschungsergebnisse aus dem Massachusetts Institute of Technology deuten darauf hin, dass die zugrunde liegende Funktion von “next-word prediction”-Computational-Modellen der Funktion von Sprachverarbeitungszentren im menschlichen Gehirn ähnelt.

Bedeutung von Sprache

Die neuesten predictiven Sprachmodelle könnten etwas über die zugrunde liegende Bedeutung von Sprache lernen, was ein großer Schritt vorwärts in diesem Bereich wäre. Die Modelle predicten das nächste Wort, aber sie führen auch Aufgaben aus, die ein gewisses Maß an echtem Verständnis erfordern. Zu diesen Aufgaben gehören Fragebeantwortung, Dokumentzusammenfassung und Geschichtenergänzung.

Die Modelle wurden entwickelt, um die Leistung für die Vorhersage von Texten zu optimieren, ohne zu versuchen, etwas über die Art und Weise nachzuahmen, wie das menschliche Gehirn Sprache versteht. Allerdings deuten die Ergebnisse des MIT-Teams von Neurowissenschaftlern darauf hin, dass etwas in dieser Hinsicht passiert.

Eine der interessantesten Erkenntnisse dieser Forschung ist, dass Computermodelle, die gut auf andere Arten von Sprachaufgaben performen, diese Ähnlichkeit zum menschlichen Gehirn nicht zeigen. Dies wird als Beweis dafür angesehen, dass das menschliche Gehirn möglicherweise next-word prediction verwendet, um Sprachverarbeitung durchzuführen.

Nancy Kanwisher ist Walter A. Rosenblith Professor of Cognitive Neuroscience. Sie ist auch Mitglied des MIT’s McGovern Institute for Brain Research und Center for Brains, Minds, and Machines (CBMM) und Autorin der Studie.

“Je besser das Modell darin ist, das nächste Wort vorherzusagen, desto besser passt es zum menschlichen Gehirn”, sagt Kanwisher. “Es ist erstaunlich, dass die Modelle so gut passen, und es deutet indirekt darauf hin, dass vielleicht das, was das menschliche Sprachsystem tut, die Vorhersage dessen ist, was als nächstes passieren wird.”

Die Studie erschien in den Proceedings of the National Academy of Sciences.

Sie umfasste auch die Senior-Autoren Joshue Tenenbaum, Professor für Cognitive Science am MIT und Mitglied von CBMM und MIT’s Artificial Intelligence (CSAIL); und Eveline Fedorenko, Frederick A. und Carole J. Middleton Career Development Associate Professor of Neuroscience und Mitglied des McGovern Institute. Der erste Autor der Studie war Martin Schrimpf, ein MIT-Student.

Die Studie

Das MIT-Team verglich Sprachverarbeitungszentren im menschlichen Gehirn mit Sprachverarbeitungsmodellen. Sie analysierten 43 verschiedene Sprachmodelle, einschließlich solcher, die für next-word prediction optimiert sind, wie GPT-3. Andere Modelle wurden entwickelt, um andere Sprachaufgaben durchzuführen, wie das Ausfüllen von Lücken.

Jedes Modell wurde mit einer Zeichenfolge von Wörtern präsentiert, und die Forscher messen die Aktivität der Knoten, die das Netzwerk bilden. Die Muster wurden dann mit der Aktivität im Gehirn verglichen, die in Probanden gemessen wurden, die drei Sprachaufgaben durchführten: Zuhören von Geschichten, Lesen von Sätzen einzeln und Lesen von Sätzen, in denen ein Wort auf einmal aufgedeckt wurde.

Die menschlichen Datensätze umfassten funktionelle Magnetresonanz-(fMRI)-Daten und intrakranielle elektrokortikographische Messungen, die bei Menschen aufgenommen wurden, die sich einer Hirnoperation für Epilepsie unterzogen.

Die Forscher fanden heraus, dass die besten next-word prediction-Modelle Aktivitätsmuster aufwiesen, die denen im menschlichen Gehirn sehr ähnelten. Diese Modelle zeigten auch eine hohe Korrelation mit Maßen menschlichen Verhaltens, wie der Lesezeit.

“Wir fanden heraus, dass die Modelle, die die neuronalen Antworten gut predicten, auch am besten die menschliche Verhaltensantwort predicten, in Form von Lesezeiten. Und dann werden beide durch die Modellleistung bei der next-word prediction erklärt. Dieses Dreieck verbindet wirklich alles miteinander”, sagt Schrimpf.

Die Forscher werden nun versuchen, Varianten der Sprachverarbeitungsmodelle zu entwickeln, um zu sehen, wie kleine Änderungen in ihrer Architektur die Leistung und die Fähigkeit, menschliche neuronale Daten zu passen, beeinflussen.