Modele AI dostarczają wglądu w to, jak mózg przetwarza język

Nowe badania prowadzone w Massachusetts Institute of Technology sugerują, że podstawowa funkcja modeli obliczeniowych „przewidywania następnego słowa” przypomina funkcję ośrodków przetwarzania języka w ludzkim mózgu.

Znaczenie języka

Najnowsze modele językowe predykcyjne mogą uczyć się czegoś o podstawowym znaczeniu języka, co byłoby ogromnym postępem w tej dziedzinie. Modele przewidują słowo, które następuje, ale wykonują również zadania, które wymagają pewnego stopnia prawdziwego zrozumienia. Zadania te obejmują odpowiedzi na pytania, streszczenie dokumentów i uzupełnianie historii.
Modele zostały zaprojektowane w celu optymalizacji wydajności podczas przewidywania tekstu bez próby naśladownictwa czegoś dotyczącego tego, jak ludzki mózg rozumie język. Jednak zespół neuronaukowców z MIT sugeruje, że coś się w tej kwestii dzieje.
Jednym z bardziej interesujących spostrzeżeń tej pracy badawczej jest to, że modele komputerowe, które dobrze radzą sobie z innymi typami zadań językowych, nie wykazują tego podobieństwa do ludzkiego mózgu. Uważa się to za dowód, że ludzki mózg może używać przewidywania następnego słowa do przetwarzania języka.
Nancy Kanwisher jest profesorem Waltera A. Rosenblitha w dziedzinie neurobiologii poznawczej. Jest również członkiem Instytutu Badań nad Mózgiem McGovern w MIT i Centrum dla Mózgów, Umysłów i Maszyn (CBMM), a także autorem pracy.
“Im lepsze jest model w przewidywaniu następnego słowa, tym bardziej przypomina ludzki mózg”, mówi Kanwisher. “To niesamowite, że modele pasują tak dobrze, i to bardzo pośrednio sugeruje, że może ludzki system językowy robi to, co się dzieje następnie”.
Badanie ukazało się w Proceedings of the National Academy of Sciences.
Uczestniczyli w nim również seniorzy Joshue Tenenbaum, profesor nauk poznawczych w MIT i członek CBMM oraz CSAIL; oraz Eveline Fedorenko, profesor neurobiologii i członek Instytutu McGovern. Pierwszym autorem pracy był Martin Schrimpf, student MIT.

Badanie

Zespół z MIT porównał ośrodki przetwarzania języka w ludzkim mózgu z modelami przetwarzania języka. Zanalizowali 43 różne modele językowe, w tym te, które są zoptymalizowane pod kątem przewidywania następnego słowa, takie jak GPT-3. Inne modele zostały zaprojektowane do wykonywania innych zadań językowych, takich jak wypełnianie luk.
Każdy model został przedstawiony ciągu słów, a badacze zmierzyli aktywność węzłów, które tworzą sieć. Następnie porównano wzorce z aktywnością w mózgu, którą zmierzono u osób wykonujących trzy zadania językowe: słuchanie historii, czytanie zdań jeden po drugim i czytanie zdań, w których jeden wyraz jest ujawniany na raz.
Zestawy danych dla ludzi obejmowały dane z rezonansu magnetycznego (fMRI) oraz pomiary elektrokortykograficzne wewnątrzczaszkowe, które zostały pobrane od osób poddanych operacji mózgu z powodu padaczki.
Badacze odkryli, że najlepsze modele przewidywania następnego słowa miały wzorce aktywności, które przypominały te widoczne w ludzkim mózgu. Te same modele wykazywały również aktywność, która była silnie skorelowana z miarami ludzkich zachowań, takich jak tempo, w jakim ludzie mogą czytać tekst.
“Stwierdziliśmy, że modele, które dobrze przewidują odpowiedzi neuronalne, również najlepiej przewidują ludzkie zachowania, w postaci czasu czytania. I oba te elementy są wyjaśnione przez wyniki modelu w przewidywaniu następnego słowa. Ten trójkąt łączy wszystko”, mówi Schrimpf.
Badacze teraz będą budować warianty modeli przetwarzania języka, co pozwoli im zobaczyć, jak małe zmiany w ich architekturze wpływają na ich działanie i zdolność do dopasowania danych neuronalnych ludzi.