Modele AI dostarczają wgląd w to, jak mózg przetwarza język

Nowe badania przeprowadzone w Massachusetts Institute of Technology sugerują, że podstawowa funkcja modeli obliczeniowych “next-word prediction” przypomina funkcję ośrodków przetwarzania języka w ludzkim mózgu.

Znaczenie języka

Najnowsze modele językowe predykcyjne mogą uczyć się czegoś o podstawowym znaczeniu języka, co byłoby ogromnym postępem w tej dziedzinie. Modele te przewidują słowo, które następuje, ale również wykonują zadania, które wymagają pewnego stopnia prawdziwego zrozumienia. Zadania te obejmują odpowiedzi na pytania, podsumowanie dokumentów i uzupełnienie historii.

Modele zostały zaprojektowane w celu optymalizacji wydajności podczas przewidywania tekstu bez próby naśladownictwa czegoś dotyczącego tego, jak ludzki mózg rozumie język. Jednak zespół neuronaukowców z MIT sugeruje, że coś się dzieje w tym zakresie.

Jednym z bardziej interesujących spostrzeżeń tego badania jest to, że modele komputerowe, które dobrze radzą sobie z innymi typami zadań językowych, nie wykazują tego podobieństwa do ludzkiego mózgu. Uważa się, że jest to dowód, że ludzki mózg może używać predykcji następnego słowa do przetwarzania języka.

Nancy Kanwisher jest profesorem Waltera A. Rosenblitha w dziedzinie neurobiologii poznawczej. Jest również członkiem Instytutu Badań Mózgu McGovern w MIT i Centrum dla Mózgów, Umysłów i Maszyn (CBMM), oraz autorem badania.

“Im lepsze jest model w przewidywaniu następnego słowa, tym bardziej przypomina ludzki mózg”, mówi Kanwisher. “To jest niesamowite, że modele pasują tak dobrze, i to bardzo pośrednio sugeruje, że może to, co ludzki system językowy robi, to przewidywanie, co się wydarzy następnie.”

Badanie ukazało się w Proceedings of the National Academy of Sciences.

Badanie obejmowało również seniorów Joshue Tenenbauma, profesora nauk poznawczych w MIT i członka CBMM oraz CSAIL; oraz Eveline Fedorenko, profesora neurobiologii i członka Instytutu Badań Mózgu McGovern. Pierwszym autorem artykułu był Martin Schrimpf, student MIT.

Badanie

Zespół z MIT porównał ośrodki przetwarzania języka w ludzkim mózgu z modelami przetwarzania języka. Analizowali 43 różne modele językowe, w tym te, które są zoptymalizowane do predykcji następnego słowa, takie jak GPT-3. Inne modele zostały zaprojektowane do wykonywania innych zadań językowych, takich jak wypełnianie luk.

Każdy model został przedstawiony ciągiem słów, a badacze zmierzyli aktywność węzłów, które tworzą sieć. Następnie porównali te wzorce z aktywnością w mózgu, która została zmierzona u osób wykonujących trzy zadania językowe: słuchanie historii, czytanie zdań jeden po drugim i czytanie zdań, w których jedno słowo jest ujawnione na raz.

Zestawy danych ludzkich obejmowały dane z funkcjonalnej rezonansu magnetycznego (fMRI) i pomiarów elektrokortykograficznych, które zostały pobrane od osób poddawanych operacji mózgu z powodu padaczki.

Badacze odkryli, że najlepsze modele predykcji następnego słowa miały wzorce aktywności, które przypominały te widoczne w ludzkim mózgu. Te same modele wykazały również aktywność, która była silnie skorelowana z miarami ludzkich zachowań, takimi jak tempo czytania tekstu.

“Stwierdziliśmy, że modele, które dobrze przewidują odpowiedzi neuronalne, również najlepiej przewidują ludzkie zachowania, w postaci czasu czytania. I oba te są wyjaśnione przez wydajność modelu w predykcji następnego słowa. Ten trójkąt łączy wszystko razem”, mówi Schrimpf.

Badacze będą teraz próbowali zbudować warianty modeli przetwarzania języka, co pozwoli im zobaczyć, jak małe zmiany w ich architekturze wpływają na wydajność i ich zdolność do dopasowania do danych neuronalnych ludzkich.