AI-modeller giver indsigt i, hvordan hjernen bearbejder sprog

Nyt forskning fra Massachusetts Institute of Technology antyder, at den underliggende funktion af ‘næste-ord-forudsigelse’ computermodeller ligner funktionen af sprogbehandlingscentre i hjernen.

Sprogets betydning

De nyeste prædiktive sprogmodeller kunne være i gang med at lære noget om den underliggende betydning af sprog, hvilket ville være et enormt skridt fremad i feltet. Modellerne forudser det næste ord, men de udfører også opgaver, der kræver en vis grad af ægte forståelse. Disse opgaver inkluderer spørgsmålssvar, dokumentresumé og historieafslutning.

Modellerne var designet til at optimere præstationen for at forudsige tekst uden at forsøge at efterligne noget om, hvordan hjernen forstår sprog. Men MIT-holdet af neurovidenskabsmænd foreslår, at der sker noget i den retning.

En af de mere interessante indsighter fra denne forskning er, at computermodeller, der udfører godt på andre typer sprogopgaver, ikke viser denne lighed med hjernen. Dette ses som bevis for, at hjernen kunne bruge næste-ord-forudsigelse til at udføre sprogbehandling.

Nancy Kanwisher er Walter A. Rosenblith Professor of Cognitive Neuroscience. Hun er også medlem af MIT’s McGovern Institute for Brain Research og Center for Brains, Minds, and Machines (CBMM), og hun er medforfatter til studiet.

“Jo bedre modellen er til at forudsige det næste ord, jo tættere passer den til hjernen,” siger Kanwisher. “Det er fantastisk, at modellerne passer så godt, og det antyder indirekte, at måske det, som det menneskelige sprogsystem gør, er at forudsige, hvad der vil ske herefter.”

Studiet blev offentliggjort i Proceedings of the National Academy of Sciences.

Det inkluderede også seniorforfattere Joshue Tenenbaum, professor i kognitiv videnskab ved MIT og medlem af CBMM og MIT’s Artificial Intelligence (CSAIL); og Eveline Fedorenko, Frederick A. og Carole J. Middleton Career Development Associate Professor of Neuroscience og medlem af McGovern Institute. Første forfatter på artiklen var Martin Schrimpf, en MIT-student.

Studiet

MIT-holdet sammenlignede sprogbehandlingscentre i hjernen med sprogbehandlingsmodeller. De analyserede 43 forskellige sprogmodeller, herunder de, der er optimeret til næste-ord-forudsigelse, såsom GPT-3. Andre modeller var designet til at udføre andre sprogopgaver, såsom at udfylde et blank.

Hver model blev præsenteret med en række ord, og forskerne målte aktiviteten af de noder, der udgør netværket. Mønstrene blev derefter sammenlignet med aktiviteten i hjernen, der blev målt hos personer, der udførte tre sprogopgaver: lytning til historier, læsning af sætninger en ad gangen og læsning af sætninger, hvor ét ord blev afsløret ad gangen.

De menneskelige datasets inkluderede funktionel magnetisk resonans (fMRI)-data og intrakranielle elektrokorticografiske målinger, der blev taget fra personer, der undergik hjernekirurgi for epilepsi.

Forskerne fandt, at de bedst udførende næste-ord-forudsigelsesmodeller havde aktivitetsmønstre, der lignede dem, der blev set i hjernen. Disse modeller viste også en høj korrelation med målinger af menneskeligt adfærdsmæssige målinger, såsom hvor hurtigt personer kan læse teksten.

“Vi fandt, at modellerne, der forudsiger de neurale respons’er godt, også tenderer til at forudsige menneskeligt adfærdssvar, i form af læsetider. Og derefter er begge disse forklaret af modellens præstation på næste-ord-forudsigelse. Denne trekant forbinder alt sammen,” siger Schrimpf.

Forskerne vil nu se på at bygge varianter af sprogbehandlingsmodellerne, hvilket kunne give dem mulighed for at se, hvordan små ændringer i deres arkitektur påvirker præstationen og deres evne til at tilpasse sig menneskelige neurale data.