AI-modeller giver indsigt i, hvordan hjernen behandler sprog

Ny forskning, der kommer fra Massachusetts Institute of Technology, tyder på, at den underliggende funktion af 'næste-ords forudsigelse' beregningsmodeller ligner funktionen af ​​sprogbehandlingscentre i den menneskelige hjerne. 

Sprogets betydning

De nyeste prædiktive sprogmodeller kunne være at lære noget om sprogets underliggende betydning, hvilket ville være et stort skridt fremad på området. Modellerne forudsiger det næste ord, men de udfører også opgaver, der kræver en vis grad af ægte forståelse. Disse opgaver omfatter besvarelse af spørgsmål, dokumentopsummering og færdiggørelse af historie. 

Modellerne er designet til at optimere ydeevnen til at forudsige tekst uden at forsøge at efterligne noget om, hvordan den menneskelige hjerne forstår sprog. MIT-teamet af neuroforskere antyder dog, at der sker noget i denne henseende. 

En af de mere interessante indsigter i denne forskning er, at computermodeller, der fungerer godt på andre typer sprogopgaver, ikke viser denne lighed med den menneskelige hjerne. Dette ses som bevis på, at den menneskelige hjerne kunne bruge næste ords forudsigelse til at udføre sprogbehandling. 

Nancy Kanwisher er Walter A. Rosenblith professor i kognitiv neurovidenskab. Hun er også medlem af MIT's McGovern Institute for Brain Research og Center for Brains, Minds and Machines (CBMM), og forfatter til undersøgelsen.

"Jo bedre modellen er til at forudsige det næste ord, jo bedre passer den til den menneskelige hjerne," siger Kanwisher. "Det er forbløffende, at modellerne passer så godt, og det tyder meget indirekte på, at det, det menneskelige sprogsystem gør, måske er at forudsige, hvad der vil ske næste gang."

Undersøgelsen dukkede op i Proceedings of National Academy of Sciences. 

Det omfattede også seniorforfattere Joshue Tenenbaum, professor i kognitiv videnskab ved MIT og medlem af CBMM og MIT's Artificial Intelligence (CSAIL); og Eveline Fedorenko, Frederick A. og Carole J. Middleton Karriereudviklingslektor i neurovidenskab og medlem af McGovern Institute. Den første forfatter til papiret var Martin Schrimpf, en MIT kandidatstuderende. 

Studiet

MIT-teamet sammenlignede sprogbehandlingscentre i den menneskelige hjerne med sprogbehandlingsmodeller. De analyserede 43 forskellige sprogmodeller, inklusive dem, der er optimeret til forudsigelse af næste ord, såsom GPT-3. Andre modeller blev designet til at udføre forskellige sprogopgaver, såsom at udfylde et tomt felt. 

Hver model blev præsenteret med en række ord, og forskerne målte aktiviteten af ​​de knudepunkter, der udgør netværket. læse sætninger én ad gangen, og læse sætninger, hvor ét ord afsløres ad gangen. 

De menneskelige datasæt inkluderede data om funktionel magnetisk resonans (fMRI) og intrakranielle elektrokortikografiske målinger, der blev taget fra mennesker, der gennemgik hjernekirurgi for epilepsi.

Forskerne fandt ud af, at de bedst ydende næste-ords forudsigelsesmodeller havde aktivitetsmønstre, der lignede dem, der ses i den menneskelige hjerne. De samme modeller demonstrerede også aktivitet, der var stærkt korreleret med mål for menneskelige adfærdsmålinger, såsom hvor hurtigt folk kan læse teksten.

"Vi fandt ud af, at de modeller, der forudsiger de neurale reaktioner godt, også har en tendens til bedst at forudsige menneskelig adfærdsreaktioner i form af læsetider. Og så forklares begge disse af modellens ydeevne på næste-ords forudsigelse. Denne trekant forbinder virkelig alt sammen,” siger Schrimpf.

Forskerne vil nu se efter at bygge varianter af sprogbehandlingsmodellerne, som kan gøre dem i stand til at se, hvordan små ændringer i deres arkitektur påvirker ydeevnen og deres evne til at passe menneskelige neurale data.