AI-modeller ger insikt i hur hjärnan bearbetar språk

Ny forskning från Massachusetts Institute of Technology tyder på att den underliggande funktionen hos “nästa-ordsprediktion” beräkningsmodeller liknar funktionen hos språkbehandlingscentra i den mänskliga hjärnan.

Språkets betydelse

De senaste prediktiva språkmodellerna kan lära sig något om den underliggande betydelsen av språk, vilket skulle vara ett stort steg framåt inom området. Modellerna förutsäger ordet som kommer härnäst, men de utför också uppgifter som kräver en viss grad av äkta förståelse. Dessa uppgifter inkluderar frågesvar, dokumentering av sammanfattningar och slutförande av berättelser.

Modellerna utformades för att optimera prestanda för att förutsäga text utan att försöka imitera något som rör hur den mänskliga hjärnan förstår språk. Men MIT-teamet av neurovetenskapsmän föreslår att något händer i detta avseende.

En av de mer intressanta insikterna från denna forskning är att datormodeller som fungerar bra på andra typer av språkuppgifter inte visar denna likhet med den mänskliga hjärnan. Detta ses som bevis för att den mänskliga hjärnan kan använda nästa-ordsprediktion för att utföra språkbehandling.

Nancy Kanwisher är Walter A. Rosenblith Professor of Cognitive Neuroscience. Hon är också medlem i MIT:s McGovern Institute for Brain Research och Center for Brains, Minds, and Machines (CBMM), och en författare till studien.

“Ju bättre modellen är på att förutsäga nästa ord, desto mer liknar den den mänskliga hjärnan”, säger Kanwisher. “Det är förvånansvärt att modellerna passar så bra, och det antyder indirekt att kanske det som det mänskliga språksystemet gör är att förutsäga vad som kommer att hända härnäst.”

Studien publicerades i Proceedings of the National Academy of Sciences.

Den inkluderade också seniorförfattarna Joshue Tenenbaum, professor i kognitiv vetenskap vid MIT och medlem i CBMM och MIT:s Artificial Intelligence (CSAIL); och Eveline Fedorenko, Frederick A. och Carole J. Middleton Career Development Associate Professor of Neuroscience och medlem i McGovern Institute. Den första författaren till artikeln var Martin Schrimpf, en MIT-student.

Studien

MIT-teamet jämförde språkbehandlingscentra i den mänskliga hjärnan med språkbehandlingsmodeller. De analyserade 43 olika språkmodeller, inklusive de som är optimerade för nästa-ordsprediktion, som GPT-3. Andra modeller var utformade för att utföra olika språkuppgifter, som att fylla i ett tomt utrymme.

Varje modell presenterades med en sträng av ord, och forskarna mätte aktiviteten hos noderna som utgör nätverket. Mönstren jämfördes sedan med aktiviteten i hjärnan, som mättes hos försökspersoner som utförde tre språkuppgifter: att lyssna på berättelser, läsa meningar en i taget och läsa meningar där ett ord avslöjades i taget.

De mänskliga dataseten inkluderade funktionell magnetisk resonans (fMRI)-data och intrakraniell elektrokortikografiska mätningar som togs från personer som genomgick hjärnkirurgi för epilepsi.

Forskarna fann att de bäst presterande nästa-ordsprediktionmodellerna hade aktivitetsmönster som liknade dem som ses i den mänskliga hjärnan. Samma modeller visade också aktivitet som var starkt korrelerad med mått på mänskligt beteende, som hur snabbt människor kan läsa texten.

“Vi fann att modellerna som förutsäger neurala svar väl också tenderar att förutsäga mänskligt beteende, i form av lästider. Och sedan förklaras båda av modellens prestanda på nästa-ordsprediktion. Denna triangel kopplar samman allt”, säger Schrimpf.

Forskarna kommer nu att bygga varianter av språkbehandlingsmodellerna, som kan möjliggöra att se hur små förändringar i deras arkitektur påverkar prestanda och deras förmåga att passa mänskliga neurala data.