Modelele de inteligență artificială oferă informații despre modul în care creierul procesează limbajul

O nouă cercetare realizată la Institutul de Tehnologie din Massachusetts sugerează că funcția de bază a modelelor computaționale de “predicție a următorului cuvânt” seamănă cu funcția centrelor de procesare a limbajului din creierul uman.

Sensul limbajului

Noile modele predictive de limbaj ar putea învăța ceva despre sensul de bază al limbajului, ceea ce ar fi un pas uriaș înainte în acest domeniu. Modelele prezic cuvântul care urmează, dar ele efectuează și sarcini care necesită un anumit grad de înțelegere adevărată. Aceste sarcini includ răspunsuri la întrebări, rezumarea documentelor și finalizarea poveștilor.

Modelele au fost proiectate pentru a optimiza performanța la predicția textului fără a încerca să imite ceva legat de modul în care creierul uman înțelege limbajul. Cu toate acestea, echipa de neuroștiințifici de la MIT sugerează că se întâmplă ceva în acest sens.

Una dintre cele mai interesante descoperiri ale acestei cercetări este că modelele computaționale care efectuează bine alte tipuri de sarcini de limbaj nu arată această asemănare cu creierul uman. Acest lucru este considerat o dovadă că creierul uman ar putea folosi predicția următorului cuvânt pentru a efectua procesarea limbajului.

Nancy Kanwisher este profesor Walter A. Rosenblith de neuroștiințe cognitive. Ea este, de asemenea, membră a Institutului McGovern pentru Cercetarea Creierului și a Centrului pentru Creiere, Minți și Mașini (CBMM) de la MIT și autoare a studiului.

“Cu cât modelul este mai bun la predicția următorului cuvânt, cu atât se potrivește mai bine cu creierul uman”, spune Kanwisher. “Este uimitor că modelele se potrivesc atât de bine și sugerează indirect că poate ceea ce face sistemul de limbaj uman este să prevadă ce se va întâmpla mai departe.”

Studiul a apărut în Proceedings of the National Academy of Sciences.

Acesta a inclus și autori seniori, Joshue Tenenbaum, profesor de științe cognitive la MIT și membru al CBMM și al Institutului de Inteligență Artificială (CSAIL) de la MIT; și Eveline Fedorenko, profesor asociat de neuroștiințe și membru al Institutului McGovern. Autorul principal al articolului a fost Martin Schrimpf, student absolvent la MIT.

Studiul

Echipa de la MIT a comparat centrele de procesare a limbajului din creierul uman cu modelele de procesare a limbajului. Ei au analizat 43 de modele de limbaj diferite, inclusiv cele care sunt optimizate pentru predicția următorului cuvânt, cum ar fi GPT-3. Alte modele au fost proiectate pentru a efectua alte sarcini de limbaj, cum ar fi completarea unui spațiu gol.

Fiecare model a primit o secvență de cuvinte și cercetătorii au măsurat activitatea nodurilor care alcătuiesc rețeaua. Modelele au fost comparate cu activitatea din creier, care a fost măsurată la subiecți care efectuau trei sarcini de limbaj: ascultarea poveștilor, citirea propozițiilor una câte una și citirea propozițiilor în care un cuvânt este dezvăluit odată.

Datele umane au inclus date de rezonanță magnetică funcțională (fMRI) și măsurători electrocorticografice intracraniene care au fost luate de la persoane care suferă de epilepsie și care au fost supuse unei intervenții chirurgicale pe creier.

Cercetătorii au descoperit că modelele care prezic cel mai bine următorul cuvânt au avut modele de activitate care seamănă foarte mult cu cele observate în creierul uman. Aceleași modele au demonstrat, de asemenea, o activitate care a fost puternic corelată cu măsurile comportamentale umane, cum ar fi viteza cu care oamenii pot citi textul.

“Am descoperit că modelele care prezic bine răspunsurile neurale se corelează și cu răspunsurile comportamentale umane, sub forma timpilor de citire. Și apoi, ambele sunt explicate de performanța modelului la predicția următorului cuvânt. Acest triunghi conectează realmente totul”, spune Schrimpf.

Cercetătorii vor căuta acum să construiască variante ale modelelor de procesare a limbajului, ceea ce ar putea permite să vadă cum afectează schimbările mici în arhitectura lor performanța și capacitatea de a se potrivi cu datele neurale umane.