I modelli AI forniscono informazioni su come il cervello elabora il linguaggio

Nuove ricerche provenienti dal Massachusetts Institute of Technology suggeriscono che la funzione sottostante dei modelli computazionali di ‘previsione della parola successiva’ assomiglia alla funzione dei centri di elaborazione del linguaggio nel cervello umano.

Significato del linguaggio

I più recenti modelli linguistici predittivi potrebbero imparare qualcosa sul significato sottostante del linguaggio, il che sarebbe un enorme passo avanti nel settore. I modelli predicono la parola che viene dopo, ma stanno anche eseguendo compiti che richiedono un certo grado di comprensione genuina. Questi compiti includono la risposta alle domande, la sintesi dei documenti e il completamento delle storie.
I modelli sono stati progettati per ottimizzare le prestazioni nella previsione del testo senza tentare di imitare nulla di come il cervello umano comprende il linguaggio. Tuttavia, il team di neuroscienziati del MIT suggerisce che qualcosa sta accadendo a questo riguardo.
Una delle scoperte più interessanti di questa ricerca è che i modelli informatici che si eseguono bene in altri tipi di compiti linguistici non mostrano questa somiglianza con il cervello umano. Ciò è visto come una prova che il cervello umano potrebbe utilizzare la previsione della parola successiva per eseguire l’elaborazione del linguaggio.
Nancy Kanwisher è Walter A. Rosenblith Professor of Cognitive Neuroscience. È anche membro del McGovern Institute for Brain Research e del Center for Brains, Minds, and Machines (CBMM) del MIT, e autore dello studio.
“Più il modello è bravo a prevedere la parola successiva, più si avvicina al cervello umano”, dice Kanwisher. “È incredibile che i modelli si adattino così bene e suggerisca indirettamente che forse ciò che il sistema linguistico umano sta facendo è prevedere cosa succederà dopo”.
Lo studio è apparso nel Proceedings of the National Academy of Sciences.
Ha anche incluso gli autori senior Joshue Tenenbaum, professore di scienze cognitive al MIT e membro del CBMM e del CSAIL del MIT; e Eveline Fedorenko, Frederick A. e Carole J. Middleton Career Development Associate Professor of Neuroscience e membro del McGovern Institute. L’autore principale del documento era Martin Schrimpf, uno studente di dottorato del MIT.

Lo studio

Il team del MIT ha confrontato i centri di elaborazione del linguaggio nel cervello umano con i modelli di elaborazione del linguaggio. Hanno analizzato 43 diversi modelli linguistici, tra cui quelli ottimizzati per la previsione della parola successiva, come GPT-3. Altri modelli sono stati progettati per eseguire diversi compiti linguistici, come riempire uno spazio vuoto.
Ogni modello è stato presentato con una stringa di parole e i ricercatori hanno misurato l’attività dei nodi che compongono la rete. I modelli sono stati quindi confrontati con l’attività nel cervello, che sono stati misurati in soggetti che eseguivano tre compiti linguistici: ascoltare storie, leggere frasi una alla volta e leggere frasi in cui una parola alla volta è stata rivelata.
I set di dati umani includevano dati di risonanza magnetica funzionale (fMRI) e misurazioni elettrocorticografiche intracraniche prese da persone sottoposte a intervento chirurgico per l’epilessia.
I ricercatori hanno scoperto che i modelli di previsione della parola successiva più performanti avevano modelli di attività che assomigliavano da vicino a quelli osservati nel cervello umano. Gli stessi modelli hanno anche dimostrato un’attività altamente correlata con misure di risposte comportamentali umane, come la velocità con cui le persone possono leggere il testo.
“Abbiamo scoperto che i modelli che predicono bene le risposte neurali tendono anche a predire meglio le risposte comportamentali umane, sotto forma di tempi di lettura. E poi entrambi sono spiegati dalle prestazioni del modello nella previsione della parola successiva. Questo triangolo collega tutto insieme”, dice Schrimpf.
I ricercatori cercheranno ora di costruire varianti dei modelli di elaborazione del linguaggio, che potrebbero consentire loro di vedere come piccoli cambiamenti nella loro architettura influenzano le prestazioni e la loro capacità di adattarsi ai dati neurali umani.