Modelos de IA fornecem insights sobre como o cérebro processa a linguagem

Nova pesquisa realizada no Instituto de Tecnologia de Massachusetts sugere que a função subjacente dos modelos computacionais de ‘previsão de próxima palavra’ se assemelha à função dos centros de processamento de linguagem no cérebro humano.

Significado da Linguagem

Os novos modelos de linguagem preditivos podem estar aprendendo algo sobre o significado subjacente da linguagem, o que seria um grande avanço no campo. Os modelos predizem a palavra que vem a seguir, mas também estão realizando tarefas que exigem um grau de compreensão genuína. Essas tarefas incluem responder a perguntas, resumir documentos e completar histórias.

Os modelos foram projetados para otimizar o desempenho na previsão de texto sem tentar imitar nada relacionado à forma como o cérebro humano entende a linguagem. No entanto, a equipe de neurocientistas do MIT sugere que algo está acontecendo nesse sentido.

Uma das descobertas mais interessantes dessa pesquisa é que os modelos de computador que se saem bem em outros tipos de tarefas de linguagem não mostram essa semelhança com o cérebro humano. Isso é visto como evidência de que o cérebro humano pode estar usando a previsão de próxima palavra para realizar o processamento de linguagem.

Nancy Kanwisher é professora de neurociência cognitiva Walter A. Rosenblith. Ela também é membra do Instituto de Pesquisa do Cérebro McGovern do MIT e do Centro para Cérebros, Mentes e Máquinas (CBMM), e autora do estudo.

“Quanto melhor o modelo é em prever a próxima palavra, mais próximo está do cérebro humano”, diz Kanwisher. “É incrível que os modelos se encaixem tão bem, e isso sugere indiretamente que talvez o que o sistema de linguagem humano esteja fazendo é prever o que vai acontecer em seguida.”

O estudo foi publicado no Proceedings of the National Academy of Sciences.

Ele também incluiu autores sênior Joshue Tenenbaum, professor de ciência cognitiva do MIT e membro do CBMM e do CSAIL do MIT; e Eveline Fedorenko, professora associada de neurociência e membra do Instituto McGovern. O primeiro autor do artigo foi Martin Schrimpf, um estudante de pós-graduação do MIT.

O Estudo

A equipe do MIT comparou os centros de processamento de linguagem no cérebro humano com os modelos de processamento de linguagem. Eles analisaram 43 diferentes modelos de linguagem, incluindo aqueles otimizados para previsão de próxima palavra, como o GPT-3. Outros modelos foram projetados para realizar tarefas de linguagem diferentes, como preencher um espaço em branco.

Cada modelo foi apresentado com uma sequência de palavras, e os pesquisadores mediram a atividade dos nodos que compõem a rede. Os padrões foram então comparados com a atividade no cérebro, que foram medidos em sujeitos que realizavam três tarefas de linguagem: ouvindo histórias, lendo frases uma a uma e lendo frases em que uma palavra é revelada de cada vez.

Os conjuntos de dados humanos incluíam dados de ressonância magnética funcional (fMRI) e medidas eletrocorticográficas intracranianas que foram coletadas de pessoas submetidas a cirurgia cerebral para epilepsia.

Os pesquisadores descobriram que os modelos de previsão de próxima palavra de melhor desempenho tinham padrões de atividade que se assemelhavam muito aos observados no cérebro humano. Esses mesmos modelos também demonstraram atividade que estava altamente correlacionada com medidas de respostas comportamentais humanas, como a velocidade com que as pessoas podem ler o texto.

“Descobrimos que os modelos que predizem bem as respostas neurais também tendem a prever melhor as respostas comportamentais humanas, na forma de tempos de leitura. E então, ambos são explicados pelo desempenho do modelo na previsão de próxima palavra. Esse triângulo realmente conecta tudo”, diz Schrimpf.

Os pesquisadores agora buscarão construir variantes dos modelos de processamento de linguagem, o que poderia permitir que eles vejam como pequenas alterações em sua arquitetura afetam o desempenho e a capacidade de se ajustar aos dados neurais humanos.