Los modelos de inteligencia artificial proporcionan información sobre cómo el cerebro procesa el lenguaje

Una nueva investigación del Instituto de Tecnología de Massachusetts sugiere que la función subyacente de los modelos computacionales de ‘predicción de la próxima palabra’ se asemeja a la función de los centros de procesamiento del lenguaje en el cerebro humano.

Significado del lenguaje

Los modelos de lenguaje predictivos más recientes podrían estar aprendiendo algo sobre el significado subyacente del lenguaje, lo que sería un gran avance en el campo. Los modelos predicen la palabra que viene a continuación, pero también realizan tareas que requieren un cierto grado de comprensión real. Estas tareas incluyen responder preguntas, resumir documentos y completar historias.

Los modelos fueron diseñados para optimizar el rendimiento en la predicción de texto sin intentar imitar nada relacionado con la forma en que el cerebro humano entiende el lenguaje. Sin embargo, el equipo de neurocientíficos del MIT sugiere que algo está sucediendo en este respecto.

Una de las ideas más interesantes de esta investigación es que los modelos informáticos que funcionan bien en otros tipos de tareas de lenguaje no muestran esta similitud con el cerebro humano. Esto se considera como evidencia de que el cerebro humano podría estar utilizando la predicción de la próxima palabra para realizar el procesamiento del lenguaje.

Nancy Kanwisher es profesora de neurociencia cognitiva Walter A. Rosenblith. También es miembro del Instituto de Investigación del Cerebro McGovern del MIT y del Centro para Cerebros, Mentes y Máquinas (CBMM), y autora del estudio.

“Cuanto mejor es el modelo para predecir la próxima palabra, más se ajusta al cerebro humano”, dice Kanwisher. “Es asombroso que los modelos encajen tan bien, y muy indirectamente sugiere que tal vez lo que el sistema de lenguaje humano está haciendo es predecir qué va a suceder a continuación”.

El estudio se publicó en las Actas de la Academia Nacional de Ciencias.

También incluyó a los autores principales Joshue Tenenbaum, profesor de ciencia cognitiva en el MIT y miembro de CBMM y del Instituto de Inteligencia Artificial (CSAIL) del MIT; y Eveline Fedorenko, profesora asociada de neurociencia y miembro del Instituto de Investigación del Cerebro McGovern. El primer autor del artículo fue Martin Schrimpf, un estudiante de posgrado del MIT.

El estudio

El equipo del MIT comparó los centros de procesamiento del lenguaje en el cerebro humano con los modelos de procesamiento del lenguaje. Analizaron 43 modelos de lenguaje diferentes, incluyendo aquellos que están optimizados para la predicción de la próxima palabra, como GPT-3. Otros modelos fueron diseñados para realizar diferentes tareas de lenguaje, como llenar un espacio en blanco.

Cada modelo se presentó con una cadena de palabras, y los investigadores midieron la actividad de los nodos que componen la red. Los patrones se compararon con la actividad en el cerebro, que se midió en sujetos que realizaron tres tareas de lenguaje: escuchar historias, leer oraciones de una en una y leer oraciones en las que se revela una palabra a la vez.

Los conjuntos de datos humanos incluyeron datos de resonancia magnética funcional (fMRI) y mediciones electrocorticográficas intracraneales que se tomaron de personas que se sometieron a cirugía cerebral por epilepsia.

Los investigadores encontraron que los modelos de predicción de la próxima palabra con mejor rendimiento tenían patrones de actividad que se asemejaban mucho a los observados en el cerebro humano. Esos mismos modelos también demostraron una actividad que estaba altamente correlacionada con medidas de respuestas de comportamiento humano, como la velocidad a la que las personas pueden leer el texto.

“Encontramos que los modelos que predicen bien las respuestas neuronales también tienden a predecir mejor las respuestas de comportamiento humano, en forma de tiempos de lectura. Y ambos están explicados por el rendimiento del modelo en la predicción de la próxima palabra. Este triángulo realmente conecta todo”, dice Schrimpf.

Los investigadores ahora buscarán construir variantes de los modelos de procesamiento del lenguaje, lo que podría permitirles ver cómo los pequeños cambios en su arquitectura afectan el rendimiento y su capacidad para ajustarse a los datos neuronales humanos.