Chatbots de IA luchan con la comprensión lingüística

El advenimiento de los chatbots de inteligencia artificial (IA) ha remodelado las experiencias conversacionales, trayendo consigo avances que parecen paralelos a la comprensión y el uso humano del lenguaje. Estos chatbots, impulsados por modelos de lenguaje sustanciales, están volviéndose hábiles para navegar las complejidades de la interacción humana.

Sin embargo, un estudio reciente ha puesto de relieve la persistente vulnerabilidad de estos modelos para distinguir el lenguaje natural del sinsentido. La investigación realizada por investigadores de la Universidad de Columbia presenta perspicaces conocimientos sobre las posibles mejoras en el rendimiento de los chatbots y el procesamiento del lenguaje humano.

La investigación sobre los modelos de lenguaje

El equipo elaboró sobre su investigación que involucró a nueve diferentes modelos de lenguaje sometidos a numerosos pares de oraciones. A los participantes humanos en el estudio se les pidió que discernieran la oración más ‘natural’ en cada par, reflejando el uso cotidiano. Los modelos se evaluaron según si sus evaluaciones resonaban con las elecciones humanas.

Cuando los modelos se enfrentaron entre sí, los basados en redes neuronales transformadoras exhibieron un rendimiento superior en comparación con los modelos de redes neuronales recurrentes más simples y los modelos estadísticos. Sin embargo, incluso los modelos más sofisticados demostraron errores, a menudo seleccionando oraciones percibidas como sinsentido por los humanos.

La lucha con las oraciones sinsentido

El Dr. Nikolaus Kriegeskorte, investigador principal en el Instituto Zuckerman de Columbia, enfatizó el éxito relativo de los grandes modelos de lenguaje para capturar aspectos cruciales que los modelos más simples pasaron por alto. Él señaló: “Que incluso los mejores modelos que estudiamos todavía pueden ser engañados por oraciones sinsentido muestra que sus cálculos están faltando algo sobre la forma en que los humanos procesan el lenguaje”.

Un ejemplo impactante del estudio resaltó modelos como BERT que juzgaban mal la naturalidad de las oraciones, en contraste con modelos como GPT-2, que se alineaban con los juicios humanos. Las imperfecciones prevalecientes en estos modelos, como Christopher Baldassano, Ph.D., profesor asistente de psicología en Columbia, plantean preocupaciones sobre la confianza en los sistemas de IA en los procesos de toma de decisiones, llamando la atención sobre sus aparentes “puntos ciegos” en la etiquetado de oraciones.

Implicaciones y direcciones futuras

Las brechas en el rendimiento y la exploración de por qué algunos modelos sobresalen más que otros son áreas de interés para el Dr. Kriegeskorte. Él cree que comprender estas discrepancias puede impulsar significativamente el progreso en los modelos de lenguaje.

El estudio también abre avenidas para explorar si los mecanismos en los chatbots de IA pueden generar nuevas investigaciones científicas, ayudando a los neurocientíficos a descifrar las complejidades del cerebro humano.

Tal Golan, Ph.D., el autor correspondiente del artículo, expresó interés en comprender los procesos de pensamiento humano, considerando las crecientes capacidades de las herramientas de IA en el procesamiento del lenguaje. “Comparar su comprensión del lenguaje con la nuestra nos da un nuevo enfoque para pensar en cómo pensamos”, comentó.

La exploración de las capacidades lingüísticas de los chatbots de IA ha desvelado los desafíos persistentes en alinear su comprensión con la cognición humana.

Los esfuerzos continuos para profundizar en estas diferencias y las revelaciones subsiguientes están destinados a no solo mejorar la eficacia de los chatbots de IA, sino también a desentrañar las múltiples capas de los procesos cognitivos humanos.

La yuxtaposición de la comprensión del lenguaje impulsada por IA y la cognición humana establece la base para exploraciones multifacéticas, que potencialmente pueden remodelar las percepciones y avanzar en el conocimiento en los reinos interconectados de la IA y la neurociencia.