Los chatbots de IA luchan con la comprensión lingüística

La aparición de los chatbots de inteligencia artificial (IA) ha transformado las experiencias conversacionales, trayendo avances que parecen paralelos a la comprensión y el uso del lenguaje humano. Estos chatbots, impulsados por modelos de lenguaje sustanciales, están volviéndose hábiles para navegar las complejidades de la interacción humana.

Sin embargo, un estudio reciente estudio ha puesto de relieve la vulnerabilidad persistente de estos modelos para distinguir el lenguaje natural del sinsentido. La investigación realizada por investigadores de la Universidad de Columbia presenta perspectivas intrigantes sobre las posibles mejoras en el rendimiento de los chatbots y el procesamiento del lenguaje humano.

La investigación sobre los modelos de lenguaje

El equipo elaboró sobre su investigación que involucró a nueve diferentes modelos de lenguaje sometidos a numerosas parejas de oraciones. A los participantes humanos en el estudio se les pidió que discernieran la oración más “natural” en cada pareja, reflejando el uso cotidiano. Los modelos se evaluaron según si sus evaluaciones resonaban con las elecciones humanas.

Cuando los modelos se enfrentaron entre sí, los basados en redes neuronales de transformador exhibieron un rendimiento superior en comparación con los modelos de redes neuronales recurrentes más simples y los modelos estadísticos. Sin embargo, incluso los modelos más sofisticados demostraron errores, a menudo seleccionando oraciones percibidas como sinsentido por los humanos.

La lucha con las oraciones sin sentido

El Dr. Nikolaus Kriegeskorte, investigador principal en el Instituto Zuckerman de Columbia, enfatizó el éxito relativo de los grandes modelos de lenguaje para capturar aspectos cruciales que los modelos más simples pasaron por alto. Él señaló: “Que incluso los mejores modelos que estudiamos aún pueden ser engañados por oraciones sin sentido muestra que sus cálculos están faltando algo sobre la forma en que los humanos procesan el lenguaje”.

Un ejemplo destacado del estudio resaltó modelos como BERT que maljuzgaban la naturalidad de las oraciones, en contraste con modelos como GPT-2, que se alineaban con los juicios humanos. Las imperfecciones prevalecientes en estos modelos, como Christopher Baldassano, Ph.D., profesor asistente de psicología en Columbia, señaló, plantean preocupaciones sobre la confianza en los sistemas de IA en los procesos de toma de decisiones, llamando la atención sobre sus aparentes “puntos ciegos” al etiquetar oraciones.

Implicaciones y direcciones futuras

Las brechas en el rendimiento y la exploración de por qué algunos modelos sobresalen más que otros son áreas de interés para el Dr. Kriegeskorte. Él cree que comprender estas discrepancias puede impulsar significativamente el progreso en los modelos de lenguaje.

El estudio también abre vías para explorar si los mecanismos en los chatbots de IA pueden generar nuevas investigaciones científicas, ayudando a los neurocientíficos a descifrar las complejidades del cerebro humano.

Tal Golan, Ph.D., el autor correspondiente del artículo, expresó interés en comprender los procesos de pensamiento humano, considerando las crecientes capacidades de las herramientas de IA en el procesamiento del lenguaje. “Comparar su comprensión del lenguaje con la nuestra nos da un nuevo enfoque para pensar en cómo pensamos”, comentó.

La exploración de las capacidades lingüísticas de los chatbots de IA ha desvelado los desafíos persistentes en alinear su comprensión con la cognición humana.

Los esfuerzos continuos para profundizar en estas diferencias y las revelaciones subsiguientes están en condiciones de no solo mejorar la eficacia de los chatbots de IA sino también de desentrañar las múltiples capas de los procesos cognitivos humanos.

La yuxtaposición de la comprensión del lenguaje impulsada por IA y la cognición humana establece la base para exploraciones multifacéticas, potencialmente redefiniendo percepciones y avanzando en el conocimiento en los ámbitos interconectados de la IA y la neurociencia.