Habilidades de razonamiento analógico de la IA: ¿Desafiando la inteligencia humana?

El razonamiento analógico, la capacidad única que los humanos poseen para resolver problemas desconocidos dibujando paralelos con problemas conocidos, ha sido considerado durante mucho tiempo como una función cognitiva humana distintiva. Sin embargo, un estudio innovador realizado por psicólogos de la UCLA presenta hallazgos convincentes que podrían hacernos replantearnos esto.

GPT-3: ¿Igualando la inteligencia humana?

La investigación de la UCLA encontró que GPT-3, un modelo de lenguaje de IA desarrollado por OpenAI, demuestra capacidades de razonamiento casi al mismo nivel que los estudiantes universitarios, especialmente cuando se les asigna resolver problemas similares a los que se ven en pruebas de inteligencia y exámenes estandarizados como el SAT. Esta revelación, publicada en la revista Nature Human Behaviour, plantea una pregunta intrigante: ¿GPT-3 emula el razonamiento humano debido a su extenso conjunto de datos de entrenamiento de lenguaje, o está accediendo a un proceso cognitivo completamente nuevo?

Los mecanismos exactos de GPT-3 siguen ocultos por OpenAI, lo que deja a los investigadores de la UCLA curiosos sobre el mecanismo detrás de sus habilidades de razonamiento analógico. A pesar del desempeño laudable de GPT-3 en ciertas tareas de razonamiento, la herramienta no está exenta de defectos. Taylor Webb, el autor principal del estudio y un investigador postdoctoral en la UCLA, señaló: “Aunque nuestros hallazgos son impresionantes, es esencial enfatizar que este sistema tiene limitaciones significativas. GPT-3 puede realizar razonamiento analógico, pero lucha con tareas triviales para los humanos, como utilizar herramientas para una tarea física”.

Las capacidades de GPT-3 se sometieron a prueba utilizando problemas inspirados en las Matrices Progresivas de Raven – una prueba que involucra secuencias de formas intrincadas. Al convertir imágenes a un formato de texto que GPT-3 pudiera descifrar, Webb aseguró que estos fueran completamente nuevos desafíos para la IA. Cuando se comparó con 40 estudiantes universitarios de la UCLA, no solo GPT-3 igualó el desempeño humano, sino que también reflejó los errores que los humanos cometieron. El modelo de IA resolvió con precisión el 80% de los problemas, superando la puntuación media humana y cayendo dentro del rango de los mejores rendimientos humanos.

El equipo también investigó la habilidad de GPT-3 utilizando preguntas de analogía del SAT no publicadas, con la IA superando la media humana. Sin embargo, titubeó ligeramente al intentar establecer analogías a partir de historias cortas, aunque el modelo más nuevo GPT-4 mostró resultados mejorados.

Puenteando la brecha de cognición entre la IA y los humanos

Los investigadores de la UCLA no se detienen en simples comparaciones. Han emprendido el desarrollo de un modelo de computadora inspirado en la cognición humana, comparando constantemente sus capacidades con modelos de IA comerciales. Keith Holyoak, un profesor de psicología de la UCLA y coautor, comentó: “Nuestro modelo de IA psicológico superó a otros en problemas de analogía hasta la última actualización de GPT-3, que mostró capacidades superiores o equivalentes”.

Sin embargo, el equipo identificó ciertas áreas donde GPT-3 se quedó atrás, especialmente en tareas que requieren comprensión del espacio físico. En desafíos que involucraban el uso de herramientas, las soluciones de GPT-3 estuvieron marcadas por errores.

Hongjing Lu, el autor senior del estudio, expresó asombro por los avances en la tecnología en los últimos dos años, particularmente en la capacidad de la IA para razonar. Pero, si estos modelos realmente “piensan” como los humanos o simplemente imitan el pensamiento humano, sigue siendo un tema de debate. La búsqueda de conocimientos sobre los procesos cognitivos de la IA requiere acceso al backend de los modelos de IA, un salto que podría dar forma a la trayectoria futura de la IA.

Repetiendo el sentimiento, Webb concluye: “El acceso al backend de los modelos GPT beneficiaría enormemente a los investigadores de la IA y la cognición. Actualmente, estamos limitados a las entradas y salidas, y carece de la profundidad decisiva que aspiramos”.

El estudio destaca la importancia de seguir explorando las capacidades y limitaciones de la IA, con el objetivo de desarrollar sistemas más avanzados y cercanos a la inteligencia humana.