DeepMind: El AI puede heredar las limitaciones cognitivas humanas, podría beneficiarse de una “educación formal”

Una nueva colaboración entre DeepMind y la Universidad de Stanford sugiere que el AI puede no ser mejor que las personas en razonamiento abstracto, porque los modelos de aprendizaje automático obtienen sus arquitecturas de razonamiento de ejemplos del mundo real, humanos, que están fundamentados en un contexto práctico (que el AI no puede experimentar), pero también están obstaculizados por nuestras propias limitaciones cognitivas.

Esto podría representar una barrera para el pensamiento superior y la calidad de la originación intelectual que muchos esperan de los sistemas de aprendizaje automático, y muestra la medida en que el AI refleja la experiencia humana y es propenso a cogitar (y razonar) dentro de los límites humanos que lo han informado.

Los investigadores sugieren que los modelos de AI podrían beneficiarse de un preentrenamiento en razonamiento abstracto, similar a una “educación formal”, antes de ser asignados a tareas del mundo real.

El artículo afirma:

Los humanos son razonadores imperfectos. Razonamos de manera más efectiva sobre entidades y situaciones que son consistentes con nuestra comprensión del mundo.

Nuestros experimentos muestran que los modelos de lenguaje reflejan estos patrones de comportamiento. Los modelos de lenguaje funcionan de manera imperfecta en tareas de razonamiento lógico, pero este rendimiento depende del contenido y el contexto. Lo más notable es que estos modelos a menudo fallan en situaciones en las que los humanos fallan — cuando los estímulos se vuelven demasiado abstractos o entran en conflicto con nuestra comprensión previa del mundo.

Para probar la medida en que los modelos de Procesamiento de Lenguaje Natural (NLP) de hipercala podrían verse afectados por tales limitaciones, los investigadores realizaron una serie de tres pruebas en un modelo adecuado, concluyendo*:

Encontramos que los modelos de lenguaje grandes y avanzados (con 7 o 70 mil millones de parámetros) reflejan muchos de los mismos patrones observados en humanos en estas tareas — como los humanos, los modelos razonan de manera más efectiva sobre situaciones creíbles que sobre situaciones irreales o abstractas.

Nuestros hallazgos tienen implicaciones para comprender tanto estos efectos cognitivos como los factores que contribuyen al rendimiento del modelo de lenguaje.

El artículo sugiere que crear habilidades de razonamiento en un AI sin darle el beneficio de la experiencia del mundo real que pone esas habilidades en contexto, podría limitar el potencial de dichos sistemas, observando que la experiencia fundamentada… presumiblemente subyace a algunas creencias y razonamiento humanas.

Los autores plantean que el AI experimenta el lenguaje de manera pasiva, mientras que los humanos lo experimentan como un componente activo y central para la comunicación social, y que esta participación activa (que implica sistemas convencionales de castigo y recompensa) podría ser “clave” para comprender el significado de la misma manera que los humanos.

Los investigadores observan:

Algunas diferencias entre los modelos de lenguaje y los humanos pueden surgir de las diferencias entre la rica, fundamentada y experiencial experiencia humana y la experiencia empobrecida de los modelos.

Sugieren que una posible solución podría ser un período de “preentrenamiento”, similar a lo que los humanos experimentan en el sistema escolar y universitario, antes de entrenar en datos centrales que eventualmente construirán un modelo de lenguaje útil y versátil.

Este período de “educación formal” (como lo analogizan los investigadores) sería diferente al preentrenamiento convencional de aprendizaje automático (que es un método para reducir el tiempo de entrenamiento reutilizando modelos semi-entrenados o importando pesos de modelos completamente entrenados, como un “impulsor” para iniciar el proceso de entrenamiento).

Más bien, representaría un período de aprendizaje sostenido diseñado para desarrollar las habilidades de razonamiento lógico del AI de manera puramente abstracta, y para desarrollar facultades críticas de manera similar a como un estudiante universitario será alentado a hacer a lo largo de su educación.

‘Varios resultados’, afirman los autores, ‘indicar que esto no es tan descabellado como suena’.

El artículo se titula Los modelos de lenguaje muestran efectos de contenido humanos en el razonamiento, y proviene de seis investigadores de DeepMind y uno afiliado a DeepMind y la Universidad de Stanford.

Pruebas

Los humanos aprenden conceptos abstractos a través de ejemplos prácticos, por el mismo método de “importancia implícita” que a menudo ayuda a los aprendices de lenguas a memorizar vocabulario y reglas lingüísticas, a través de mnemotécnicas. El ejemplo más simple de esto es enseñar principios abstractos de física mediante escenarios de viaje para trenes y coches.

Para probar las capacidades de razonamiento abstracto de un modelo de lenguaje de hipercala, los investigadores diseñaron una serie de tres pruebas lingüísticas y semánticas que pueden ser desafiantes también para los humanos. Las pruebas se aplicaron “zero shot” (sin ejemplos resueltos) y “five shot” (con cinco ejemplos resueltos anteriores).

La primera tarea se relaciona con la inferencia de lenguaje natural (NLI), donde el sujeto (una persona o, en este caso, un modelo de lenguaje) recibe dos oraciones, una “premisa” y una “hipótesis” que parece deducirse de la premisa. Por ejemplo X es más pequeño que Y, Hipótesis: Y es más grande que X (entrañado).

Para la tarea de Inferencia de Lenguaje Natural, los investigadores evaluaron los modelos de lenguaje Chinchilla (un modelo de 70 mil millones de parámetros) y 7B (una versión de 7 mil millones de parámetros del mismo modelo), encontrando que para los ejemplos coherentes (es decir, aquellos que no eran sinsentidos), solo el modelo Chinchilla más grande obtuvo resultados superiores a la mera casualidad; y observan:

Esto indica un fuerte sesgo de contenido: los modelos prefieren completar la oración de una manera consistente con las expectativas previas en lugar de una manera consistente con las reglas de la lógica.

Rendimiento del modelo Chinchilla de 70 mil millones de parámetros en la tarea NLI. Tanto este modelo como su versión más delgada 7B exhibieron un ‘sesgo de creencia sustancial’, según los investigadores. Fuente: https://arxiv.org/pdf/2207.07051.pdf

Silogismos

La segunda tarea presenta un desafío más complejo, silogismos — argumentos donde dos declaraciones verdaderas aparentemente implican una tercera declaración (que puede o no ser una conclusión lógica inferida de las dos declaraciones anteriores):

Del material de prueba del artículo, varios silogismos ‘realistas’ y paradójicos o sin sentido.

Aquí, los humanos son inmensamente falibles, y una construcción diseñada para ejemplificar un principio lógico se vuelve casi inmediatamente (y quizás permanentemente) enredada y confundida por la “creencia” humana de lo que la respuesta correcta debe ser.

Los autores observan que un estudio de 1983 demostró que los participantes estaban sesgados por si la conclusión de un silogismo se ajustaba a sus propias creencias, observando:

Los participantes fueron mucho más propensos (90% de las veces) a decir erróneamente que un silogismo inválido era válido si la conclusión era creíble, y así dependían principalmente de la creencia en lugar del razonamiento abstracto.

Al probar el modelo Chinchilla contra una ronda de silogismos diversos, muchos de los cuales concluían con implicaciones falsas, los investigadores encontraron que el sesgo de creencia impulsa casi todas las decisiones de disparo cero. Si el modelo de lenguaje encuentra una conclusión inconsistente con la realidad, el modelo, según los autores, está “fuertemente sesgado” hacia declarar el argumento final inválido, incluso cuando el argumento final es una implicación lógica de las declaraciones anteriores.

Resultados de disparo cero para Chinchilla (disparo cero es la forma en que la mayoría de los sujetos de prueba recibirían estos desafíos, después de una explicación de la regla guía), ilustrando el vasto abismo entre la capacidad computacional de una computadora y la capacidad de un modelo de NLP para navegar este tipo de desafío lógico ‘nascente’.

La tarea de selección de Wason

Para la tercera prueba, se reformuló el desafío lógico de la tarea de selección de Wason en una serie de iteraciones variables para que el modelo de lenguaje lo resolviera.

La tarea de Wason, ideada en 1968, es aparentemente muy simple: se les muestra a los participantes cuatro cartas y se les dice una regla arbitraria, como “Si una carta tiene una ‘D’ en un lado, entonces tiene un ‘3’ en el otro lado”. Las caras visibles de las cartas muestran ‘D’, ‘F’, ‘3’ y ‘7’.

Los sujetos entonces se les pide que determinen qué cartas necesitan voltear para verificar si la regla es verdadera o falsa.

La solución correcta en este ejemplo es voltear las cartas ‘D’ y ‘7’. En pruebas anteriores, se encontró que mientras la mayoría de los sujetos humanos (humanos) elegirían correctamente ‘D’, eran más propensos a elegir ‘3’ en lugar de ‘7’, confundiendo el contrapositivo de la regla (‘no 3 implica no D’) con el converso (‘3 implica D’, que no es lógicamente implicado).

Los autores observan que la posibilidad de que las creencias previas intervengan en el proceso lógico en los sujetos humanos, y observan además que incluso los matemáticos académicos y los matemáticos de pregrado generalmente obtuvieron menos del 50% en esta tarea.

Sin embargo, cuando el esquema de una tarea de Wason refleja de alguna manera la experiencia práctica humana, el rendimiento tradicionalmente aumenta en consecuencia.

Los autores observan, refiriéndose a experimentos anteriores:

Si las cartas muestran edades y bebidas, y la regla es “si están bebiendo alcohol, entonces deben tener 21 años o más” y se muestran cartas con ‘cerveza’, ‘refresco’, ‘25’, ‘16’, la gran mayoría de los participantes eligen correctamente las cartas que muestran ‘cerveza’ y ‘16’.

Para probar el rendimiento del modelo de lenguaje en tareas de Wason, los investigadores crearon reglas realistas y arbitrarias diversas, algunas con “palabras sin sentido”, para ver si el AI podía penetrar el contexto del contenido y determinar qué “cartas virtuales” voltear.

Algunos de los muchos rompecabezas de la tarea de selección de Wason presentados en las pruebas.

Para las pruebas de Wason, el modelo funcionó de manera comparable a los humanos en tareas “realistas” (no sinsentido).

Resultados de la tarea de selección de Wason de disparo cero para Chinchilla, con el modelo funcionando bien por encima de la casualidad, al menos para las reglas ‘realistas’.

El artículo comenta:

Esto refleja los hallazgos en la literatura humana: los humanos son mucho más precisos al responder a la tarea de Wason cuando se formula en términos de situaciones realistas que cuando se trata de reglas arbitrarias sobre atributos abstractos.

Educación formal

Los hallazgos del artículo enmarcan el potencial de razonamiento de los sistemas de NLP de hipercala en el contexto de nuestras propias limitaciones, que parecemos estar pasando a los modelos a través de los conjuntos de datos del mundo real que los alimentan. Dado que la mayoría de nosotros no somos genios, tampoco lo son los modelos cuyos parámetros están informados por los nuestros.

Además, el nuevo trabajo concluye, tenemos al menos la ventaja de un período sostenido de educación formativa, y las motivaciones sociales, financieras y incluso sexuales adicionales que forman el imperativo humano. Todo lo que los modelos de NLP pueden obtener son las acciones resultantes de estos factores ambientales, y parecen estar conformándose al humano general en lugar del excepcional.

Los autores afirman:

Nuestros resultados muestran que los efectos de contenido pueden surgir simplemente del entrenamiento de un gran transformador para imitar el lenguaje producido por la cultura humana, sin incorporar estos mecanismos internos humanos específicos.

En otras palabras, los modelos de lenguaje y los humanos llegan a estos sesgos de contenido, pero a partir de arquitecturas, experiencias y objetivos de entrenamiento aparentemente muy diferentes.

Así, sugieren una especie de “entrenamiento de inducción” en razonamiento puro, que se ha demostrado que mejora el rendimiento del modelo para las matemáticas y el razonamiento general. También observan que los modelos de lenguaje también han sido entrenados o ajustados para seguir instrucciones mejor a un nivel abstracto o generalizado, y para verificar, corregir o desviar su propia salida.

* Mi conversión de citas en línea a enlaces.

Publicado por primera vez el 15 de julio de 2022.