Investigadores buscan en los animales inspiración para dar a los sistemas de aprendizaje de refuerzo un sentido común

Investigadores de inteligencia artificial de institutos como el Imperial College London, la Universidad de Cambridge y Google DeepMind están buscando en los animales inspiración para mejorar el rendimiento de los sistemas de aprendizaje de refuerzo. En un artículo conjunto publicado en CellPress Reviews, titulado “Inteligencia artificial y el sentido común de los animales”, los investigadores argumentan que la cognición animal proporciona puntos de referencia y métodos de evaluación útiles para los agentes de aprendizaje de refuerzo y también puede informar la ingeniería de tareas y entornos.

Los investigadores y ingenieros de inteligencia artificial han buscado durante mucho tiempo en las redes neuronales biológicas inspiración para diseñar algoritmos, utilizando principios de la ciencia del comportamiento y la neurociencia para informar la estructura de los algoritmos. Sin embargo, la mayoría de las pistas que los investigadores de inteligencia artificial toman de los campos de la neurociencia y la ciencia del comportamiento se basan en humanos, con la cognición de los niños pequeños y los infantes como punto de referencia. Los investigadores de inteligencia artificial aún no han encontrado mucha inspiración en los modelos animales, pero la cognición animal es un recurso inexplorado que tiene el potencial de conducir a avances importantes en el espacio de aprendizaje de refuerzo.

Los sistemas de aprendizaje de refuerzo profundo se entrenan a través de un proceso de prueba y error, reforzados con recompensas cada vez que un agente de aprendizaje de refuerzo se acerca a completar un objetivo deseado. Esto es muy similar a enseñar a un animal a realizar una tarea deseada utilizando comida como recompensa. Los biólogos y especialistas en cognición animal han realizado muchos experimentos evaluando las capacidades cognitivas de una variedad de animales diferentes, incluyendo perros, osos, ardillas, cerdos, cuervos, delfines, gatos, ratones, elefantes y pulpos. Muchos animales exhiben impresionantes muestras de inteligencia, y algunos animales como los elefantes y los delfines pueden tener incluso una teoría de la mente.

Observar el cuerpo de investigación realizado sobre la cognición animal podría inspirar a los investigadores de inteligencia artificial a considerar problemas desde diferentes ángulos. A medida que el aprendizaje de refuerzo profundo se ha vuelto más poderoso y sofisticado, los investigadores de inteligencia artificial especializados en el campo están buscando nuevas formas de probar las capacidades cognitivas de los agentes de aprendizaje de refuerzo. En el artículo de investigación, el equipo de investigación hace referencia a los tipos de experimentos realizados con primates y aves, mencionando que apuntan a diseñar sistemas capaces de realizar tareas similares, dándole a la inteligencia artificial una especie de “sentido común”. Según los autores del artículo, “abogan por un enfoque en el que los agentes de RL, quizás con arquitecturas aún no desarrolladas, adquieran lo que se necesita a través de una interacción prolongada con entornos virtuales ricos.”

Según informa VentureBeat, los investigadores de inteligencia artificial argumentan que el sentido común no es un rasgo único de los humanos y que depende de una comprensión de las propiedades básicas del mundo físico, como cómo un objeto ocupa un punto y un espacio, qué restricciones hay en el movimiento de ese objeto y una apreciación de la causa y el efecto. Los animales exhiben estos rasgos en estudios de laboratorio. Por ejemplo, los cuervos entienden que los objetos son cosas permanentes, ya que pueden recuperar semillas incluso cuando la semilla está oculta detrás de otro objeto.

Para dotar a un sistema de aprendizaje de refuerzo de estas propiedades, los investigadores argumentan que necesitarán crear tareas que, cuando se combinan con la arquitectura adecuada, crearán agentes capaces de transferir principios aprendidos a otras tareas. Los investigadores argumentan que el entrenamiento para dicho modelo debería involucrar técnicas que requieran que un agente adquiera una comprensión de un concepto después de ser expuesto a solo unos pocos ejemplos, llamado entrenamiento de pocos disparos. Esto contrasta con los cientos o miles de pruebas que normalmente se utilizan en el entrenamiento de prueba y error de un agente de RL.

El equipo de investigación explica que, si bien algunos agentes de RL modernos pueden aprender a resolver múltiples tareas, algunas de las cuales requieren la transferencia básica de principios aprendidos, no está claro que los agentes de RL puedan aprender un concepto tan abstracto como el “sentido común”. Si hubiera un agente potencialmente capaz de aprender dicho concepto, necesitarían pruebas capaces de determinar si un agente de RL entendía el concepto de un contenedor.

DeepMind en particular está emocionado de involucrarse en nuevas y diferentes formas de desarrollar y probar agentes de aprendizaje de refuerzo. Recientemente, en la conferencia Stanford HAI que tuvo lugar a principios de octubre, el jefe de investigación de neurociencia de DeepMind, Matthew Botvinick, instó a los investigadores y ingenieros de aprendizaje automático a colaborar más en otros campos de la ciencia. Botvinick destacó la importancia del trabajo interdisciplinario con psicólogos y neurociencia para el campo de la inteligencia artificial en una charla titulada “Triangulando la inteligencia: fusionando neurociencia, psicología y IA”.