DeepMind informa sobre un nuevo método de entrenamiento de aprendizaje de refuerzo de IA de manera segura

El aprendizaje de refuerzo es una prometedora área de desarrollo de la IA, que produce IA que puede manejar tareas extremadamente complejas. Los algoritmos de aprendizaje de refuerzo se utilizan en la creación de sistemas de robótica móvil y coches autónomos, entre otras aplicaciones. Sin embargo, debido a la forma en que se entrena el aprendizaje de refuerzo, ocasionalmente pueden manifestar comportamientos extraños e inesperados. Estos comportamientos pueden ser peligrosos, y los investigadores de la IA se refieren a este problema como el problema de “exploración segura”, que es donde la IA se queda atrapada en la exploración de estados inseguros.

Recientemente, el laboratorio de investigación de IA de Google (GOOGL ), DeepMind, publicó un artículo que propuso nuevos métodos para abordar el problema de la exploración segura y entrenar el aprendizaje de refuerzo de la IA de manera más segura. El método sugerido por DeepMind también corrige la explotación de recompensas o agujeros en los criterios de recompensa.

El nuevo método de DeepMind tiene dos sistemas diferentes destinados a guiar el comportamiento de la IA en situaciones en las que puede surgir un comportamiento inseguro. Los dos sistemas utilizados por la técnica de entrenamiento de DeepMind son un modelo generativo y un modelo de dinámica hacia adelante. Ambos modelos se entrenan con una variedad de datos, como demostraciones de expertos en seguridad y trayectorias de vehículos completamente aleatorias. Los datos se etiquetan con valores de recompensa específicos por parte de un supervisor, y el agente de la IA recoge patrones de comportamiento que le permiten recoger la mayor recompensa. Los estados inseguros también se han etiquetado, y una vez que el modelo ha podido predecir con éxito las recompensas y los estados inseguros, se despliega para realizar las acciones objetivo.

El equipo de investigación explica en el artículo que la idea es crear comportamientos posibles desde cero, sugerir los comportamientos deseados y tener estos escenarios hipotéticos lo más informativos posible al mismo tiempo que se evita la interferencia directa con el entorno de aprendizaje. El equipo de DeepMind se refiere a este enfoque como ReQueST, o síntesis de consulta de recompensa a través de la optimización de trayectoria.

ReQueST es capaz de llevar a cuatro tipos diferentes de comportamiento. El primer tipo de comportamiento intenta maximizar la incertidumbre con respecto a los modelos de recompensa del conjunto. Mientras que el comportamiento dos y tres intentan minimizar y maximizar las recompensas predichas. Las recompensas predichas se minimizan para llevar al descubrimiento de comportamientos que el modelo puede estar prediciendo incorrectamente. Por otro lado, la recompensa predicha se maximiza para llevar a etiquetas de comportamiento que poseen el valor de información más alto. Finalmente, el cuarto tipo de comportamiento intenta maximizar la novedad de las trayectorias, para que el modelo continúe explorando independientemente de las recompensas proyectadas.

Una vez que el modelo ha alcanzado el nivel deseado de recolección de recompensas, se utiliza un agente de planificación para tomar decisiones basadas en las recompensas aprendidas. Este esquema de control predictivo del modelo permite que los agentes aprendan a evitar estados inseguros utilizando el modelo dinámico y prediciendo las consecuencias posibles, en contraste con los comportamientos de los algoritmos que aprenden a través de la prueba y el error.

Como informó VentureBeat, los investigadores de DeepMind creen que su proyecto es el primer sistema de aprendizaje de refuerzo que es capaz de aprender de manera controlada y segura:

“Hasta donde sabemos, ReQueST es el primer algoritmo de modelado de recompensa que aprende de manera segura sobre estados inseguros y se escala al entrenamiento de modelos de recompensa de redes neuronales en entornos con estados continuos de alta dimensión. Hasta ahora, solo hemos demostrado la efectividad de ReQueST en dominios simulados con dinámicas relativamente simples. Una dirección para el trabajo futuro es probar ReQueST en dominios 3D con física más realista y otros agentes que actúan en el entorno”.