Ubisoft Entrena a un Agente de IA para Conducir un Coche en un Juego de Carreras

El término “IA” se utiliza mucho en las discusiones sobre videojuegos, pero generalmente se utiliza para referirse a la lógica que controla a los personajes no jugables en los videojuegos, en lugar de referirse a cualquier sistema impulsado por lo que los científicos informáticos reconocerían como IA. Las aplicaciones reales de la IA que utilizan redes neuronales artificiales son bastante raras dentro de la industria de los videojuegos, pero como informa VentureBeat la empresa de juegos Ubisoft ha publicado recientemente un documento que investiga los posibles usos de un agente de IA entrenado con aprendizaje por refuerzo.

Mientras que entidades como DeepMind y OpenAI han investigado cómo las IA se desempeñan en una variedad de videojuegos, como StarCraft 2, Dota 2, y Minecraft, se ha realizado muy poca investigación sobre el uso de la IA bajo las restricciones específicas que a menudo enfrentan los desarrolladores de juegos. Ubisoft La Forge, el brazo de prototipos de Ubisoft, acaba de publicar un documento que detalla un algoritmo capaz de realizar acciones predecibles dentro de un videojuego comercial. Según el informe, los algoritmos de IA fueron capaces de alcanzar los benchmarks actuales y realizar tareas complejas de manera fiable.

Los autores del documento señalan que, si bien el aprendizaje por refuerzo ha sido utilizado con gran efecto en el contexto de ciertos videojuegos, a menudo logrando la paridad con los mejores jugadores humanos de dichos juegos, los sistemas creados por OpenAI y DeepMind rara vez son útiles para los desarrolladores de juegos. Los autores señalan que la falta de accesibilidad es un gran problema y que los resultados más impresionantes se obtienen por grupos de investigación con recursos computacionales a gran escala, recursos que generalmente van más allá de lo que el desarrollador de juegos promedio tiene acceso. Escribieron los investigadores:

“Estos sistemas han visto relativamente poco uso dentro de la industria de los videojuegos, y creemos que la falta de accesibilidad es una razón importante detrás de esto. De hecho, los resultados realmente impresionantes… son producidos por grandes grupos de investigación con recursos computacionales bien beyond lo que es típicamente disponible dentro de los estudios de videojuegos.”

El equipo de investigación de Ubisoft se propuso remediar algunos de estos problemas creando un enfoque de aprendizaje por refuerzo que optimizara cuestiones como la recopilación de muestras de datos y las limitaciones presupuestarias de tiempo de ejecución. La solución de Ubisoft se adaptó de la investigación realizada en la Universidad de California, Berkeley. El modelo Soft Actor-Critic desarrollado por los investigadores de UC Berkeley es capaz de crear un modelo que pueda generalizar eficazmente a nuevas condiciones y es mucho más eficiente en muestras que la mayoría de los modelos. El equipo de Ubisoft tomó este enfoque y lo adaptó para acciones discretas y continuas.

El equipo de investigación de Ubisoft evaluó el rendimiento de su algoritmo en tres juegos diferentes. Se utilizaron dos juegos de fútbol para probar el algoritmo, así como un juego de plataformas simple. Mientras que los resultados para estos juegos fueron ligeramente peores que los resultados de la industria de vanguardia, se realizó otra prueba en la que los algoritmos se desempeñaron mucho mejor. Los investigadores utilizaron un juego de carreras de video como su caso de prueba, haciendo que el agente de IA siga una ruta dada y negocie obstáculos en un entorno que el agente no había presenciado durante el entrenamiento. Había dos acciones continuas, dirección y aceleración, así como una acción binaria (frenado).

Los investigadores resumieron sus resultados en el documento, declarando que el enfoque híbrido Soft Actor-Critic fue exitoso al entrenar a un agente de IA para conducir a altas velocidades en un videojuego comercialmente disponible. Según los investigadores, su enfoque de entrenamiento puede potencialmente funcionar para una amplia variedad de enfoques de interacción posibles. Estos incluyen instancias en las que el agente de IA tiene las mismas opciones de entrada que el jugador, demostrando la “utilidad práctica de dicho algoritmo para la industria de los videojuegos.”