Ubisoft Entrena a un Agente de IA para Conducir un Coche en un Juego de Carreras

El término “IA” se utiliza mucho en las discusiones sobre videojuegos, pero generalmente se utiliza para referirse a la lógica que controla a los personajes no jugables en los videojuegos, en lugar de referirse a cualquier sistema impulsado por lo que los científicos informáticos reconocerían como IA. Las aplicaciones reales de IA que utilizan redes neuronales artificiales son bastante raras dentro de la industria de los videojuegos, pero como informa VentureBeat la compañía de juegos Ubisoft ha publicado recientemente un documento que investiga los posibles usos de un agente de IA entrenado con aprendizaje por refuerzo.

Mientras que entidades como DeepMind y OpenAI han investigado cómo los IA se desempeñan en una variedad de videojuegos, como StarCraft 2, Dota 2, y Minecraft, se ha realizado muy poca investigación sobre el uso de IA bajo las restricciones específicas que a menudo enfrentan los desarrolladores de juegos. Ubisoft La Forge, el brazo de prototipos de Ubisoft, acaba de publicar un documento que detalla un algoritmo capaz de realizar acciones predecibles dentro de un videojuego comercial. Según el informe, los algoritmos de IA fueron capaces de alcanzar los benchmarks actuales y realizar tareas complejas de manera fiable.

Los autores del documento señalan que, si bien el aprendizaje por refuerzo ha sido utilizado con gran efecto en el contexto de ciertos videojuegos, a menudo alcanzando la paridad con los mejores jugadores humanos de dichos juegos, los sistemas creados por OpenAI y DeepMind rara vez son útiles para los desarrolladores de juegos. Los autores señalan que la falta de accesibilidad es un gran problema y que los resultados más impresionantes se obtienen por grupos de investigación con acceso a recursos computacionales a gran escala, recursos que generalmente van mucho más allá de lo que el desarrollador de juegos promedio tiene acceso. Los investigadores escribieron:

“Estos sistemas han visto poco uso dentro de la industria de los videojuegos, y creemos que la falta de accesibilidad es una de las principales razones detrás de esto. De hecho, los resultados más impresionantes… son producidos por grandes grupos de investigación con recursos computacionales bien beyond lo que está disponible típicamente dentro de los estudios de videojuegos”.

El equipo de investigación de Ubisoft buscó remediar algunos de estos problemas creando un enfoque de aprendizaje por refuerzo que se optimizó para problemas como la recolección de muestras de datos y las limitaciones presupuestarias de tiempo de ejecución. La solución de Ubisoft se adaptó de la investigación realizada en la Universidad de California, Berkeley. El modelo Soft Actor-Critic desarrollado por los investigadores de UC Berkeley puede crear un modelo que pueda generalizar eficazmente a nuevas condiciones y es mucho más eficiente en muestras que la mayoría de los modelos. El equipo de Ubisoft tomó este enfoque y lo adaptó para acciones discretas y continuas.

El equipo de investigación de Ubisoft evaluó el rendimiento de su algoritmo en tres juegos diferentes. Se utilizaron dos juegos de fútbol para probar el algoritmo, así como un juego de plataformas simple. Mientras que los resultados para estos juegos fueron ligeramente peores que los resultados de la industria de estado del arte, se realizó otra prueba en la que los algoritmos funcionaron mucho mejor. Los investigadores utilizaron un juego de carreras como caso de prueba, haciendo que el agente de IA siguiera un camino determinado y negociara obstáculos en un entorno que el agente no había presenciado durante el entrenamiento. Había dos acciones continuas, dirección y aceleración, así como una acción binaria (frenado).

Los investigadores resumieron sus resultados en el documento, declarando que el enfoque híbrido Soft Actor-Critic fue exitoso al entrenar a un agente de IA para conducir a altas velocidades en un videojuego comercialmente disponible. Según los investigadores, su enfoque de entrenamiento puede funcionar potencialmente para una amplia variedad de enfoques de interacción posibles. Estos incluyen instancias en las que el agente de IA tiene las mismas opciones de entrada que el jugador, demostrando la “utilidad práctica de tal algoritmo para la industria de los videojuegos”.