Ubisoft forme un agent IA à conduire une voiture dans un jeu de course

Le terme « IA » est beaucoup utilisé dans les discussions sur les jeux vidéo, mais il est généralement utilisé pour désigner la logique qui contrôle les personnages non-joueurs dans les jeux vidéo, plutôt que pour faire référence à tout système piloté par ce que les informaticiens reconnaîtraient comme l'IA. . Les applications réelles de l’IA utilisant des réseaux de neurones artificiels sont assez rares dans l’industrie du jeu vidéo, mais comme le rapporte VentureBeat la société de jeux vidéo Ubisoft a récemment publié un document enquêter sur les utilisations possibles d'un agent d'IA formé avec l'apprentissage par renforcement.

Alors que des entités comme DeepMind et OpenAI ont étudié les performances des IA dans une variété de jeux vidéo, comme StarCraft 2, Dota 2 et Minecraft, très peu de recherches ont été menées sur l'utilisation de l'IA dans le cadre des contraintes spécifiques souvent rencontrées par les développeurs de jeux. Ubisoft La Forge, la branche de prototypage d'Ubisoft, a récemment publié un article détaillant un algorithme capable d'effectuer des actions prévisibles dans un jeu vidéo commercial. Selon le rapport, les algorithmes d'IA étaient capables d'atteindre les références actuelles et d'effectuer des tâches complexes de manière fiable.

Les auteurs de l'article notent que si l'apprentissage par renforcement a été utilisé à bon escient dans le contexte de certains jeux vidéo, atteignant souvent la parité avec les meilleurs joueurs humains desdits jeux, les systèmes créés par OpenAI et DeepMind sont rarement utiles aux développeurs de jeux. Les auteurs notent que le manque d'accessibilité est un problème important et que les résultats les plus impressionnants sont obtenus par des groupes de recherche ayant accès à des ressources informatiques à grande échelle, des ressources qui vont généralement bien au-delà de ce à quoi le développeur de jeux moyen a accès. Les chercheurs ont écrit :

"Ces systèmes ont relativement peu été utilisés dans l'industrie du jeu vidéo, et nous pensons que le manque d'accessibilité en est une des principales raisons. En effet, des résultats vraiment impressionnants… sont produits par de grands groupes de recherche avec des ressources informatiques bien au-delà de ce qui est généralement disponible dans les studios de jeux vidéo.

L'équipe de recherche d'Ubisoft visait à remédier à certains de ces problèmes en créant une approche d'apprentissage par renforcement optimisée pour des problèmes tels que la collecte d'échantillons de données et les contraintes budgétaires d'exécution. La solution d'Ubisoft a été adaptée à partir de recherches effectuées à l'Université de Californie à Berkeley. Le modèle Soft Actor-Critic développé par les recherches de l'UC Berkely est capable de créer un modèle qui peut efficacement se généraliser à de nouvelles conditions et est beaucoup plus efficace que la plupart des modèles. L'équipe d'Ubisoft a adopté cette approche et l'a adaptée pour les actions discrètes et continues.

L'équipe de recherche d'Ubisoft a évalué les performances de leur algorithme sur trois jeux différents. Deux jeux de football ont été utilisés pour tester l'algorithme, ainsi qu'un simple jeu de plateforme. Alors que les résultats de ces jeux étaient légèrement pires que les résultats de pointe de l'industrie, un autre test a été effectué dans lequel les algorithmes ont bien mieux fonctionné. Les chercheurs ont utilisé un jeu vidéo de conduite comme cas de test, demandant à l'agent d'IA de suivre un chemin donné et de négocier des obstacles dans un environnement dont l'agent n'avait pas été témoin pendant la formation. Il y avait deux actions continues, direction et accélération, ainsi qu'une action binaire (freinage).

Les chercheurs ont résumé leurs résultats dans l'article, déclarant que l'approche hybride Soft Actor-Critic a réussi lors de la formation d'un agent d'IA à conduire à grande vitesse dans un jeu vidéo disponible dans le commerce. Selon les chercheurs, leur approche de formation peut potentiellement fonctionner pour une grande variété d'approches d'interaction possibles. Ceux-ci incluent des cas où l'agent d'IA a exactement les mêmes options d'entrée que le joueur, démontrant "l'utilité pratique d'un tel algorithme pour l'industrie du jeu vidéo".