Ubisoft forme un agent IA pour conduire une voiture dans un jeu de course

Le terme « IA » est souvent utilisé dans les discussions sur les jeux vidéo, mais il est généralement utilisé pour désigner la logique qui contrôle les personnages non joueurs dans les jeux vidéo, plutôt que de se référer à tout système piloté par ce que les informaticiens reconnaîtraient comme de l’IA. Les applications réelles de l’IA utilisant des réseaux de neurones artificiels sont assez rares dans l’industrie du jeu vidéo, mais comme le rapporte VentureBeat l’entreprise de jeux Ubisoft a récemment publié un document examinant les utilisations possibles d’un agent IA formé avec un apprentissage par renforcement.

Alors que des entités comme DeepMind et OpenAI ont étudié la façon dont les IA se comportent dans divers jeux vidéo, comme StarCraft 2, Dota 2, et Minecraft, très peu de recherches ont été effectuées sur l’utilisation de l’IA sous les contraintes spécifiques souvent rencontrées par les développeurs de jeux. Ubisoft La Forge, le bras de prototypage d’Ubisoft, vient de publier un document détaillant un algorithme capable de réaliser des actions prévisibles dans un jeu vidéo commercial. Selon le rapport, les algorithmes IA étaient capables d’atteindre les benchmarks actuels et de réaliser des tâches complexes de manière fiable.

Les auteurs du document notent que même si l’apprentissage par renforcement a été utilisé avec succès dans le contexte de certains jeux vidéo, souvent en atteignant la parité avec les meilleurs joueurs humains de ces jeux, les systèmes créés par OpenAI et DeepMind sont rarement utiles pour les développeurs de jeux. Les auteurs notent que le manque d’accessibilité est un problème important et que les résultats les plus impressionnants sont obtenus par des groupes de recherche ayant accès à des ressources computationnelles à grande échelle, ressources qui dépassent généralement celles dont dispose le développeur de jeux moyen. Les chercheurs ont écrit :

« Ces systèmes ont vu peu d’utilisation dans l’industrie du jeu vidéo, et nous croyons que le manque d’accessibilité en est une raison majeure. En effet, les résultats vraiment impressionnants … sont produits par de grands groupes de recherche avec des ressources computationnelles bien au-delà de ce qui est généralement disponible dans les studios de jeux vidéo. »

L’équipe de recherche d’Ubisoft a cherché à remédier à certains de ces problèmes en créant une approche d’apprentissage par renforcement qui optimise les problèmes tels que la collecte d’échantillons de données et les contraintes de budget de temps de calcul. La solution d’Ubisoft a été adaptée de recherches effectuées à l’Université de Californie, Berkeley. Le modèle Soft Actor-Critic développé par les chercheurs de UC Berkeley peut créer un modèle qui peut effectivement généraliser à de nouvelles conditions et est beaucoup plus efficace en termes d’échantillons que la plupart des modèles. L’équipe d’Ubisoft a pris cette approche et l’a adaptée pour les actions discrètes et continues.

L’équipe de recherche d’Ubisoft a évalué les performances de leur algorithme sur trois jeux différents. Deux jeux de soccer ont été utilisés pour tester l’algorithme, ainsi qu’un jeu de plateforme simple. Même si les résultats pour ces jeux étaient légèrement inférieurs aux résultats de l’industrie, un autre test a été effectué dans lequel les algorithmes ont performé beaucoup mieux. Les chercheurs ont utilisé un jeu de course comme cas de test, faisant suivre à l’agent IA un chemin donné et négocier des obstacles dans un environnement que l’agent n’avait pas vu pendant l’entraînement. Il y avait deux actions continues, la direction et l’accélération, ainsi qu’une action binaire (freinage).

Les chercheurs ont résumé leurs résultats dans le document, déclarant que l’approche hybride Soft Actor-Critic a été couronnée de succès lors de la formation d’un agent IA pour conduire à haute vitesse dans un jeu vidéo commercial. Selon les chercheurs, leur approche d’entraînement peut potentiellement fonctionner pour une grande variété d’approches d’interaction possibles. Cela inclut des cas où l’agent IA a les mêmes options d’entrée que le joueur, démontrant « l’utilité pratique d’un tel algorithme pour l’industrie du jeu vidéo ».