Ubisoft Treina Agente de IA para Dirigir um Carro em um Jogo de Corrida

O termo “IA” é usado muito em discussões de jogos de vídeo, mas é tipicamente usado para se referir à lógica que controla personagens não jogáveis em jogos de vídeo, em vez de se referir a qualquer sistema impulsionado pelo que os cientistas da computação reconhecem como IA. Aplicações reais de IA que utilizam redes neurais artificiais são relativamente raras dentro da indústria de jogos de vídeo, mas conforme o VentureBeat relata a empresa de jogos Ubisoft publicou recentemente um artigo investigando possíveis usos para um agente de IA treinado com aprendizado por reforço.

Enquanto entidades como DeepMind e OpenAI investigaram como as IAs se saem em uma variedade de jogos de vídeo, como StarCraft 2, Dota 2, e Minecraft, muito pouca pesquisa foi feita sobre o uso de IA sob as restrições específicas frequentemente enfrentadas pelos desenvolvedores de jogos. A Ubisoft La Forge, o braço de prototipagem da Ubisoft, acaba de publicar um artigo detalhando um algoritmo capaz de realizar ações previsíveis dentro de um jogo de vídeo comercial. De acordo com o relatório, os algoritmos de IA foram capazes de atingir os benchmarks atuais e realizar tarefas complexas de forma confiável.

Os autores do artigo observam que, embora o aprendizado por reforço tenha sido usado com grande efeito no contexto de certos jogos de vídeo, frequentemente alcançando a paridade com os melhores jogadores humanos desses jogos, os sistemas criados pela OpenAI e DeepMind raramente são úteis para os desenvolvedores de jogos. Os autores observam que a falta de acessibilidade é um grande problema e que os resultados mais impressionantes são obtidos por grupos de pesquisa com acesso a recursos computacionais em larga escala, recursos que normalmente ultrapassam o que o desenvolvedor de jogos médio tem acesso. Os pesquisadores escreveram:

“Esses sistemas têm comparativamente pouco uso dentro da indústria de jogos de vídeo, e acreditamos que a falta de acessibilidade seja uma razão importante para isso. De fato, resultados realmente impressionantes … são produzidos por grandes grupos de pesquisa com recursos computacionais bem além do que é típico dentro dos estúdios de jogos de vídeo.”

A equipe de pesquisa da Ubisoft visou remediar alguns desses problemas criando uma abordagem de aprendizado por reforço que otimiza problemas como coleta de amostras de dados e restrições orçamentárias de tempo de execução. A solução da Ubisoft foi adaptada de pesquisas realizadas na Universidade da Califórnia, Berkeley. O modelo Soft Actor-Critic desenvolvido pelos pesquisadores da UC Berkeley é capaz de criar um modelo que pode efetivamente generalizar para novas condições e é muito mais eficiente em termos de amostras do que a maioria dos modelos. A equipe da Ubisoft adaptou essa abordagem para ações discretas e contínuas.

A equipe de pesquisa da Ubisoft avaliou o desempenho de seu algoritmo em três jogos diferentes. Foram usados dois jogos de futebol para testar o algoritmo, bem como um jogo de plataforma simples. Embora os resultados para esses jogos tenham sido ligeiramente piores do que os resultados da indústria de ponta, outro teste foi realizado no qual os algoritmos se saíram muito melhor. Os pesquisadores usaram um jogo de corrida como caso de teste, tendo o agente de IA seguir um caminho determinado e negociar obstáculos em um ambiente que o agente não havia visto durante o treinamento. Havia duas ações contínuas, direção e aceleração, bem como uma ação binária (freio).

Os pesquisadores resumiram seus resultados no artigo, declarando que a abordagem híbrida Soft Actor-Critic foi bem-sucedida ao treinar um agente de IA para dirigir a altas velocidades em um jogo de vídeo comercialmente disponível. De acordo com os pesquisadores, sua abordagem de treinamento pode potencialmente funcionar para uma ampla variedade de abordagens de interação possíveis. Isso inclui instâncias em que o agente de IA tem as mesmas opções de entrada que o jogador, demonstrando a “utilidade prática de tal algoritmo para a indústria de jogos de vídeo.”