Pesquisadores de IA Criam Modelo de Jogo de Vídeo que Pode Lembrar Eventos Passados

Uma equipe de pesquisadores do laboratório de IA da Uber desenvolveu recentemente um sistema de algoritmos de IA que superou tanto jogadores humanos quanto outros sistemas de IA em jogos de vídeo clássicos do Atari. O sistema de IA desenvolvido pelos pesquisadores é capaz de lembrar estratégias previamente bem-sucedidas, criando novas estratégias com base no que funcionou no passado. A equipe de pesquisa acredita que os algoritmos que desenvolveram têm aplicações potenciais em outros campos técnicos, como processamento de linguagem e robótica.

O método típico usado para criar sistemas de IA capazes de jogar jogos de vídeo é usar um algoritmo de aprendizado por reforço. Algoritmos de aprendizado por reforço aprendem a realizar uma tarefa explorando uma gama de ações possíveis, e após cada ação, são fornecidos com um tipo de reforço (recompensa ou punição). Com o tempo, o modelo de IA aprende quais ações levam a recompensas maiores e se torna mais provável de realizar essas ações. Infelizmente, os modelos de aprendizado por reforço têm problemas quando encontram dados inconsistentes com os demais no conjunto de dados.

De acordo com a equipe de pesquisa, o motivo pelo qual sua abordagem não foi considerada por outros pesquisadores de IA é que a estratégia difere da abordagem de “motivação intrínseca” típica usada no aprendizado por reforço. O problema com a abordagem de motivação intrínseca é que o modelo pode ser propenso a “esquecer” áreas potencialmente recompensadoras que ainda merecem exploração. Esse fenômeno é conhecido como “desconexão”. Como consequência, quando o modelo encontra dados inesperados, pode esquecer áreas que ainda devem ser exploradas.

De acordo com o TechXplore, a equipe de pesquisa se propôs a criar um modelo de aprendizado mais flexível e capaz de responder a dados inesperados. Os pesquisadores superaram esse problema introduzindo um algoritmo capaz de lembrar todas as ações tomadas por uma versão anterior do modelo quando tentou resolver um problema. Quando o modelo de IA encontra um ponto de dados que não é consistente com o que aprendeu até agora, o modelo verifica seu mapa de memória. O modelo então identifica quais estratégias tiveram sucesso e falharam e escolhe estratégias apropriadas.

Quando joga um jogo de vídeo, o modelo coleta telas do jogo à medida que joga, criando um registro de suas ações. As imagens são agrupadas com base na semelhança, formando pontos claros no tempo que o modelo pode referenciar. O algoritmo pode usar as imagens registradas para retornar a um ponto interessante no tempo e continuar explorando a partir daí. Quando o modelo descobre que está perdendo, refere-se às telas capturadas e tenta uma estratégia diferente.

Como explicado pela BBC, também há o problema de lidar com cenários perigosos para o agente de IA que joga o jogo. Se o agente encontrar um perigo que possa matá-lo, isso o impediria de retornar a áreas que merecem mais exploração, um problema conhecido como “descarrilamento”. O modelo de IA lida com problemas de descarrilamento por meio de um processo separado do usado para encorajar a exploração de áreas antigas.

A equipe de pesquisa fez o modelo jogar 55 jogos do Atari. Esses jogos são comumente usados para medir o desempenho de modelos de IA, mas os pesquisadores adicionaram uma reviravolta para o seu modelo. Os pesquisadores introduziram regras adicionais para os jogos, instruindo o modelo a não apenas alcançar a pontuação mais alta possível, mas a tentar alcançar uma pontuação ainda mais alta a cada vez. Quando os resultados do desempenho do modelo foram analisados, os pesquisadores descobriram que o seu sistema de IA superou outros sistemas de IA nos jogos cerca de 85% do tempo. O modelo se saiu particularmente bem no jogo Montezuma’s Revenge, um jogo de plataforma onde o jogador evita perigos e coleta tesouros. O modelo venceu o recorde de um jogador humano e também marcou mais do que qualquer outro sistema de IA.

De acordo com os pesquisadores de IA da Uber, as estratégias usadas pela equipe de pesquisa têm aplicações para indústrias como robótica. Os robôs se beneficiam da capacidade de lembrar quais ações são bem-sucedidas, quais não funcionaram e quais ainda não foram tentadas.