Agentes de IA Demonstram Propriedades de Inteligência Emergente em Jogo Virtual de Esconde-Esconde

Um dos fatos interessantes sobre a pesquisa de IA é que ela pode frequentemente executar ações e perseguir estratégias que surpreendem os próprios pesquisadores que as projetam. Isso aconteceu durante um recente jogo virtual de esconde-esconde, onde vários agentes de IA foram colocados uns contra os outros. Pesquisadores da OpenAI, uma empresa de IA com sede em São Francisco, ficaram surpresos ao descobrir que seus agentes de IA começaram a explorar estratégias no mundo do jogo que os pesquisadores não sabiam que existiam.

A OpenAI treinou um grupo de agentes de IA para jogar um jogo de esconde-esconde uns contra os outros. Os programas de IA são treinados com aprendizado por reforço, uma técnica na qual o comportamento desejado é obtido dos algoritmos de IA fornecendo feedback aos algoritmos. A IA começa executando ações aleatórias, e cada vez que executa uma ação que a aproxima de seu objetivo, o agente é recompensado. A IA deseja obter a maior quantidade de recompensa possível, então experimenta para ver quais ações lhe dão mais recompensa. Por meio de tentativa e erro, a IA é capaz de distinguir estratégias que a levarão à vitória, aquelas que lhe darão a maior recompensa.

Aprendizado por reforço já demonstrou sucesso impressionante em aprender as regras de jogos. A OpenAI recentemente treinou uma equipe de IA para jogar o MMORPG DOTA 2, e a IA derrotou uma equipe de jogadores humanos campeã mundial no ano passado. Algo semelhante aconteceu com o jogo StarCraft, quando uma IA foi treinada no jogo pela DeepMind. O aprendizado por reforço também foi usado para ensinar programas de IA a jogar Pictionary com humanos, aprendendo a interpretar imagens e usar raciocínio básico.

No jogo de esconde-esconde criado pelos pesquisadores, vários agentes de IA foram colocados uns contra os outros. O resultado foi uma corrida armamentista, onde cada agente quer superar o outro e obter a maior quantidade de pontos de recompensa. Uma nova estratégia adotada por um agente fará com que seu oponente busque uma nova estratégia para contra-atacar, e vice-versa. Igor Mordatch, um pesquisador da OpenAI, explicou à IEEE Spectrum que o experimento demonstra que esse processo de tentativa e erro entre agentes “é suficiente para que os agentes aprendam comportamentos surpreendentes por conta própria — é como crianças brincando umas com as outras”.

Quais foram os comportamentos surpreendentes exatamente? Os pesquisadores tinham quatro estratégias básicas que esperavam que os agentes de IA aprendessem, e eles aprenderam essas estratégias rapidamente, se tornando competentes nelas após apenas 25 milhões de jogos simulados. O jogo ocorreu em um ambiente 3D cheio de rampas, blocos e paredes. Os agentes de IA aprenderam a perseguir uns aos outros, mover blocos para construir fortalezas onde pudessem se esconder e mover rampas. Os agentes de busca aprenderam a arrastar rampas para entrar nas fortalezas dos escondidos, enquanto os escondidos aprenderam a tentar levar as rampas para dentro de suas fortalezas para que os buscadores não as pudessem usar.

No entanto, por volta do marco de 380 milhões de jogos, algo inesperado aconteceu. Os agentes de IA aprenderam a usar duas estratégias que os pesquisadores não esperavam. Os agentes de busca aprenderam que, pulando em uma caixa e inclinando/andando na caixa em direção a uma fortaleza próxima, eles podiam pular dentro da fortaleza e encontrar o escondido. Os pesquisadores não sabiam que isso era possível dentro da física do ambiente do jogo. Os escondidos aprenderam a lidar com esse problema arrastando as caixas para dentro de suas fortalezas.

Embora o comportamento inesperado dos agentes treinados com algoritmos de aprendizado por reforço seja inofensivo nesse caso, ele levanta algumas preocupações potenciais sobre como o aprendizado por reforço é aplicado a outras situações. Um membro da equipe de pesquisa da OpenAI, Bowen Baker, explicou à IEEE Spectrum que esses comportamentos inesperados poderiam ser potencialmente perigosos. Afinal, e se robôs começarem a se comportar de maneira inesperada?

“Construir esses ambientes é difícil”, explicou Baker. “Os agentes vão criar esses comportamentos inesperados, o que será um problema de segurança no futuro, quando os colocarmos em ambientes mais complexos.”

No entanto, Baker também explicou que as estratégias de reforço poderiam levar a soluções inovadoras para problemas atuais. Sistemas treinados com aprendizado por reforço poderiam resolver uma ampla gama de problemas com soluções que talvez não sejamos capazes de imaginar.