AIs para Competir no Concurso de Aprendizado de Máquina do Minecraft

Conforme relatado pela Nature, um novo concurso de IA está prestes a ocorrer, o concurso MineRL, que incentivará os engenheiros e codificadores de IA a criar programas capazes de aprender por observação e exemplo. O caso de teste para esses sistemas de IA será o popular jogo de vídeo de sobrevivência e crafting Minecraft.

Os sistemas de inteligência artificial têm alcançado alguns feitos impressionantes recentemente quando se trata de jogos de vídeo. Recentemente, uma IA superou os melhores jogadores humanos do mundo no jogo de estratégia StarCraft II. No entanto, o StarCraft II tem objetivos definidos que são mais fáceis de dividir em etapas coerentes que uma IA pode usar para treinar. Uma tarefa muito mais difícil é para uma IA aprender a navegar em um jogo de mundo aberto e sandbox como o Minecraft. Os pesquisadores estão tentando ajudar os programas de IA a aprender por observação e exemplo, e se forem bem-sucedidos, eles poderiam reduzir substancialmente a quantidade de poder de processamento necessário para treinar um programa de inteligência artificial.

Os participantes do concurso terão quatro dias para criar uma IA que será testada com o Minecraft, levando até oito milhões de etapas para treinar sua IA. O objetivo da IA é encontrar um diamante dentro do jogo cavando. Oito milhões de etapas de treinamento é um período de tempo muito mais curto do que o necessário para treinar modelos de IA poderosos nos dias de hoje, então os participantes do concurso precisam engenhar métodos que melhorem drasticamente os métodos de treinamento atuais.

As abordagens utilizadas pelos participantes são baseadas em um tipo de aprendizado chamado aprendizado por imitação. O aprendizado por imitação contrasta com o aprendizado por reforço, que é um método popular para treinar sistemas sofisticados como braços robóticos em fábricas ou as IAs capazes de superar os jogadores humanos no StarCraft II. A principal desvantagem dos algoritmos de aprendizado por reforço é o fato de que eles requerem uma enorme quantidade de poder de processamento de computador para treinar, dependendo de centenas ou até milhares de computadores ligados para aprender. Em contraste, o aprendizado por imitação é um método muito mais eficiente e menos computacionalmente caro de treinamento. Os algoritmos de aprendizado por imitação tentam imitar como os humanos aprendem por observação.

William Guss, um candidato a PhD em teoria de aprendizado profundo na Universidade Carnegie Mellon, explicou à Nature que fazer com que uma IA explore e aprenda padrões em um ambiente é uma tarefa extremamente difícil, mas o aprendizado por imitação fornece à IA uma linha de base de conhecimento, ou boas suposições anteriores, sobre o ambiente. Isso pode tornar o treinamento de uma IA muito mais rápido em comparação com o aprendizado por reforço.

O Minecraft serve como um ambiente de treinamento particularmente útil por várias razões. Uma razão é que o Minecraft permite que os jogadores usem blocos de construção simples para criar estruturas e itens complexos, e as muitas etapas necessárias para criar essas estruturas servem como marcadores tangíveis de progresso que os pesquisadores podem usar como métricas. O Minecraft também é extremamente popular, e por causa disso, é comparativamente fácil coletar dados de treinamento. Os organizadores do concurso MineRL recrutaram muitos jogadores de Minecraft para demonstrar uma variedade de tarefas, como criar ferramentas e quebrar blocos. Ao crowdsourcer a geração de dados, os pesquisadores foram capazes de capturar 60 milhões de exemplos de ações que poderiam ser tomadas no jogo. Os pesquisadores deram aproximadamente 1000 horas de vídeo para as equipes do concurso.

Use o conhecimento que os humanos construíram, diz Rohin Shah, candidato a PhD em ciência da computação na Universidade da Califórnia, Berkeley, explicou à Nature que esse concurso é provavelmente o primeiro a se concentrar em usar o conhecimento que os humanos já geraram para acelerar o treinamento de IA.

Guss e os outros pesquisadores estão esperançosos de que o concurso possa ter resultados com implicações além do Minecraft, dando origem a melhores algoritmos de aprendizado por imitação e inspirando mais pessoas a considerar o aprendizado por imitação como uma forma viável de treinamento de IA. A pesquisa poderia potencialmente ajudar a criar IAs que sejam mais capazes de interagir com as pessoas em ambientes complexos e em constante mudança.