DeepMind e Google Brain Visam Criar Métodos para Melhorar a Eficiência do Aprendizado por Reforço

Os sistemas de aprendizado por reforço podem ser poderosos e robustos, capazes de realizar tarefas extremamente complexas através de milhares de iterações de treinamento. Embora os algoritmos de aprendizado por reforço sejam capazes de permitir comportamentos sofisticados e ocasionalmente surpreendentes, eles levam muito tempo para serem treinados e requerem vastas quantidades de dados. Esses fatores tornam as técnicas de aprendizado por reforço um pouco ineficientes, e recentemente equipes de pesquisa da Alphabet (GOOG ) (GOOGL ) DeepMind e Google Brain se esforçaram para encontrar métodos mais eficientes de criar sistemas de aprendizado por reforço.

Conforme relatado pelo VentureBeat, o grupo de pesquisa combinado recentemente propôs métodos para tornar o treinamento de aprendizado por reforço mais eficiente. Uma das melhorias propostas foi um algoritmo chamado Adaptive Behavior Policy Sharing (ABPS), enquanto a outra foi um framework chamado Universal Value Function Approximators (UVFA). O ABPS permite que pools de agentes de IA compartilhem suas experiências selecionadas adaptativamente, enquanto o UVFA permite que esses agentes de IA investiguem simultaneamente políticas de exploração direcionadas.

O ABPS é destinado a acelerar a personalização dos hiperparâmetros ao treinar um modelo. O ABPS torna mais rápido encontrar os hiperparâmetros ótimos, permitindo que vários agentes com diferentes hiperparâmetros compartilhem suas experiências de política de comportamento. Para ser mais preciso, o ABPS permite que os agentes de aprendizado por reforço selecitem ações das ações que uma política considerou aceitáveis e, em seguida, recebam uma recompensa e observação com base no estado seguinte.

Os agentes de reforço de IA são treinados com várias combinações de hiperparâmetros possíveis, como taxa de decadência e taxa de aprendizado. Ao treinar um modelo, o objetivo é que o modelo converge para a combinação de hiperparâmetros que lhe dá o melhor desempenho, e nesse caso, aqueles que também melhoram a eficiência dos dados. A eficiência é aumentada treinando muitos agentes ao mesmo tempo e escolhendo o comportamento de apenas um agente para ser implantado durante o próximo passo de tempo. A política que o agente alvo tem é usada para amostrar ações. As transições são registradas dentro de um espaço compartilhado e esse espaço é constantemente avaliado para que a seleção de política não precise ocorrer com tanta frequência. No final do treinamento, um conjunto de agentes é escolhido e os agentes de melhor desempenho são selecionados para passar por implantação final.

Em termos de UVFA, ele tenta lidar com um dos problemas comuns do aprendizado por reforço, que os agentes de reforço fracos frequentemente não aprendem tarefas. O UVFA tenta resolver o problema fazendo com que o agente aprenda um conjunto separado de políticas de exploração e exploração ao mesmo tempo. Separar as tarefas cria um framework que permite que as políticas de exploração continuem explorando o ambiente enquanto as políticas de exploração continuam tentando maximizar a recompensa para a tarefa atual. As políticas de exploração do UVFA servem como uma arquitetura de baseline que continuará a melhorar, mesmo se não houver recompensas naturais sendo encontradas. Nessa condição, uma função que corresponde a recompensas intrínsecas é aproximada, o que impulsiona os agentes a explorar todos os estados em um ambiente, mesmo que eles frequentemente retornem a estados familiares.

Conforme explicado pelo VentureBeat, quando o framework UVFA está em jogo, as recompensas intrínsecas do sistema são dadas diretamente ao agente como entradas. O agente então mantém um registro de uma representação de todas as entradas (como recompensas, ação e estado) durante um episódio determinado. O resultado é que a recompensa é preservada ao longo do tempo e a política do agente é pelo menos um pouco informada por ela a todo momento.

Isso é realizado com a utilização de um módulo de “novidade episódica” e um módulo de “novidade vitalícia”. A função do primeiro módulo é manter a memória episódica atual e mapear os achados atuais para a representação mencionada anteriormente, permitindo que o agente determine uma recompensa intrínseca episódica para cada passo de treinamento. Em seguida, o estado vinculado à observação atual é adicionado à memória. Enquanto isso, o módulo de novidade vitalícia é responsável por influenciar com que frequência o agente explora ao longo de muitos episódios.

De acordo com as equipes da Alphabet/Google, as novas técnicas de treinamento já demonstraram o potencial para melhorias substanciais ao treinar um sistema de aprendizado por reforço. O UVFA foi capaz de dobrar o desempenho de alguns dos agentes base que jogaram vários jogos Atari. Enquanto isso, o ABPS foi capaz de aumentar o desempenho em alguns dos mesmos jogos Atari, diminuindo a variância entre os agentes de melhor desempenho em aproximadamente 25%. O algoritmo treinado com UVFA foi capaz de alcançar uma pontuação alta em Pitfall por si só, sem recursos projetados de demos humanas.