DeepMind Relata Novo Método de Treinamento de Aprendizado de Reforço de IA com Segurança

O aprendizado de reforço é uma promissora área de desenvolvimento de IA, produzindo IA que pode lidar com tarefas extremamente complexas. Algoritmos de aprendizado de reforço são usados na criação de sistemas de robótica móvel e carros autônomos, entre outras aplicações. No entanto, devido à forma como o aprendizado de reforço é treinado, eles podem ocasionalmente manifestar comportamentos estranhos e inesperados. Esses comportamentos podem ser perigosos, e os pesquisadores de IA se referem a esse problema como o problema da “exploração segura”, que é onde a IA se torna presa na exploração de estados inseguros.

Recentemente, o laboratório de pesquisa de IA do Google (GOOGL ), DeepMind, lançou um artigo que propôs novos métodos para lidar com o problema da exploração segura e treinar o aprendizado de reforço de IA de forma mais segura. O método sugerido pela DeepMind também corrige para hacking de recompensa ou lacunas nos critérios de recompensa.

O novo método da DeepMind tem dois sistemas diferentes destinados a guiar o comportamento da IA em situações onde o comportamento inseguro pode surgir. Os dois sistemas usados pela técnica de treinamento da DeepMind são um modelo gerativo e um modelo de dinâmica direta. Ambos os modelos são treinados em uma variedade de dados, como demonstrações de especialistas em segurança e trajetórias de veículos completamente aleatórias. Os dados são rotulados por um supervisor com valores de recompensa específicos, e o agente de IA irá capturar padrões de comportamento que permitirão que ele colete a maior recompensa. Os estados inseguros também foram rotulados, e uma vez que o modelo tenha conseguido prever recompensas e estados inseguros com sucesso, ele é implantado para realizar as ações direcionadas.

A equipe de pesquisa explica no artigo que a ideia é criar comportamentos possíveis do zero, sugerir os comportamentos desejados e ter esses cenários hipotéticos serem tão informativos quanto possível, ao mesmo tempo evitando a interferência direta com o ambiente de aprendizado. A equipe da DeepMind se refere a essa abordagem como ReQueST, ou síntese de consulta de recompensa via otimização de trajetória.

O ReQueST é capaz de levar a quatro tipos diferentes de comportamento. O primeiro tipo de comportamento tenta maximizar a incerteza em relação a modelos de recompensa de ensemble. Enquanto isso, o comportamento dois e três tentam minimizar e maximizar as recompensas previstas. As recompensas previstas são minimizadas para levar à descoberta de comportamentos que o modelo pode estar prevendo incorretamente. Por outro lado, a recompensa prevista é maximizada para levar a rótulos de comportamento que possuem o valor de informação mais alto. Finalmente, o quarto tipo de comportamento tenta maximizar a novidade das trajetórias, para que o modelo continue a explorar independentemente das recompensas projetadas.

Uma vez que o modelo tenha atingido o nível desejado de coleta de recompensa, um agente de planejamento é usado para tomar decisões com base nas recompensas aprendidas. Esse esquema de controle preditivo de modelo permite que os agentes aprendam a evitar estados inseguros usando o modelo dinâmico e prevendo as consequências possíveis, em contraste com os comportamentos de algoritmos que aprendem por meio de tentativa e erro puro.

Conforme relatado pela VentureBeat, os pesquisadores da DeepMind acreditam que seu projeto é o primeiro sistema de aprendizado de reforço que é capaz de aprender de forma controlada e segura:

“Até onde sabemos, o ReQueST é o primeiro algoritmo de modelagem de recompensa que aprende de forma segura sobre estados inseguros e escala para o treinamento de modelos de recompensa de rede neural em ambientes com estados contínuos de alta dimensionalidade. Até agora, apenas demonstramos a eficácia do ReQueST em domínios simulados com dinâmica relativamente simples. Uma direção para o trabalho futuro é testar o ReQueST em domínios 3D com física mais realista e outros agentes agindo no ambiente.”