Pesquisadores Buscam Animais Para Dar Senso Comum a Sistemas de Aprendizado por Reforço

Pesquisadores de IA de institutos como Imperial College London, University of Cambridge e Google DeepMind estão buscando inspiração nos animais para melhorar o desempenho de sistemas de aprendizado por reforço. Em um artigo conjunto publicado na CellPress Reviews, intitulado “Inteligência Artificial e o Senso Comum dos Animais”, os pesquisadores argumentam que a cognição animal fornece benchmarks e métodos de avaliação úteis para agentes de aprendizado por reforço e também pode informar a engenharia de tarefas e ambientes.

Pesquisadores e engenheiros de IA há muito tempo vêm buscando inspiração em redes neurais biológicas ao projetar algoritmos, usando princípios da ciência comportamental e neurociência para informar a estrutura dos algoritmos. No entanto, a maioria das dicas que os pesquisadores de IA tiram dos campos de neurociência/ciência comportamental são baseadas em humanos, com a cognição de crianças pequenas e bebês servindo como o ponto focal. Os pesquisadores de IA ainda não tiraram muita inspiração de modelos animais, mas a cognição animal é um recurso inexplorado que tem o potencial de levar a avanços importantes no espaço de aprendizado por reforço.

Sistemas de aprendizado por reforço profundo são treinados por meio de um processo de tentativa e erro, reforçados com recompensas sempre que um agente de aprendizado por reforço se aproxima de completar um objetivo desejado. Isso é muito semelhante a ensinar um animal a realizar uma tarefa desejada usando comida como recompensa. Biólogos e especialistas em cognição animal realizaram muitos experimentos avaliando as habilidades cognitivas de diferentes animais, incluindo cães, ursos, esquilos, porcos, corvos, golfinhos, gatos, camundongos, elefantes e polvos. Muitos animais exibem impressionantes displays de inteligência, e alguns animais, como elefantes e golfinhos podem ter uma teoria da mente.

Olhar para o corpo de pesquisa feita sobre cognição animal pode inspirar pesquisadores de IA a considerar problemas de diferentes ângulos. À medida que o aprendizado por reforço profundo se tornou mais poderoso e sofisticado, pesquisadores de IA especializados no campo estão procurando novas maneiras de testar as capacidades cognitivas de agentes de aprendizado por reforço. No artigo de pesquisa, a equipe de pesquisa faz referência aos tipos de experimentos realizados com primatas e aves, mencionando que visam projetar sistemas capazes de realizar tarefas semelhantes, dando a uma IA um tipo de “senso comum”. De acordo com os autores do artigo, eles “defendem uma abordagem na qual agentes de RL, talvez com arquiteturas ainda não desenvolvidas, adquiram o que é necessário por meio de interação prolongada com ambientes virtuais ricos.”

Como relatado pelo VentureBeat, os pesquisadores de IA argumentam que o senso comum não é um traço único dos humanos e que depende de uma compreensão das propriedades básicas do mundo físico, como como um objeto ocupa um ponto e espaço, quais são as restrições nos movimentos desse objeto e uma apreciação pela causa e efeito. Os animais exibem esses traços em estudos de laboratório. Por exemplo, corvos entendem que os objetos são coisas permanentes, pois são capazes de recuperar sementes mesmo quando a semente está escondida deles, coberta por outro objeto.

Para dotar um sistema de aprendizado por reforço dessas propriedades, os pesquisadores argumentam que precisarão criar tarefas que, quando combinadas com a arquitetura certa, criarão agentes capazes de transferir princípios aprendidos para outras tarefas. Os pesquisadores argumentam que o treinamento para tal modelo deve envolver técnicas que exijam que um agente adquira compreensão de um conceito após ser exposto a apenas alguns exemplos, chamado de treinamento de poucos disparos. Isso é em contraste com os tradicionais centenas ou milhares de ensaios que normalmente entram no treinamento por tentativa e erro de um agente de RL.

A equipe de pesquisa prossegue explicando que, embora alguns agentes de RL modernos possam aprender a resolver múltiplas tarefas, algumas das quais exigem a transferência básica de princípios aprendidos, não está claro que agentes de RL possam aprender um conceito tão abstrato quanto o “senso comum”. Se houvesse um agente potencialmente capaz de aprender tal conceito, eles precisariam de testes capazes de determinar se um agente de RL entendia o conceito de um recipiente.

O DeepMind está particularmente animado para se envolver em novas e diferentes maneiras de desenvolver e testar agentes de aprendizado por reforço. Recentemente, na conferência Stanford HAI que ocorreu no início de outubro, o chefe de pesquisa de neurociência do DeepMind, Matthew Botvinick, instou os pesquisadores e engenheiros de aprendizado de máquina a colaborar mais em outros campos da ciência. Botvinick destacou a importância do trabalho interdisciplinar com psicólogos e neurocientistas para o campo de IA em uma palestra intitulada “Triangulando Inteligência: Mesclando Neurociência, Psicologia e IA”.