Pesquisadores Buscam em Animais Inspiração para Dar Senso Comum a Sistemas de Aprendizado por Reforço

Pesquisadores de inteligência artificial de institutos como o Imperial College London, Universidade de Cambridge e Google DeepMind estão procurando inspiração nos animais para melhorar o desempenho de sistemas de aprendizado por reforço. Em um artigo conjunto publicado na CellPress Reviews, intitulado “Inteligência Artificial e o Senso Comum dos Animais”, os pesquisadores argumentam que a cognição animal fornece benchmarks e métodos de avaliação úteis para agentes de aprendizado por reforço e também pode informar a engenharia de tarefas e ambientes.

Pesquisadores e engenheiros de inteligência artificial há muito tempo buscam inspiração em redes neurais biológicas ao projetar algoritmos, usando princípios da ciência comportamental e neurociência para informar a estrutura dos algoritmos. No entanto, a maioria das pistas que os pesquisadores de inteligência artificial tiram dos campos da neurociência e ciência comportamental são baseadas em humanos, com a cognição de crianças pequenas e bebês servindo como o foco principal. Os pesquisadores de inteligência artificial ainda não tiraram muita inspiração de modelos animais, mas a cognição animal é um recurso inexplorado que tem o potencial de levar a avanços importantes no espaço de aprendizado por reforço.

Sistemas de aprendizado por reforço profundo são treinados por meio de um processo de tentativa e erro, reforçados com recompensas sempre que um agente de aprendizado por reforço se aproxima de completar um objetivo desejado. Isso é muito semelhante a ensinar um animal a realizar uma tarefa desejada usando comida como recompensa. Biólogos e especialistas em cognição animal realizaram muitos experimentos avaliando as habilidades cognitivas de uma variedade de animais diferentes, incluindo cães, ursos, esquilos, porcos, corvos, golfinhos, gatos, camundongos, elefantes e polvos. Muitos animais exibem impressionantes demonstrações de inteligência, e alguns animais, como elefantes e golfinhos, podem até ter uma teoria da mente.

Olhar para o corpo de pesquisa feito sobre cognição animal pode inspirar os pesquisadores de inteligência artificial a considerar problemas de diferentes ângulos. À medida que o aprendizado por reforço profundo se tornou mais poderoso e sofisticado, os pesquisadores de inteligência artificial especializados nesse campo estão procurando novas maneiras de testar as capacidades cognitivas de agentes de aprendizado por reforço. No artigo de pesquisa, a equipe de pesquisa faz referência aos tipos de experimentos realizados com primatas e aves, mencionando que visam projetar sistemas capazes de realizar tarefas semelhantes, dando a um sistema de inteligência artificial um tipo de “senso comum”. De acordo com os autores do artigo, eles “defendem uma abordagem na qual os agentes de RL, talvez com arquiteturas ainda não desenvolvidas, adquirem o que é necessário por meio da interação prolongada com ambientes virtuais ricos.”

Como relatado pelo VentureBeat, os pesquisadores de inteligência artificial argumentam que o senso comum não é um traço exclusivo dos humanos e que depende da compreensão das propriedades básicas do mundo físico, como como um objeto ocupa um ponto e espaço, quais são as restrições nos movimentos desse objeto e uma apreciação pela causa e efeito. Os animais exibem esses traços em estudos de laboratório. Por exemplo, os corvos entendem que os objetos são coisas permanentes, pois são capazes de recuperar sementes mesmo quando a semente está escondida deles, coberta por outro objeto.

Para dotar um sistema de aprendizado por reforço dessas propriedades, os pesquisadores argumentam que precisarão criar tarefas que, quando combinadas com a arquitetura certa, criarão agentes capazes de transferir princípios aprendidos para outras tarefas. Os pesquisadores argumentam que o treinamento para tal modelo deve envolver técnicas que exijam que um agente adquira a compreensão de um conceito após ser exposto a apenas alguns exemplos, chamado de treinamento de poucos disparos. Isso é em contraste com as centenas ou milhares de tentativas que normalmente entram no treinamento de um agente de RL por tentativa e erro.

A equipe de pesquisa explica ainda que, embora alguns agentes de RL modernos possam aprender a resolver múltiplas tarefas, algumas das quais requerem a transferência básica de princípios aprendidos, não está claro que os agentes de RL possam aprender um conceito tão abstrato quanto o “senso comum”. Se houvesse um agente potencialmente capaz de aprender tal conceito, eles precisariam de testes capazes de determinar se um agente de RL entendia o conceito de um contêiner.

O DeepMind, em particular, está ansioso para se envolver em novas e diferentes maneiras de desenvolver e testar agentes de aprendizado por reforço. Recentemente, na conferência Stanford HAI que ocorreu no início de outubro, o chefe de pesquisa de neurociência do DeepMind, Matthew Botvinick, urged machine learning researchers and engineers to collaborate more in other fields of science. Botvinick destacou a importância do trabalho interdisciplinar com psicólogos e neurocientistas para o campo de inteligência artificial em uma palestra intitulada “Triangulando a Inteligência: Mesclando Neurociência, Psicologia e IA”.