Pesquisadores olham para os animais para dar reforço aos sistemas de aprendizado do senso comum

Pesquisadores de IA de institutos como Imperial College London, University of Cambridge e Google DeepMind estão buscando inspiração em animais para melhorar o desempenho dos sistemas de aprendizado por reforço. Em uma articulação artigo publicado na CellPress Reviews, intitulado “Inteligência Artificial e o Senso Comum dos Animais”, os pesquisadores argumentam que a cognição animal fornece referências úteis e métodos de avaliação para agentes de aprendizado por reforço e também pode informar a engenharia de tarefas e ambientes.

Pesquisadores e engenheiros de IA há muito buscam inspiração nas redes neurais biológicas ao projetar algoritmos, usando princípios da ciência comportamental e da neurociência para informar a estrutura dos algoritmos. No entanto, a maioria das pistas que os pesquisadores de IA tiram dos campos da neurociência/ciência do comportamento são baseadas em humanos, com a cognição de crianças pequenas e bebês servindo como ponto focal. Os pesquisadores de IA ainda precisam se inspirar muito em modelos animais, mas a cognição animal é um recurso inexplorado que tem o potencial de levar a avanços importantes no espaço de aprendizado por reforço.

Os sistemas de aprendizagem por reforço profundo são treinados por meio de um processo de tentativa e erro, reforçado com recompensas sempre que um agente de aprendizagem por reforço se aproxima de completar um objetivo desejado. Isto é muito semelhante a ensinar um animal a realizar uma tarefa desejada usando a comida como recompensa. Biólogos e especialistas em cognição animal realizaram muitos experimentos avaliando as habilidades cognitivas de uma variedade de animais diferentes, incluindo cães, ursos, esquilos, porcos, corvos, golfinhos, gatos, ratos, elefantes e polvos. Muitos animais exibem exibições impressionantes de inteligência, e alguns animais como elefantes e golfinhos pode até ter uma teoria da mente.

Observar o corpo de pesquisa feito sobre a cognição animal pode inspirar os pesquisadores de IA a considerar os problemas de diferentes ângulos. À medida que o aprendizado por reforço profundo se tornou mais poderoso e sofisticado, os pesquisadores de IA especializados no campo estão buscando novas maneiras de testar as capacidades cognitivas dos agentes de aprendizado por reforço. No trabalho de pesquisa, a equipe de pesquisa faz referência aos tipos de experimentos realizados com primatas e pássaros, mencionando que visam projetar sistemas capazes de realizar tipos de tarefas semelhantes, dando a uma IA um tipo de “senso comum”. De acordo com os autores do artigo, eles “defendem uma abordagem em que agentes de RL, talvez com arquiteturas ainda não desenvolvidas, adquirem o que é necessário por meio de interação estendida com ambientes virtuais avançados”.

Conforme relatado por VentureBeat, os pesquisadores de IA argumentam que o senso comum não é uma característica exclusiva dos humanos e que depende de uma compreensão das propriedades básicas do mundo físico, como a forma como um objeto ocupa um ponto e espaço, quais restrições existem sobre o objeto movimentos e uma apreciação de causa e efeito. Os animais exibem essas características em estudos de laboratório. Por exemplo, os corvos entendem que os objetos são coisas permanentes, pois são capazes de recuperar sementes mesmo quando a semente está escondida deles, encoberta por outro objeto.

Para dotar um sistema de aprendizado por reforço com essas propriedades, os pesquisadores argumentam que precisarão criar tarefas que, quando combinadas com a arquitetura certa, criem agentes capazes de transferir os princípios aprendidos para outras tarefas. Os pesquisadores argumentam que o treinamento para tal modelo deve envolver técnicas que exijam que um agente compreenda um conceito depois de ser exposto a apenas alguns exemplos, chamado de treinamento de poucos disparos. Isso contrasta com as tradicionais centenas ou milhares de tentativas que normalmente vão para o treinamento de tentativa e erro de um agente RL.

A equipe de pesquisa continua explicando que, embora alguns agentes RL modernos possam aprender a resolver várias tarefas, algumas das quais requerem a transferência básica de princípios aprendidos, não está claro que os agentes RL possam aprender um conceito tão abstrato no “senso comum” . Se houvesse um agente potencialmente capaz de aprender tal conceito, eles precisariam de testes capazes de verificar se um agente RL entendeu o conceito de contêiner.

A DeepMind, em particular, está entusiasmada em se envolver com novas e diferentes maneiras de desenvolver e testar agentes de aprendizagem por reforço. Recentemente, na conferência Stanford HAI, realizada no início de outubro, o chefe de pesquisa em neurociência da DeepMind, Matthew Botvinick, instou pesquisadores e engenheiros de aprendizado de máquina a colaborarem mais em outros campos da ciência. Botvinick destacou a importância do trabalho interdisciplinar com psicólogos e neurociências para a área de IA em uma palestra chamada “Triangulando a inteligência: fundindo neurociência, psicologia e IA”.