A DeepMind Descobre Técnica de Treinamento de IA que Pode Funcionar no Nosso Cérebro

A DeepMind acaba de publicar um artigo detalhando como um novo tipo de aprendizado por reforço pode potencialmente explicar como os caminhos de recompensa dentro do cérebro humano operam. Como relatado pelo NewScientist, o método de treinamento de aprendizado de máquina é chamado de aprendizado por reforço distribuído e os mecanismos por trás dele parecem plausivelmente explicar como a dopamina é liberada por neurônios dentro do cérebro.

A neurociência e a ciência da computação têm uma longa história juntas. Desde 1951, Marvin Minsky usou um sistema de recompensas e punições para criar um programa de computador capaz de resolver um labirinto. Minsky foi inspirado pelo trabalho de Ivan Pavlov, um fisiologista que demonstrou que cães podiam aprender por meio de uma série de recompensas e punições. O novo artigo da DeepMind acrescenta à história entrelaçada da neurociência e da ciência da computação, aplicando um tipo de aprendizado por reforço para obter insights sobre como os neurônios de dopamina podem funcionar.

Quando uma pessoa ou animal está prestes a realizar uma ação, as coleções de neurônios no cérebro responsáveis pela liberação de dopamina fazem uma previsão sobre quão recompensadora a ação será. Uma vez que a ação é realizada e as consequências (recompensas) da ação são tornadas aparentes, o cérebro libera dopamina. No entanto, a liberação de dopamina é escalonada de acordo com o tamanho do erro de previsão. Se a recompensa for maior/melhor do que o esperado, um surto mais forte de dopamina é desencadeado. Em contraste, uma recompensa pior leva à liberação de menos dopamina. A dopamina serve como uma função corretiva que faz com que os neurônios ajustem suas previsões até que elas sejam convergentes com as recompensas reais sendo ganhas. Isso é muito semelhante à forma como os algoritmos de aprendizado por reforço operam.

No ano de 2017, os pesquisadores da DeepMind lançaram uma versão aprimorada de um algoritmo de aprendizado por reforço comumente usado, e esse método de aprendizado superior foi capaz de melhorar o desempenho em muitas tarefas de aprendizado por reforço. A equipe da DeepMind pensou que os mecanismos por trás do novo algoritmo pudessem ser usados para melhor explicar como os neurônios de dopamina operam dentro do cérebro humano.

Em contraste com os algoritmos de aprendizado por reforço mais antigos, o novo algoritmo da DeepMind representa recompensas como uma distribuição. As abordagens de aprendizado por reforço mais antigas representavam recompensas estimadas como um único número que representava o resultado médio esperado. Essa mudança permitiu que o modelo representasse possíveis recompensas de forma mais precisa e performasse melhor como resultado. O desempenho superior do novo método de treinamento levou os pesquisadores da DeepMind a investigar se os neurônios de dopamina no cérebro humano operam de forma semelhante.

Para investigar o funcionamento dos neurônios de dopamina, a DeepMind trabalhou ao lado da Harvard para pesquisar a atividade dos neurônios de dopamina em camundongos. Os pesquisadores fizeram com que os camundongos realizassem várias tarefas e lhes deram recompensas com base no lançamento de dados, registrando como seus neurônios de dopamina disparavam. Diferentes neurônios pareciam prever diferentes resultados potenciais, liberando diferentes quantidades de dopamina. Alguns neurônios previam menos do que a recompensa real, enquanto outros previam recompensas mais altas do que a recompensa real. Depois de grafar a distribuição das previsões de recompensa, os pesquisadores encontraram que a distribuição das previsões estava bastante próxima da distribuição de recompensa real. Isso sugere que o cérebro realmente usa um sistema distribuído ao fazer previsões e ajustar previsões para melhor se adequar à realidade.

O estudo pode informar tanto a neurociência quanto a ciência da computação. O estudo apoia o uso do aprendizado por reforço distribuído como um método para criar modelos de IA mais avançados. Além disso, ele pode ter implicações para nossas teorias sobre como o cérebro opera em relação a sistemas de recompensa. Se os neurônios de dopamina forem distribuídos e alguns forem mais pessimistas ou otimistas do que outros, entender essas distribuições pode alterar como abordamos aspectos da psicologia, como saúde mental e motivação.

Como relatado pelo MIT Technology Review, Matt Botvinik, o diretor de pesquisa de neurociência da DeepMind, explicou a importância das descobertas em uma coletiva de imprensa. Botvinik disse:

“Se o cérebro está usando, é provavelmente uma boa ideia. Isso nos diz que essa é uma técnica computacional que pode ser escalada em situações do mundo real. Vai se encaixar bem com outros processos computacionais. Dá-nos uma nova perspectiva sobre o que está acontecendo em nossos cérebros durante a vida cotidiana”