Especialistas superam grande obstáculo na tecnologia de IA usando mecanismo cerebral

Um grupo de especialistas em inteligência artificial (IA) de várias instituições superou um “obstáculo importante e de longa data para aumentar as capacidades de IA”. A equipe olhou para o cérebro humano, que é o caso de muitos desenvolvimentos de IA. Especificamente, a equipe se concentrou no mecanismo de memória do cérebro humano conhecido como “replay”.

Gido van de Ven é o primeiro autor e pesquisador de pós-doutorado. Ele foi acompanhado pelo investigador principal Andreas Tolias em Baylor, bem como Hava Siegelmann na UMass Amherst. 

A pesquisa foi publicada em Natureza das Comunicações. 

O novo método

De acordo com os pesquisadores, eles criaram um novo método que protege eficientemente as redes neurais profundas do “esquecimento catastrófico”. Quando uma rede neural assume um novo aprendizado, ela pode esquecer o que foi aprendido anteriormente. 

Esse obstáculo é o que impede que muitos avanços da IA ​​ocorram. 

“Uma solução seria armazenar exemplos encontrados anteriormente e revisitá-los ao aprender algo novo. Embora tal 'repetição' ou 'ensaio' resolva o esquecimento catastrófico, o retreinamento constante em todas as tarefas aprendidas anteriormente é altamente ineficiente e a quantidade de dados que teriam que ser armazenados torna-se incontrolável rapidamente”, escreveram os pesquisadores.

O cérebro humano  

Os pesquisadores se inspiraram no cérebro humano, já que ele é capaz de acumular informações sem esquecer, o que não é o caso das redes neurais de IA. O desenvolvimento atual foi construído em trabalhos anteriores feitos pelos pesquisadores, incluindo descobertas sobre um mecanismo no cérebro que se acredita ser responsável por impedir que as memórias sejam esquecidas. Este mecanismo é a repetição de padrões de atividade neural.

De acordo com Siegelmann, o maior desenvolvimento vem de “reconhecer que o replay no cérebro não armazena dados”, mas “o cérebro gera representações de memórias em um nível alto e mais abstrato, sem a necessidade de gerar memórias detalhadas”.

Siegelmann pegou essas informações e se juntou a seus colegas para desenvolver um replay semelhante ao cérebro com inteligência artificial, onde não havia dados armazenados. Como no caso do cérebro humano, a rede artificial pega o que viu antes para gerar representações de alto nível.

O método era altamente eficiente, com apenas algumas representações geradas repetidas, resultando em memórias mais antigas sendo lembradas enquanto novas eram aprendidas. O replay generativo é eficaz na prevenção do esquecimento catastrófico, e um dos principais benefícios é permitir que o sistema generalize de uma situação para outra.

De acordo com van de Ven, “Se nossa rede com replay generativo aprender primeiro a separar gatos de cachorros e depois a separar ursos de raposas, ela também diferenciará gatos de raposas sem ser especificamente treinada para isso. E notavelmente, quanto mais o sistema aprende, melhor ele se torna para aprender novas tarefas.”

“Propomos uma nova variante de replay inspirada no cérebro, na qual são reproduzidas representações internas ou ocultas geradas pelas próprias conexões de feedback moduladas pelo contexto da rede”, escreve a equipe. “Nosso método alcançou desempenho de ponta em benchmarks desafiadores de aprendizado contínuo sem armazenar dados e fornece um novo modelo para repetição abstrata no cérebro”.

“Nosso método faz várias previsões interessantes sobre como o replay pode contribuir para a consolidação da memória no brian”, continua Van de Ven. “Já estamos realizando um experimento para testar algumas dessas previsões.”