Engenheiros Desenvolvem Método “Early Bird” Energicamente Eficiente para Treinar Redes Neurais Profundas

Engenheiros da Universidade de Rice desenvolveram um novo método para treinar redes neurais profundas (DNNs) com uma fração da energia normalmente necessária. As DNNs são a forma de inteligência artificial (IA) que desempenha um papel fundamental no desenvolvimento de tecnologias como carros autônomos, assistentes inteligentes, reconhecimento facial e outras aplicações.

O Early Bird foi detalhado em um artigo em 29 de abril por pesquisadores da Rice e da Universidade de Texas A&M. Ele ocorreu na Conferência Internacional sobre Representações de Aprendizado, ou ICLR 2020.

Os autores principais do estudo foram Haoran You e Chaojian Li, do Laboratório de Computação Eficiente e Inteligente (EIC) da Rice. Em um estudo, eles demonstraram como o método poderia treinar uma DNN no mesmo nível e precisão que os métodos atuais, mas usando 10,7 vezes menos energia.

A pesquisa foi liderada pelo diretor do EIC Lab, Yingyan Lin, Richard Baraniuk da Rice e Zhangyang Wang da Texas A&M. Outros co-autores incluem Pengfei Xu, Yonggan Fu, Yue Wang e Xiaohan Chen.

“Uma força motriz importante nos avanços recentes da IA é a introdução de DNNs maiores e mais caros”, disse Lin. “Mas treinar esses DNNs exige considerável energia. Para que mais inovações sejam divulgadas, é fundamental encontrar métodos de treinamento ‘mais verdes’ que abordem as preocupações ambientais e reduzam as barreiras financeiras da pesquisa de IA.”

Caro para Treinar DNNs

Pode ser muito caro treinar as melhores DNNs do mundo, e o preço continua a aumentar. Em 2019, um estudo liderado pelo Instituto de IA de Allen em Seattle descobriu que, para treinar uma rede neural profunda de alto nível, são necessários 300.000 vezes mais cálculos em comparação com 2012-2018. Outro estudo de 2019, desta vez liderado por pesquisadores da Universidade de Massachusetts Amherst, descobriu que, ao treinar uma única DNN de elite, é liberada aproximadamente a mesma quantidade de emissões de dióxido de carbono que cinco automóveis dos EUA.

Para que as DNNs realizem suas tarefas altamente especializadas, elas consistem em pelo menos milhões de neurônios artificiais. Eles são capazes de aprender a tomar decisões, às vezes superando os humanos, observando grandes números de exemplos. Eles podem fazer isso sem precisar de programação explícita.

Podar e Treinar

Lin é professor assistente de engenharia elétrica e computacional na Escola de Engenharia Brown da Rice.

“A forma de arte de realizar o treinamento de DNN é chamada de podar e treinar progressivamente”, disse Lin. “Primeiro, você treina uma rede densa e gigante, então remove partes que não parecem importantes – como podar uma árvore. Em seguida, você re-treina a rede podada para restaurar o desempenho, pois o desempenho degrada após o podamento. E, na prática, você precisa podar e re-treinar muitas vezes para obter um bom desempenho.”

Esse método é usado porque nem todos os neurônios artificiais são necessários para completar a tarefa especializada. As conexões entre os neurônios são fortalecidas devido ao treinamento, e outras podem ser descartadas. Esse método de poda reduz os custos computacionais e diminui o tamanho do modelo, o que torna as DNNs totalmente treinadas mais acessíveis.

“O primeiro passo, treinar a rede densa e gigante, é o mais caro”, disse Lin. “Nossa ideia neste trabalho é identificar a rede podada final e totalmente funcional, que chamamos de ‘ingresso antecipado’, no início da etapa de treinamento mais cara.”

Os pesquisadores fazem isso procurando padrões de conectividade de rede importantes e conseguiram descobrir esses ingressos antecipados. Isso permitiu que eles acelerassem o treinamento de DNN.

Early Bird na Fase Inicial de Treinamento

Lin e os outros pesquisadores descobriram que o Early Bird pode aparecer um décimo ou menos do caminho através da fase inicial de treinamento.

“Nosso método pode identificar automaticamente os ingressos antecipados dentro dos primeiros 10% ou menos do treinamento da rede densa e gigante”, disse Lin. “Isso significa que você pode treinar uma DNN para alcançar a mesma ou até melhor precisão para uma tarefa dada em cerca de 10% ou menos do tempo necessário para o treinamento tradicional, o que pode levar a mais de uma ordem de magnitude de economia em computação e energia.”

Além de ser mais rápido e energicamente eficiente, os pesquisadores têm um forte foco no impacto ambiental.

“Nosso objetivo é tornar a IA mais amigável ao meio ambiente e mais inclusiva”, disse ela. “O tamanho das questões de IA complexas manteve os jogadores menores fora. A IA verde pode abrir a porta para permitir que pesquisadores com um laptop ou recursos computacionais limitados explorem inovações de IA.”

A pesquisa recebeu apoio da Fundação Nacional de Ciência.