Engenheiros Desenvolvem Método “Early Bird” Energicamente Eficiente para Treinar Redes Neurais Profundas

Engenheiros da Universidade Rice desenvolveram um novo método para treinar redes neurais profundas (DNNs) com uma fração da energia normalmente necessária. DNNs são a forma de inteligência artificial (IA) que desempenha um papel fundamental no desenvolvimento de tecnologias como carros autodirigíveis, assistentes inteligentes, reconhecimento facial e outras aplicações.

Early Bird foi detalhado em um artigo em 29 de abril por pesquisadores da Rice e da Universidade Texas A&M. Ele ocorreu na Conferência Internacional sobre Representações de Aprendizado, ou ICLR 2020.

Os autores principais do estudo foram Haoran You e Chaojian Li do Laboratório de Computação Eficiente e Inteligente (EIC) da Rice. Em um estudo, eles demonstraram como o método poderia treinar uma DNN no mesmo nível e precisão que os métodos atuais, mas usando 10,7 vezes menos energia.

A pesquisa foi liderada pelo diretor do EIC Lab, Yingyan Lin, Richard Baraniuk da Rice e Zhangyang Wang da Texas A&M. Outros co-autores incluem Pengfei Xu, Yonggan Fu, Yue Wang e Xiaohan Chen.

“Uma força motriz importante nos recentes avanços da IA é a introdução de DNNs maiores e mais caros”, disse Lin. “Mas treinar esses DNNs exige considerável energia. Para que mais inovações sejam reveladas, é imperativo encontrar métodos de treinamento ‘mais verdes’ que abordem preocupações ambientais e reduzam barreiras financeiras da pesquisa de IA”.

Treinamento de DNNs Caro

Pode ser muito caro treinar as melhores DNNs do mundo, e o preço continua a aumentar. Em 2019, um estudo liderado pelo Instituto Allen para IA em Seattle descobriu que, para treinar uma rede neural profunda de alto nível, são necessários 300.000 vezes mais cálculos em comparação com 2012-2018. Outro estudo de 2019, desta vez liderado por pesquisadores da Universidade de Massachusetts Amherst, descobriu que, ao treinar uma única DNN de elite, é liberada uma quantidade semelhante de emissões de dióxido de carbono que cinco automóveis dos EUA.

Para que as DNNs realizem suas tarefas altamente especializadas, elas consistem em pelo menos milhões de neurônios artificiais. Eles são capazes de aprender a tomar decisões, às vezes superando humanos, observando grandes números de exemplos. Eles podem fazer isso sem precisar de programação explícita.

Podar e Treinar

Lin é professor assistente de engenharia elétrica e computacional na Escola de Engenharia Brown da Rice.

“A forma de arte para realizar o treinamento de DNN é chamada de podar e treinar progressivamente”, disse Lin. “Primeiro, você treina uma rede densa e gigante, então remove partes que não parecem importantes – como podar uma árvore. Em seguida, você retreina a rede podada para restaurar o desempenho, pois o desempenho degrada após o podar. E, na prática, você precisa podar e retreinar muitas vezes para obter um bom desempenho”.

Esse método é usado porque nem todos os neurônios artificiais são necessários para concluir a tarefa especializada. As conexões entre os neurônios são fortalecidas devido ao treinamento, e outras podem ser descartadas. Esse método de poda reduz os custos computacionais e diminui o tamanho do modelo, o que torna as DNNs totalmente treinadas mais acessíveis.

“O primeiro passo, treinar a rede densa e gigante, é o mais caro”, disse Lin. “Nossa ideia neste trabalho é identificar a rede podada final e totalmente funcional, que chamamos de ‘ingresso antecipado’, no início da etapa mais cara”.

Os pesquisadores fazem isso procurando por padrões de conectividade de rede-chave e foram capazes de descobrir esses ingressos antecipados. Isso permitiu que eles acelerassem o treinamento de DNN.

Early Bird na Fase Inicial de Treinamento

Lin e os outros pesquisadores descobriram que o Early Bird pode aparecer um décimo ou menos do caminho através da fase inicial de treinamento.

“Nosso método pode identificar automaticamente os ingressos antecipados dentro dos primeiros 10% ou menos do treinamento das redes densas e gigantes”, disse Lin. “Isso significa que você pode treinar uma DNN para alcançar a mesma ou até melhor precisão para uma tarefa determinada em cerca de 10% ou menos do tempo necessário para o treinamento tradicional, o que pode levar a mais de uma ordem de economia em cálculo e energia”.

Além de ser mais rápido e energicamente eficiente, os pesquisadores têm um foco forte no impacto ambiental.

“Nosso objetivo é tornar a IA mais amigável ao meio ambiente e mais inclusiva”, disse ela. “O tamanho impressionante dos problemas de IA complexos manteve fora os jogadores menores. A IA verde pode abrir a porta, permitindo que pesquisadores com um laptop ou recursos computacionais limitados explorem inovações de IA”.

A pesquisa recebeu apoio da Fundação Nacional de Ciência.