Engenheiros desenvolvem método “Early Bird” com eficiência energética para treinar redes neurais profundas

Engenheiros da Rice University desenvolveram um novo método para treinar redes neurais profundas (DNNs) com uma fração da energia normalmente necessária. DNNs são a forma de inteligência artificial (IA) que desempenha um papel fundamental no desenvolvimento de tecnologias como carros autônomos, assistentes inteligentes, reconhecimento facial e outras aplicações.

Early Bird foi detalhado em um papel em 29 de abril por pesquisadores da Rice e da Texas A&M University. Aconteceu no Conferência Internacional sobre Representações de Aprendizagem, ou ICLR 2020. 

Os principais autores do estudo foram Haoran You e Chaojian Li, do Laboratório de Computação Eficiente e Inteligente (EIC) de Rice. Em um estudo, eles demonstraram como o método poderia treinar um DNN no mesmo nível e precisão dos métodos atuais, mas usando 10.7 vezes menos energia. 

A pesquisa foi liderada pelo diretor do EIC Lab, Yingyan Lin, Richard Baraniuk, da Rice, e Zhangyang Wang, da Texas A&M. Outros coautores incluem Pengfei Xu, Yonggan Fu, Yue Wang e Xiaohan Chen. 

“Uma grande força motriz nos avanços recentes da IA ​​é a introdução de DNNs maiores e mais caros”, disse Lin. “Mas treinar essas DNNs exige uma energia considerável. Para que mais inovações sejam reveladas, é imperativo encontrar métodos de formação “mais ecológicos” que abordem as preocupações ambientais e reduzam as barreiras financeiras da investigação em IA.”

Caro para treinar DNNs

Pode ser muito caro treinar os melhores DNNs do mundo, e o preço continua a aumentar. Em 2019, um estudo liderado pelo Allen Institute for AI em Seattle descobriu que, para treinar uma rede neural profunda de alto nível, são necessários 300,000 vezes mais cálculos em comparação com 2012-2018. Outro estudo de 2019, desta vez liderado por pesquisadores da Universidade de Massachusetts Amherst, descobriu que, ao treinar um único DNN de elite, são liberadas aproximadamente a mesma quantidade de emissões de dióxido de carbono que cinco automóveis nos EUA. 

Para que as DNNs executem suas tarefas altamente especializadas, elas consistem em pelo menos milhões de neurônios artificiais. Eles são capazes de aprender a tomar decisões, às vezes superando os humanos, observando um grande número de exemplos. Eles podem fazer isso sem precisar de programação explícita. 

podar e treinar

Lin é professor assistente de engenharia elétrica e de computação na Rice's Brown School of Engineering. 

“A maneira mais avançada de realizar o treinamento de DNN é chamada de poda e treinamento progressivos”, disse Lin. “Primeiro, você treina uma rede densa e gigante, depois remove partes que não parecem importantes — como podar uma árvore. Em seguida, você retreina a rede podada para restaurar o desempenho, pois o desempenho se degrada após a poda. E, na prática, você precisa podar e retreinar várias vezes para obter um bom desempenho.”

Este método é usado porque nem todos os neurônios artificiais são necessários para completar a tarefa especializada. As conexões entre os neurônios são fortalecidas devido ao treinamento, e outras podem ser descartadas. Esse método de remoção reduz os custos computacionais e reduz o tamanho do modelo, o que torna as DNNs totalmente treinadas mais acessíveis. 

“O primeiro passo, treinar a rede densa e gigante, é o mais caro”, disse Lin. “Nossa ideia neste trabalho é identificar a rede podada final e totalmente funcional, que chamamos de ‘bilhete antecipado’, no estágio inicial desta primeira etapa dispendiosa.”

Os pesquisadores fazem isso procurando os principais padrões de conectividade de rede e foram capazes de descobrir esses tickets antecipados. Isso permitiu que eles acelerassem o treinamento DNN. 

Early Bird na fase inicial do treinamento

Lin e os outros pesquisadores descobriram que o Early Bird pode aparecer um décimo ou menos do caminho da fase inicial do treinamento. 

“Nosso método pode identificar automaticamente os ingressos antecipados nos primeiros 10% ou menos do treinamento das redes densas e gigantes”, disse Lin. “Isso significa que você pode treinar um DNN para obter a mesma precisão ou até melhor para uma determinada tarefa em cerca de 10% ou menos do tempo necessário para o treinamento tradicional, o que pode levar a mais de uma economia de pedido em computação e energia.”

Além de serem mais rápidos e energeticamente eficientes, os pesquisadores têm um forte foco no impacto ambiental. 

“Nosso objetivo é tornar a IA mais ecológica e mais inclusiva”, disse ela. “O tamanho dos problemas complexos de IA impediu a entrada de jogadores menores. A IA verde pode abrir a porta permitindo que pesquisadores com um laptop ou recursos computacionais limitados explorem as inovações da IA.”

A pesquisa recebeu apoio da National Science Foundation.