Cresça e Pode a Estratégia de IA Parece Reduzir o Uso de Energia de IA

O cérebro humano opera com uma estratégia de “crescer e podar”, inicialmente começando com uma quantidade massiva de conexões neurais e, em seguida, podando as conexões não utilizadas ao longo do tempo. Recentemente, uma equipe de pesquisadores de IA aplicou essa abordagem a sistemas de IA e descobriu que pode reduzir substancialmente a quantidade de energia necessária para treinar uma IA.

Uma equipe de pesquisadores da Universidade de Princeton recentemente criou um novo método de treinamento de sistemas de inteligência artificial. Esse novo método de treinamento parece ser capaz de atender ou superar os padrões da indústria em termos de precisão, mas é capaz de fazer isso enquanto consome muito menos poder computacional e, portanto, menos energia do que os modelos de aprendizado de máquina tradicionais. Ao longo de dois artigos diferentes, os pesquisadores de Princeton demonstraram como crescer uma rede adicionando neurônios e conexões a ela. As conexões não utilizadas foram, em seguida, podadas ao longo do tempo, deixando apenas as porções mais eficazes e eficientes do modelo.

Niraj Jha, professor de Engenharia Elétrica da Princeton, explicou à Princeton News que o modelo desenvolvido pelos pesquisadores opera em um “paradigma de crescer e podar”. Jha explicou que o cérebro humano é o mais complexo que ele já será por volta dos três anos de idade e, após esse ponto, o cérebro começa a cortar as conexões sinápticas não necessárias. O resultado é que o cérebro totalmente desenvolvido é capaz de realizar todas as tarefas extremamente complexas que fazemos todos os dias, mas usa cerca da metade de todas as sinapses que ele tinha em seu pico. Jha e os outros pesquisadores imitaram essa estratégia para melhorar o treinamento de IA.

Jha explicou:

“Nossa abordagem é o que chamamos de paradigma de crescer e podar. É semelhante ao que um cérebro faz desde que somos um bebê até que somos uma criança de três anos. No terceiro ano, o cérebro humano começa a cortar as conexões entre as células cerebrais. Esse processo continua na idade adulta, de modo que o cérebro totalmente desenvolvido opera em torno da metade de seu pico sináptico. O cérebro adulto é especializado para qualquer treinamento que lhe tenhamos fornecido. Ele não é tão bom para o aprendizado de propósito geral quanto um cérebro de criança de três anos.”

Graças à técnica de crescimento e poda, previsões igualmente boas podem ser feitas sobre padrões de dados usando apenas uma fração do poder computacional que era necessário anteriormente. Os pesquisadores estão tentando encontrar métodos para reduzir o consumo de energia e o custo computacional, pois fazer isso é fundamental para levar o aprendizado de máquina a dispositivos pequenos, como telefones e smartwatches. Reduzir a quantidade de energia consumida por algoritmos de aprendizado de máquina também pode ajudar a indústria a reduzir sua pegada de carbono. Xiaoliang Dai, o primeiro autor dos artigos, explicou que os modelos precisam ser treinados localmente devido à transmissão para a nuvem exigir muita energia.

Durante o curso do primeiro estudo, os pesquisadores tentaram desenvolver uma ferramenta de criação de redes neurais que pudessem usar para projetar redes neurais e recriar algumas das redes de melhor desempenho do zero. A ferramenta foi chamada de NeST (Ferramenta de Síntese de Redes Neurais) e, quando é fornecida com apenas alguns neurônios e conexões, ela aumenta rapidamente em complexidade, adicionando mais neurônios à rede. Uma vez que a rede atinge um benchmark selecionado, ela começa a se podar ao longo do tempo. Embora os modelos de rede anteriores tenham usado técnicas de poda, o método projetado pelos pesquisadores de Princeton foi o primeiro a tomar uma rede e simular estágios de desenvolvimento, indo do “bebê” ao “criança de três anos” e, finalmente, ao “cérebro adulto”.

Durante o segundo artigo, os pesquisadores colaboraram com uma equipe da Universidade da Califórnia-Berkeley e do Facebook (META ) para aprimorar sua técnica usando uma ferramenta chamada Chameleon. O Chameleon é capaz de começar com o endpoint desejado, os resultados desejados e trabalhar para trás para construir o tipo certo de rede neural. Isso elimina grande parte do trabalho de adivinhação envolvido em ajustar manualmente uma rede, dando aos engenheiros pontos de partida que provavelmente sejam imediatamente úteis. O Chameleon prevê o desempenho de diferentes arquiteturas sob diferentes condições. Combinar o Chameleon e a estrutura NeST pode ajudar as organizações de pesquisa que carecem de recursos computacionais pesados a aproveitar o poder das redes neurais. Os engenheiros começam com pontos que provavelmente sejam imediatamente úteis. O Chameleon prevê o desempenho de diferentes arquiteturas sob diferentes condições. Combinar Chameleon e a estrutura NeST pode ajudar as organizações de pesquisa que carecem de recursos computacionais pesados a aproveitar o poder das redes neurais.