Contendo as Necessidades de Energia em Crescimento da Aprendizagem de Máquina

Diante da crescente preocupação com os requisitos de energia dos grandes modelos de aprendizagem de máquina, um estudo recente do MIT Lincoln Laboratory e da Universidade Northeastern investigou as economias que podem ser feitas por meio da limitação de energia dos GPUs empregados no treinamento e inferência de modelos, bem como várias outras técnicas e métodos para reduzir o consumo de energia da IA.

O novo trabalho também defende que novos artigos de IA devem concluir com uma “Declaração de Energia” (semelhante à tendência recente de “declarações de implicações éticas” em artigos do setor de pesquisa de aprendizagem de máquina).

A principal sugestão do trabalho é que a limitação de energia (limitar a energia disponível para o GPU que está treinando o modelo) oferece benefícios de economia de energia dignos de nota, particularmente para o Modelagem de Linguagem Mascaramento (MLM) e frameworks como BERT e seus derivados.

Três redes de modelagem de linguagem operando em uma porcentagem dos padrões de 250W (linha preta), em termos de uso de energia. Restringir o consumo de energia não restringe a eficiência ou precisão do treinamento em uma base de 1 para 1, e oferece economias de energia notáveis em escala. Fonte: https://arxiv.org/pdf/2205.09646.pdf

Para modelos em maior escala, que capturaram a atenção nos últimos anos devido a conjuntos de dados de hipercala e novos modelos com bilhões ou trilhões de parâmetros, economias semelhantes podem ser obtidas como uma troca entre tempo de treinamento e uso de energia.

Treinamento de modelos de NLP mais formidáveis em escala sob restrições de energia. O tempo relativo médio sob uma restrição de 150W é mostrado em azul, e o consumo de energia relativo médio para 150W em laranja.

Para essas implantações em maior escala, os pesquisadores descobriram que uma restrição de 150W no uso de energia obtém uma redução média de 13,7% no uso de energia em comparação com o máximo padrão de 250W, bem como um aumento relativamente pequeno de 6,8% no tempo de treinamento.

Além disso, os pesquisadores observam que, apesar das manchetes que o custo do treinamento de modelos gerou nos últimos anos, os custos de energia do uso de modelos treinados são muito maiores*.

‘Para modelagem de linguagem com BERT, os ganhos de energia por meio da limitação de energia são mais notáveis durante a inferência do que durante o treinamento. Se isso for consistente para outras aplicações de IA, isso pode ter implicações significativas em termos de consumo de energia para plataformas de computação em escala ou nuvem que servem aplicações de inferência para pesquisa e indústria.’

Além disso, e talvez de forma mais controversa, o artigo sugere que o treinamento de modelos de aprendizagem de máquina seja relegado aos meses mais frios do ano e à noite, para economizar nos custos de refrigeração.

Acima, estatísticas de PUE para cada dia de 2020 no data center dos autores, com um pico/planalto notável e sustentado nos meses de verão. Abaixo, a variação horária média em PUE para o mesmo local no curso de uma semana, com o consumo de energia aumentando em direção ao meio do dia, à medida que tanto o hardware de refrigeração interno do GPU quanto o refrigeração ambiental do data center lutam para manter uma temperatura viável.

Os autores afirmam:

‘Evidentemente, cargas de trabalho de NLP pesadas são tipicamente muito menos eficientes no verão do que aquelas executadas durante o inverno. Dada a grande variação sazonal, se houver experimentos computacionalmente caros que possam ser agendados para meses mais frios, isso pode reduzir significativamente a pegada de carbono.’

O artigo também reconhece as possibilidades emergentes de economia de energia que são possíveis por meio da poda e otimização da arquitetura do modelo e dos fluxos de trabalho – embora os autores deixem o desenvolvimento adicional dessa via para outras iniciativas.

Finalmente, os autores sugerem que novos artigos científicos do setor de aprendizagem de máquina sejam incentivados, ou talvez constrangidos, a fechar com uma declaração declarando o uso de energia do trabalho realizado na pesquisa e as possíveis implicações de energia de adotar iniciativas sugeridas no trabalho.

O artigo, liderando pelo exemplo, explica as implicações de energia de sua própria pesquisa.

O artigo é intitulado Grande Poder, Grande Responsabilidade: Recomendações para Reduzir a Energia para Treinar Modelos de Linguagem, e vem de seis pesquisadores do MIT Lincoln e da Universidade Northeastern.

A Aprendizagem de Máquina e sua Grande Demanda de Energia

À medida que as demandas computacionais para os modelos de aprendizagem de máquina aumentaram em tandem com a utilidade dos resultados, a cultura atual de ML equipara o gasto de energia com o desempenho melhorado – apesar de alguns notáveis defensores, como Andrew Ng, sugerindo que a curação de dados pode ser um fator mais importante.

Em uma colaboração-chave do MIT de 2020, foi estimado que uma melhoria de dez vezes no desempenho do modelo implica um aumento de 10.000 vezes nas necessidades computacionais, juntamente com uma quantidade correspondente de energia.

Consequentemente, a pesquisa em treinamento de ML menos intensivo em energia aumentou nos últimos anos. O novo artigo, os autores afirmam, é o primeiro a dar uma olhada profunda no efeito das restrições de energia no treinamento e inferência de aprendizagem de máquina, com ênfase em frameworks de NLP (como a série GPT).

Como a qualidade da inferência é uma preocupação primordial, os autores afirmam sobre suas descobertas no início:

‘[Esse] método não afeta as previsões de modelos treinados ou, consequentemente, sua precisão de desempenho em tarefas. Ou seja, se duas redes com a mesma estrutura, valores iniciais e dados em lotes forem treinadas para o mesmo número de lotes sob diferentes restrições de energia, seus parâmetros resultantes serão idênticos e apenas a energia necessária para produzi-los pode diferir.’

Reduzindo o Poder para NLP

Para avaliar o impacto das restrições de energia no treinamento e inferência, os autores usaram a nvidia-smi (Interface de Gerenciamento de Sistema) e uma biblioteca MLM da HuggingFace.

Os autores treinaram modelos de Processamento de Linguagem Natural BERT, DistilBERT e Big Bird sobre MLM, e monitoraram seu consumo de energia durante o treinamento e implantação.

Os modelos foram treinados contra o conjunto de dados WikiText-103 da DeepAI por 4 épocas em lotes de oito, em 16 GPUs V100, com quatro restrições de energia diferentes: 100W, 150W, 200W e 250W (o padrão, ou baseline, para uma GPU NVIDIA V100). Os modelos apresentaram parâmetros treinados do zero e valores de inicialização aleatórios, para garantir avaliações de treinamento comparáveis.

Como visto na primeira imagem acima, os resultados demonstram boas economias de energia em aumentos não lineares e favoráveis no tempo de treinamento. Os autores afirmam:

‘Nossos experimentos indicam que a implementação de restrições de energia pode reduzir significativamente o uso de energia ao custo do tempo de treinamento.’

Emagrecendo o ‘Big NLP’

Em seguida, os autores aplicaram o mesmo método a um cenário mais desafiador: treinamento de BERT com MLM em configurações distribuídas em várias GPUs – um caso de uso mais típico para modelos de NLP bem financiados e divulgados.

A principal diferença neste experimento foi que um modelo pode usar entre 2-400 GPUs por instância de treinamento. As mesmas restrições para uso de energia foram aplicadas, e a mesma tarefa foi usada (WikiText-103). Veja a segunda imagem acima para gráficos dos resultados.

O artigo afirma:

‘Média em cada escolha de configuração, uma restrição de 150W no uso de energia levou a uma redução média de 13,7% no uso de energia e um aumento de 6,8% no tempo de treinamento em comparação com o máximo padrão. [A] configuração de 100W tem tempos de treinamento significativamente mais longos (31,4% mais longos em média). Uma restrição de 200W corresponde a quase o mesmo tempo de treinamento que uma restrição de 250W, mas com economias de energia mais modestas do que uma restrição de 150W.’

Os autores sugerem que esses resultados apoiam a restrição de energia em 150W para arquiteturas de GPU e as aplicações que as executam. Eles também observam que as economias de energia obtidas se traduzem em plataformas de hardware, e executaram os testes novamente para comparar os resultados para as GPUs NVIDIA K80, T4 e A100.

Economias obtidas em três diferentes GPUs da NVIDIA.

A Inferência, e não o Treinamento, Consome Energia

O artigo cita vários estudos anteriores que demonstram que, apesar das manchetes, é a inferência (o uso de um modelo concluído, como um modelo de NLP) e não o treinamento que consome a maior quantidade de energia, sugerindo que, à medida que os modelos populares se tornam comuns e entram no mainstream, o uso de energia pode se tornar um problema maior do que é atualmente nessa fase mais incipiente do desenvolvimento de NLP.

Assim, os pesquisadores mediram o impacto da inferência no uso de energia, descobrindo que a imposição de restrições de energia tem um efeito notável na latência da inferência:

‘Em comparação com 250W, uma configuração de 100W exigiu o dobro do tempo de inferência (um aumento de 114%) e consumiu 11,0% menos energia, 150W exigiu 22,7% mais tempo e economizou 24,2% da energia, e 200W exigiu 8,2% mais tempo com 12,0% menos energia.’

Treinamento de Inverno

O artigo sugere que o treinamento (se não a inferência, por razões óbvias) poderia ser agendado em momentos em que o data center está no pico de Eficiência de Uso de Energia (PUE) – efetivamente, isso é no inverno e à noite.

‘Economias de energia significativas podem ser obtidas se as cargas de trabalho puderem ser agendadas em momentos em que uma PUE mais baixa é esperada. Por exemplo, mover um trabalho de curto prazo do dia para a noite pode fornecer uma redução de cerca de 10%, e mover um trabalho mais longo e caro (por exemplo, um modelo de linguagem que leva semanas para ser concluído) do verão para o inverno pode ver uma redução de 33%.

‘Embora seja difícil prever as economias que um pesquisador individual pode alcançar, as informações apresentadas aqui destacam a importância dos fatores ambientais que afetam a energia total consumida por suas cargas de trabalho.’

Mantenha-o Nuvem

Finalmente, o artigo observa que os recursos de processamento caseiros são improváveis de ter implementado as mesmas medidas de eficiência que os grandes data centers e provedores de computação em nuvem de alto nível, e que benefícios ambientais poderiam ser obtidos transferindo as cargas de trabalho para locais que investiram pesadamente na eficiência de suas instalações.

‘Embora haja conveniência em ter recursos de computação privados que são acessíveis, essa conveniência vem com um custo. Em geral, as economias de energia e o impacto são mais facilmente obtidos em escalas maiores. Data centers e provedores de computação em nuvem fazem investimentos significativos na eficiência de suas instalações.’

* Links pertinentes fornecidos pelo artigo.