Contenere le crescenti esigenze energetiche dell’apprendimento automatico

Alla luce della crescente preoccupazione per le esigenze energetiche dei grandi modelli di apprendimento automatico, uno studio recente del MIT Lincoln Laboratory e dell’Università del Nordest ha indagato sui risparmi che possono essere ottenuti attraverso la limitazione della potenza dei GPU impiegati nella formazione e nell’inferenza dei modelli, nonché attraverso altre tecniche e metodi per ridurre il consumo energetico dell’AI.

Il nuovo lavoro chiama anche per l’introduzione di una “Dichiarazione di energia” (simile alla recente tendenza di includere dichiarazioni di “implicazioni etiche” nei lavori di ricerca sull’apprendimento automatico) alla fine di ogni nuovo lavoro di ricerca sull’AI.

La principale suggerimento dello studio è che la limitazione della potenza (limitare la potenza disponibile per il GPU che sta formando il modello) offre benefici di risparmio energetico significativi, in particolare per il Masked Language Modeling (MLM) e per framework come BERT e le sue derivazioni.

Tre reti di modellazione linguistica che operano al 100% della potenza predefinita (linea nera), in termini di consumo di energia. La limitazione del consumo di energia non limita l’efficienza di formazione o l’accuratezza in modo lineare, e offre risparmi di energia notevoli a livello di scala. Fonte: https://arxiv.org/pdf/2205.09646.pdf

Per modelli di grandi dimensioni, che hanno attirato l’attenzione negli ultimi anni a causa di dataset iperscalari e nuovi modelli con miliardi o trilioni di parametri, risparmi simili possono essere ottenuti come compromesso tra tempo di formazione e consumo di energia.

Formazione di modelli NLP più potenti a livello di scala sotto vincoli di potenza. Il tempo relativo medio sotto un limite di 150W è mostrato in blu, e il consumo di energia relativo medio per 150W è mostrato in arancione.

Per questi dispiegamenti a larga scala, i ricercatori hanno scoperto che un limite di 150W sul consumo di energia ha ottenuto una riduzione media del 13,7% nel consumo di energia rispetto al massimo predefinito di 250W, nonché un aumento relativamente piccolo del 6,8% nel tempo di formazione.

Inoltre, i ricercatori notano che, nonostante i titoli che il costo della formazione dei modelli ha ricevuto negli ultimi anni, i costi energetici dell’uso dei modelli formati sono molto più alti*.

‘Per la modellazione linguistica con BERT, i guadagni di energia attraverso la limitazione della potenza sono più grandi quando si esegue l’inferenza che durante la formazione. Se questo è coerente con altre applicazioni AI, ciò potrebbe avere importanti implicazioni in termini di consumo di energia per piattaforme di calcolo a larga scala o cloud che servono applicazioni di inferenza per la ricerca e l’industria.’

Inoltre, e forse più controversamente, il documento suggerisce che la formazione principale dei modelli di apprendimento automatico debba essere affidata ai mesi più freddi dell’anno e di notte, per risparmiare sui costi di raffreddamento.

Sopra, statistiche PUE per ogni giorno del 2020 nel data center degli autori, con un notevole e sostenuto picco/plateau nei mesi estivi. Sotto, la variazione media oraria nel PUE per la stessa posizione nel corso di una settimana, con il consumo di energia che aumenta verso la metà del giorno, poiché sia il hardware di raffreddamento interno del GPU che il raffreddamento ambientale del data center lottano per mantenere una temperatura lavorativa.

Gli autori affermano:

‘Evidentemente, i carichi di lavoro NLP pesanti sono tipicamente molto meno efficienti in estate che durante l’inverno. Dato il grande variabile stagionale, se ci sono esperimenti computazionalmente costosi che possono essere pianificati per i mesi più freddi, questo può ridurre significativamente l’impronta di carbonio.’

Il documento riconosce anche le emergenti possibilità di risparmio energetico che sono possibili attraverso la potatura e l’ottimizzazione dell’architettura del modello e dei flussi di lavoro – sebbene gli autori lascino ulteriori sviluppi di questa via ad altre iniziative.

Infine, gli autori suggeriscono che nuovi lavori di ricerca del settore dell’apprendimento automatico debbano essere incoraggiati, o forse costretti, a concludere con una dichiarazione che dichiari il consumo di energia del lavoro condotto nella ricerca e le potenziali implicazioni energetiche dell’adozione di iniziative suggerite nel lavoro.

Il documento, facendo da esempio, spiega le implicazioni energetiche della propria ricerca.

Il documento si intitola Grande potere, grande responsabilità: raccomandazioni per ridurre l’energia per la formazione dei modelli linguistici, e proviene da sei ricercatori del MIT Lincoln e dell’Università del Nordest.

L’apprendimento automatico e la sua esigenza energetica in aumento

Mentre le esigenze computazionali per i modelli di apprendimento automatico sono aumentate in tandem con l’utilità dei risultati, l’attuale cultura dell’apprendimento automatico equipara il consumo di energia con le prestazioni migliorate – nonostante alcuni notevoli sostenitori, come Andrew Ng, suggeriscano che la cura dei dati possa essere un fattore più importante.

In una chiave collaborazione del MIT del 2020, è stato stimato che un miglioramento di dieci volte delle prestazioni del modello richiede un aumento di 10.000 volte delle esigenze computazionali, insieme a una quantità corrispondente di energia.

Di conseguenza, la ricerca su una formazione dell’apprendimento automatico meno intensiva in termini di potenza è aumentata negli ultimi anni. Il nuovo documento, gli autori affermano, è il primo a esaminare a fondo l’effetto della limitazione della potenza sulla formazione e sull’inferenza dell’apprendimento automatico, con un focus sui framework NLP (come la serie GPT).

Poiché la qualità dell’inferenza è una preoccupazione fondamentale, gli autori affermano all’inizio dei loro risultati:

‘[Questo] metodo non influisce sulle previsioni dei modelli formati o, di conseguenza, sulla loro accuratezza delle prestazioni sui compiti. Ciò significa che, se due reti con la stessa struttura, valori iniziali e dati batchati sono formate per lo stesso numero di batch con diversi limiti di potenza, i loro parametri risultanti saranno identici e solo l’energia richiesta per produrli potrà differire.’

Ridurre la potenza per l’NLP

Per valutare l’impatto della limitazione della potenza sulla formazione e sull’inferenza, gli autori hanno utilizzato l’utilità da riga di comando nvidia-smi (System Management Interface), insieme a una libreria MLM da HuggingFace.

Gli autori hanno formato modelli di elaborazione del linguaggio naturale BERT, DistilBERT e Big Bird su MLM, e hanno monitorato il loro consumo di energia durante la formazione e il dispiegamento.

I modelli sono stati formati contro il dataset WikiText-103 di DeepAI per 4 epoche in batch di otto, su 16 GPU V100, con quattro diversi limiti di potenza: 100W, 150W, 200W e 250W (il predefinito, o baseline, per una GPU NVIDIA V100). I modelli presentavano parametri scratch-trained e valori di inizializzazione casuali, per garantire valutazioni di formazione comparabili.

Come si vede nella prima immagine sopra, i risultati dimostrano buoni risparmi di energia con aumenti non lineari e favorevoli nel tempo di formazione. Gli autori affermano:

‘I nostri esperimenti indicano che l’implementazione di limiti di potenza può ridurre significativamente il consumo di energia al costo del tempo di formazione.’

Ridurre il consumo di “Big NLP”

Successivamente, gli autori hanno applicato lo stesso metodo a uno scenario più impegnativo: la formazione di BERT con MLM su configurazioni distribuite su più GPU – un caso d’uso più tipico per modelli NLP ben finanziati e pubblicizzati.

La principale differenza in questo esperimento è stata che un modello poteva utilizzare tra 2-400 GPU per istanza di formazione. Le stesse limitazioni per il consumo di energia sono state applicate, e lo stesso compito è stato utilizzato (WikiText-103). Vedi la seconda immagine sopra per i grafici dei risultati.

Il documento afferma:

‘Averaging across each choice of configuration, un limite di 150W sul consumo di energia ha portato a una riduzione media del 13,7% nel consumo di energia e un aumento del 6,8% nel tempo di formazione rispetto al massimo predefinito. [Il] limite di 100W ha tempi di formazione significativamente più lunghi (31,4% più lunghi in media). Un limite di 200W corrisponde a quasi lo stesso tempo di formazione di un limite di 250W, ma con risparmi di energia più modesti rispetto a un limite di 150W.’

Gli autori suggeriscono che questi risultati supportano la limitazione della potenza a 150W per le architetture GPU e le applicazioni che le utilizzano. Notano inoltre che i risparmi di energia ottenuti si traducono in risparmi su piattaforme hardware, e hanno ripetuto i test per confrontare i risultati per GPU NVIDIA K80, T4 e A100.

Risparmi ottenuti su tre diverse GPU NVIDIA.

L’inferenza, non la formazione, consuma energia

Il documento cita diversi studi precedenti che dimostrano che, nonostante i titoli, è l’inferenza (l’uso di un modello finito, come un modello NLP) e non la formazione che richiede la maggior quantità di potenza, suggerendo che, poiché i modelli popolari vengono commodificati e entrano nel mainstream, il consumo di energia potrebbe diventare un problema più grande di quanto non sia attualmente in questa fase nascente dello sviluppo NLP.

Pertanto, i ricercatori hanno misurato l’impatto dell’inferenza sul consumo di energia, scoprendo che l’imposizione di limiti di potenza ha un effetto notevole sulla latenza dell’inferenza:

‘Rispetto a 250W, un’impostazione di 100W richiede il doppio del tempo di inferenza (un aumento del 114%) e consuma l’11,0% di energia in meno, 150W richiede il 22,7% di tempo in più e risparmia il 24,2% di energia, e 200W richiede l’8,2% di tempo in più con il 12,0% di energia in meno.’

Formazione invernale

Il documento suggerisce che la formazione (se non l’inferenza, per ovvie ragioni) potrebbe essere pianificata in momenti in cui il data center è al picco di Efficienza di Utilizzo della Potenza (PUE) – in pratica, durante l’inverno e di notte.

‘Risparmi di energia significativi possono essere ottenuti se i carichi di lavoro possono essere pianificati in momenti in cui si prevede un PUE più basso. Ad esempio, spostare un lavoro a breve termine dal giorno alla notte può fornire una riduzione di circa il 10%, e spostare un lavoro lungo e costoso (ad esempio un modello linguistico che richiede settimane per essere completato) dall’estate all’inverno può vedere una riduzione del 33%.’

‘Sebbene sia difficile prevedere i risparmi che un singolo ricercatore può ottenere, le informazioni presentate qui evidenziano l’importanza dei fattori ambientali che influenzano l’energia totale consumata dai loro carichi di lavoro.’

Mantieni la nuvola

Infine, il documento osserva che le risorse di elaborazione interne sono improbabili di aver implementato le stesse misure di efficienza dei grandi data center e dei principali fornitori di calcolo cloud, e che i benefici ambientali potrebbero essere ottenuti trasferendo i carichi di lavoro in luoghi che hanno investito molto nell’efficienza delle loro strutture.

‘Sebbene ci sia comodità nell’avere risorse di calcolo private accessibili, questa comodità ha un costo. In generale, i risparmi di energia e l’impatto sono più facilmente ottenuti a larga scala. I data center e i fornitori di calcolo cloud investono molto nell’efficienza delle loro strutture.’

* Collegamenti pertinenti forniti dal documento.