機械学習のエネルギー消費を抑える

機械学習の大規模モデルに対するエネルギー需要の増加についての懸念が高まっている中、MITリンカーン研究所とノースイースタン大学の最近の研究は、モデル訓練と推論に使用されるGPUの電力消費を削減するための電力制限の潜在的な利点を調査した。

この研究では、新しいAI関連の論文には、研究で使用されたエネルギーの使用量と、提案された取り組みの潜在的なエネルギー影響についての記述を含めることを提案している。

研究の主な提案は、GPUの電力消費を制限することで、特にマスク言語モデリング（MLM）とBERTなどのフレームワークで、有意なエネルギー節約が可能であるということである。

Three language modeling networks operating at a percentage of the default 250W settings (black line), in terms of power usage. Constraining power consumption does not constrain training efficiency or accuracy on a 1-1 basis, and offers power savings that are notable at scale. Source: https://arxiv.org/pdf/2205.09646.pdf

大規模モデルでは、研究者は、訓練時間とエネルギー消費のトレードオフとして、電力消費を削減することで、エネルギー節約を実現できることを発見した。

Training more formidable NLP models at scale under power constraints. The average relative time under a 150W cap is shown in blue, and average relative energy consumption for 150W in orange.

これらの大規模な展開では、研究者は、150Wの電力消費制限を設けることで、平均13.7%のエネルギー消費の削減と、相対的に短い6.8%の訓練時間の増加を実現した。

さらに、研究者は、訓練されたモデルの使用におけるエネルギー消費が、訓練におけるエネルギー消費よりもはるかに高いことを指摘している。

‘言語モデリングにおけるBERTの場合、推論時に電力制限を設けることで、訓練時に比べてエネルギー節約が著しくなる。もし、この傾向が他のAIアプリケーションにも当てはまる場合、研究および産業向けの推論アプリケーションを提供する大規模またはクラウドコンピューティングプラットフォームのエネルギー消費に重大な影響を及ぼす可能性がある。’

さらに、論文では、機械学習モデルの大規模訓練を、データセンターのピーク時以外の時間帯、例えば冬季や夜間に実行することを提案している。

Above, PUE statistics for each day of 2020 in the authors’ data center, with a notable and sustained spike/plateau in the summer months. Below, the average hourly variation in PUE for the same location in the course of a week, with energy consumption rising towards the middle of the day, as both the internal GPU cooling hardware and the ambient data center cooling struggle to maintain a workable temperature.

著者は次のように述べている。

‘明らかに、大規模なNLPワークロードは、冬季よりも夏季に実行される場合、はるかに効率が悪い。大量の計算機を必要とする実験が、涼しい月に実行される場合、炭素足跡を大幅に削減できる。’

論文では、モデルアーキテクチャとワークフローの最適化を通じて、エネルギー節約の可能性も示唆している。

最後に、著者は、新しい科学的論文には、研究で使用されたエネルギー使用量と、提案された取り組みの潜在的なエネルギー影響についての記述を含めることを提案している。

The paper, leading by example, explains the energy implications of its own research.

この論文は、Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Modelsというタイトルで、MITリンカーン研究所とノースイースタン大学の6人の研究者によって執筆された。

機械学習のエネルギー消費の増加

機械学習モデルの計算要求が増加するにつれて、現在のML文化は、エネルギー消費とパフォーマンスの向上を等しくみなしている。しかし、Andrew Ngを含む一部の著名なキャンペーンは、データキュレーションがより重要な要素であると主張している。

2020年のMITの研究では、モデルのパフォーマンスを10倍向上させるためには、計算要求が10,000倍になることが示唆された。

したがって、エネルギー消費を削減するための研究が増加している。新しい論文は、電力制限の影響を調査した最初の研究である。

著者は、次のように述べている。

‘この方法は、訓練されたモデルの予測やパフォーマンスの精度に影響を与えない。つまり、同じ構造、初期値、バッチ化されたデータを使用して、異なる電力制限で訓練された2つのネットワークは、同じパラメータを持ち、エネルギー消費のみが異なる。’

NLPの電力消費を削減する

電力制限の影響を評価するために、著者は、NVIDIAのSystem Management Interface（SMI）コマンドラインユーティリティと、HuggingFaceのMLMライブラリを使用した。

著者は、BERT、DistilBERT、Big BirdなどのNLPモデルを、MLMで訓練し、電力消費を監視した。

モデルは、DeepAIのWikiText-103データセットで4エポック、バッチサイズ8、16個のV100 GPUで訓練された。電力制限は、100W、150W、200W、250W（NVIDIA V100 GPUのデフォルト）で設定された。

結果は、電力制限を設けることで、エネルギー消費を削減できることを示した。

‘Big NLP’をスリム化する

次に、著者は、BERTをMLMで訓練する、大規模なシナリオに電力制限を適用した。

この実験では、モデルは2〜400個のGPUを使用し、WikiText-103タスクで訓練された。

結果は、150Wの電力制限で、平均13.7%のエネルギー消費の削減と、6.8%の訓練時間の増加を示した。

推論が電力を消費する

論文では、推論が訓練よりもはるかに多くの電力を消費することを示唆している。

著者は、推論の際の電力制限の影響を評価し、次のように述べている。

‘100Wの設定では、推論時間が2倍になり、エネルギー消費が11.0%削減された。150Wの設定では、推論時間が22.7%増加し、エネルギー消費が24.2%削減された。200Wの設定では、推論時間が8.2%増加し、エネルギー消費が12.0%削減された。’

冬季訓練

論文では、訓練をデータセンターのピーク時以外の時間帯、例えば冬季や夜間に実行することを提案している。

‘大量の計算機を必要とする実験が、涼しい月に実行される場合、炭素足跡を大幅に削減できる。’

クラウドを維持する

最後に、著者は、自前のコンピューティングリソースではなく、データセンターまたはクラウドコンピューティングプロバイダーを使用することで、エネルギー節約を実現できることを示唆している。

‘自前のコンピューティングリソースを使用することは便利だが、コストがかかる。一般的に、エネルギー節約は、大規模なデータセンターまたはクラウドコンピューティングプロバイダーで実現される。’