Andersonの視点
機械学習のエネルギー消費を抑える

要点GPUの消費電力を150Wに制限すると、エネルギー使用量は13.7%削減され、トレーニング時間の増加はわずか6.8%にとどまる。
もっと見る
- GPUの消費電力を150Wに制限すると、エネルギー使用量は13.7%削減され、トレーニング時間の増加はわずか6.8%にとどまる。
- 推論はトレーニングよりもはるかに多くのエネルギーを消費するため、電力制限の効果が最も大きいのは推論である。
- 負荷の高いトレーニングを冬期や夜間にスケジュールすることで、炭素排出量を大幅に削減できる。
大規模な機械学習モデルのエネルギー需要に対する懸念が高まる中、MITリンカーン研究所とノースイースタン大学の最近の研究は、モデルの学習と推論に使うGPUの電力を制限することで得られる節約効果を調査した。AIのエネルギー使用を削減する他の技術や方法も検討している。
新しい研究は、機械学習分野の研究論文に倫理的影響の声明を添える最近の傾向にならい、新しいAI論文を「エネルギー声明」で締めくくることも提案する。
主な提案は、電力制限、つまりモデルを学習させるGPUが利用できる電力を制限すれば、特にマスク言語モデリング(MLM)やBERTとその派生モデルで、有意義な省エネルギー効果を得られるというものだ。

3つの言語モデルネットワークの電力使用を、標準250W設定(黒線)の割合として示す。電力消費を制限しても学習効率や精度が1対1の割合で低下するわけではなく、大規模では顕著な節約になる。 出典: https://arxiv.org/pdf/2205.09646.pdf
超大規模データセットや数十億・数兆のパラメータを持つ新モデルによって近年注目されている、さらに大規模なモデルでも、学習時間とエネルギー使用量のトレードオフによって同様の節約が可能となる。

電力制約の下で、より強力なNLPモデルを大規模に学習。青は150W上限での平均相対時間、オレンジは同じ上限での平均相対エネルギー消費量。
こうした大規模な実行では、電力使用の上限を150Wにすると、標準の最大250Wに比べてエネルギー使用量が平均13.7%減少し、学習時間の増加は比較的小さい6.8%にとどまった。
また研究者は、ここ数年モデルの学習費用が話題になっているものの、学習済みモデルを実際に使う際のエネルギー費用ははるかに高いと指摘する。*
「BERTによる言語モデリングでは、電力制限によるエネルギー面の利点は、学習時よりも推論時のほうが明らかに大きい。他のAI用途でも同じ傾向なら、研究・産業向けの推論アプリケーションを提供する大規模またはクラウドコンピューティング基盤のエネルギー消費に、重大な影響を与えうる」
さらに、おそらく最も議論を呼ぶ提案として、論文は冷却費を節約するため、機械学習モデルの大きな学習作業を年の寒い時期や夜間に移すことを勧める。

上は著者のデータセンターにおける2020年の毎日のPUE統計で、夏には顕著で持続的な急上昇と高止まりがある。下は同じ場所の1週間における時間帯別の平均PUE変化。GPU内部の冷却装置とデータセンターの空調が稼働可能な温度を維持しようとするため、正午に近づくにつれ消費エネルギーが増える。
著者は次のように述べる。
「明らかに、重いNLP処理は通常、冬に行う場合より夏のほうがはるかに非効率である。季節差が大きいことから、計算費用のかかる実験を涼しい月に合わせられるなら、日程の調整によって炭素排出量を大幅に削減できる」
論文はモデル構造や処理手順の枝刈りと最適化によって新たに可能になる省エネルギーも認めている。ただし、この方向のさらなる開発は他の取り組みに委ねるとしている。
最後に著者は、機械学習分野の新しい科学論文が、研究で行った作業のエネルギー使用量と、提案した取り組みを採用する場合の潜在的なエネルギー上の影響を明示して締めくくるよう、奨励し、場合によっては義務付けることを提案する。

論文は自らの研究のエネルギーへの影響を説明し、手本を示す。
論文の題名は大きな力、大きな責任:言語モデルの学習に必要なエネルギーを減らすための提言で、MITリンカーン研究所とノースイースタン大学の研究者6人が執筆した。
迫り来る機械学習のエネルギー需要
結果の有用性とともに機械学習モデルの計算需要が増加してきたため、現在の機械学習文化ではエネルギー支出が性能向上と同一視されている。一方、アンドリュー・ンなどの著名な提唱者は、データのキュレーションがより重要な要因かもしれないと指摘している。
2020年の重要なMIT共同研究では、モデルの性能を10倍にするには計算需要が10,000倍となり、それに見合うエネルギーが必要になると推定された。
そのため近年、消費電力を抑えて効果的に機械学習を行う研究が増えている。著者によれば、新論文はGPTシリーズなどのNLP基盤に重点を置き、電力上限が機械学習の学習と推論に与える影響を初めて深く検討したものだ。
推論の品質が最優先事項であるため、著者は結果の説明に先立って次のように述べる。
「この方法は学習済みモデルの予測にも、それに伴うタスクの精度にも影響しない。つまり、構造・初期値・バッチ化したデータが同じ2つのネットワークを、異なる電力上限で同じバッチ数だけ学習させれば、得られるパラメータは同じになり、違いうるのは生成に必要なエネルギーだけである」
NLPの電力を削減する
学習と推論への電力上限の影響を評価するため、著者はnvidia-smi(システム管理インターフェース)というコマンドラインツールと、HuggingFaceのMLMライブラリを使用した。
自然言語処理モデルのBERT、DistilBERT、Big BirdをMLMで学習させ、学習時と運用時の電力消費を監視した。
モデルはDeepAIのWikiText-103データセットを用い、16基のV100 GPU上で、8サンプルずつのバッチにより4エポック学習した。電力上限は100W、150W、200W、250Wの4種類で、250WがNVIDIA V100 GPUの標準値・基準値である。比較可能な学習評価にするため、モデルはゼロから学習するパラメータとランダムな初期値を使った。
上の最初の図のとおり、学習時間が非線形かつ有利な幅で増える代わりに、大きなエネルギー節約が得られた。著者は次のように述べる。
「実験は、電力上限を導入すれば、学習時間の増加と引き換えにエネルギー使用を大幅に減らせることを示している」
「大規模NLP」を軽量化する
次に同じ方法を、複数のGPUに分散した構成でBERTをMLMによって学習する、より厳しい状況に適用した。これは資金が豊富で広く知られるFAANGのNLPモデルに、より典型的な利用例である。
主な違いは、1回の学習で2~400基のGPUを使う場合があることだった。同じ電力制限と同じタスク(WikiText-103)を使った。結果のグラフは上の2番目の図を参照されたい。
論文は次のように述べる。
「すべての構成の選択肢で平均すると、150Wの上限では標準の最大値に比べてエネルギー使用が平均13.7%減少し、学習時間は6.8%増加した。100Wでは学習時間が大幅に長くなる(平均31.4%増)。200W上限の学習時間は250Wとほぼ同じだが、エネルギー節約は150W上限より小さい」
著者は、この結果がGPUアーキテクチャとその上で動くアプリケーションに150W上限を適用する根拠になると考える。また、異なるハードウェア基盤でも節約が得られるとし、NVIDIA (NVDA ) K80、T4、A100 GPUを比較するため再度実験した。

異なる3種類のNVIDIA GPUで得られた節約。
電力を消費するのは学習ではなく推論
論文は、報道とは裏腹に最も多くの電力を使うのは学習ではなく推論(NLPモデルなど完成したモデルの使用)であると示す先行研究を複数引用する。人気モデルが商品化され、一般に普及すれば、電力使用は現在の比較的初期のNLP開発段階より大きな問題になりうるという。
そこで研究者は推論が電力使用に与える影響を測定し、電力上限が推論の待ち時間に顕著な影響を与えると確認した。
「250Wと比べ、100W設定では推論時間が約2倍(114%増)になり、エネルギー使用は11.0%減った。150Wでは時間が22.7%増えてエネルギーを24.2%節約し、200Wでは時間が8.2%増えてエネルギーが12.0%減った」
冬季の学習
論文は、学習を(明らかな理由から推論は除き)、データセンターの電力使用効率(PUE)が最良になる時期、すなわち冬と夜間に予定できると提案する。
「PUEが低くなると見込まれるときに処理を予定できれば、大幅なエネルギー節約が可能になる。例えば短時間の処理を昼から夜に移せば約10%削減でき、より長く費用のかかる処理(完了に何週間もかかる言語モデルなど)を夏から冬に移せば33%削減できる可能性がある」
「個々の研究者の節約量を予測することは難しいが、ここで示した情報は、処理全体のエネルギー消費に影響する環境要因の重要性を示している」
クラウドを活用する
最後に論文は、自前の処理資源には大規模データセンターや主要クラウド事業者と同じ効率化策が導入されていない可能性が高いと指摘する。良好なPUEに多額の投資をしている場所へ処理を移せば、環境面の利点を得られるという。
「利用しやすい専用計算資源は便利だが、その便利さには代償がある。一般に、規模が大きいほどエネルギーの節約と効果は得やすい。データセンターとクラウドコンピューティング事業者は施設の効率に大きな投資をしている」
* 論文が示す関連リンク。












