エンジニアが開発したエネルギー効率の高い「早起き」法を用いたディープニューラルネットワークのトレーニング

ライス大学のエンジニアは、通常よりもはるかに少ないエネルギーでディープニューラルネットワーク（DNNs）をトレーニングする新しい方法を開発しました。DNNsは、自動運転車、インテリジェントアシスタント、顔認識、その他のアプリケーションの開発において重要な役割を果たす人工知能（AI）の形態です。

Early Birdは、2020年4月29日にライス大学とテキサスA&M大学の研究者によって論文で詳細が発表され、国際学習表現会議（ICLR 2020）で発表されました。

研究の主な著者は、ライスの効率的でインテリジェントなコンピューティング（EIC）研究所のHaoran YouとChaojian Liでした。ある研究では、彼らは、Early Bird法が、現在の方法と同じレベルと精度でDNNをトレーニングできることを実証しましたが、エネルギー消費は10.7倍少ないという結果を示しました。

研究は、EIC研究所のディレクターであるYingyan Lin、ライスのRichard Baraniuk、テキサスA&M大学のZhangyang Wangによって率いられました。他の共同著者には、Pengfei Xu、Yonggan Fu、Yue Wang、Xiaohan Chenが含まれます。

「最近のAIのブレークスルーを推進する大きな力は、より大きな、より高価なDNNsの導入です」とLinは述べました。「しかし、これらのDNNsをトレーニングするには多大なエネルギーが必要です。さらに多くの革新が発表されるためには、環境への懸念に応え、AI研究の財務的障壁を減らす『より環境に優しい』トレーニング方法を見つけることが不可欠です」

DNNsのトレーニングのコスト

世界最高のDNNsをトレーニングすることは非常に高価で、価格はさらに上昇しています。2019年、シアトルにあるAllen Institute for AIが主導した研究では、トップレベルのディープニューラルネットワークをトレーニングするには、2012年から2018年までに必要な計算量の300,000倍が必要であることがわかりました。2019年の別の研究では、マサチューセッツ大学アマースト校の研究者が、単一のエリートDNNをトレーニングすることで、5台の米国自動車と同等の二酸化炭素排出量が発生することがわかりました。

DNNsが高度に専門化されたタスクを実行するには、少なくとも数百万の人工ニューロンで構成されています。彼らは、大量の例を観察することで、決定を下す方法を学習し、時には人間を上回ることができます。彼らは、明示的なプログラミングを必要とせずにこれを行うことができます。

剪定とトレーニング

Linは、ライスのブラウン工学部の電気およびコンピューター工学の助教授です。

「DNNのトレーニングを行う最先端の方法は、プログレッシブな剪定とトレーニングです」とLinは述べました。「まず、密な巨大なネットワークをトレーニングし、次に重要ではない部分を削除します。次に、剪定されたネットワークを再トレーニングしてパフォーマンスを回復させます。実践では、パフォーマンスを回復させるために、剪定と再トレーニングを何度も繰り返す必要があります」

この方法は、すべての人工ニューロンが専門化されたタスクを完了するために必要ではないため使用されます。ニューロンの間の接続はトレーニングによって強化され、他の接続は削除できます。この剪定方法により、計算コストが削減され、モデルサイズが小さくなるため、完全にトレーニングされたDNNsがより安価になります。

「最初のステップ、密な巨大なネットワークのトレーニングは、最も高価です」とLinは述べました。「私たちのこの研究でのアイデアは、最終的に完全に機能する剪定ネットワーク、つまり『早起きチケット』を、最初のステップの初期段階で特定することです」

研究者は、ネットワークの接続パターンを調べることでこれを行います。彼らはこれらの早起きチケットを発見することができました。これにより、DNNのトレーニングを高速化することができました。

トレーニングの初期段階での早起き

Linと他の研究者は、Early Birdがトレーニングの初期段階で10分の1以下のところで出現することができることを発見しました。

「私たちの方法は、初期段階の10%以下のところで早起きチケットを自動的に特定することができます」とLinは述べました。「これは、伝統的なトレーニング方法に比べて、約10%以下の時間で同じ、またはより高い精度のタスクを実行するDNNをトレーニングすることができることを意味します。これにより、計算量とエネルギーで1桁以上の節約が可能になります」

高速でエネルギー効率が高いだけでなく、研究者は環境への影響にも強い焦点を当てています。

「私たちの目標は、AIをより環境に優しく、より包括的にすることです」と彼女は述べました。「複雑なAI問題の規模が大きいため、より小規模なプレーヤーが排除されてきました。グリーンAIは、研究者がノートパソコンや限られた計算リソースでAIの革新を探求できるように、扉を開けることができます」

この研究は、国家科学財団の支援を受けました。