エンジニアが開発したエネルギー効率の高い「Early Bird」法によるディープニューラルネットワークのトレーニング

ライス大学のエンジニアは、通常必要なエネルギーの小さな部分でディープニューラルネットワーク（DNN）をトレーニングする新しい方法を開発しました。DNNは、自動運転車、智能アシスタント、顔認識などのテクノロジーの開発において重要な役割を果たす人工知能（AI）の形態です。

Early Birdは、4月29日にライス大学とテキサスA＆M大学の研究者によって論文で詳細が発表されました。これは、国際学習表現会議（ICLR 2020）で発表されました。

研究の主な著者は、ライスの効率的で知能のあるコンピューティング（EIC）研究所のHaoran YouとChaojian Liでした。ある研究では、彼らは、Early Bird法が、現在の方法と同じレベルと精度でDNNをトレーニングできることを実証しましたが、エネルギー使用量は10.7倍少ないという結果を得ました。

この研究は、EIC研究所のディレクターであるYingyan Lin、ライスのRichard Baraniuk、テキサスA＆M大学のZhangyang Wangによって率いられました。他の共同著者には、Pengfei Xu、Yonggan Fu、Yue Wang、Xiaohan Chenが含まれます。

「最近のAIのブレークスルーを推進する大きな力は、より大きな、より高価なDNNの導入です」とLinは述べました。「しかし、これらのDNNをトレーニングするには多大なエネルギーが必要です。さらに多くのイノベーションを発表するには、環境への懸念に対処し、AI研究の財務的障壁を軽減する『よりグリーンな』トレーニング方法を見つけることが不可欠です。」

DNNをトレーニングするコスト

世界最高のDNNをトレーニングすることは非常に高価で、価格は増加しています。2019年にシアトルにあるAllen Institute for AIが主導した研究では、2012年から2018年までと比較して、トップレベルの深層ニューラルネットワークをトレーニングするには、300,000倍の計算が必要であることがわかりました。2019年の別の研究では、ユマスアマースト大学の研究者が、単一のエリートDNNをトレーニングすると、約5台の米国自動車と同じ量の二酸化炭素排出が発生することがわかりました。

DNNは、少なくとも数百万の人工ニューロンで構成されており、多数の例を観察することで、人間を上回るパフォーマンスで決定を下すことができます。これは、明示的なプログラミングを必要とせずに行われます。

剪定とトレーニング

リンは、ライスのブラウン工学部の電気・コンピューター工学の助教授です。

「DNNトレーニングの最先端の方法は、プログレッシブな剪定とトレーニングと呼ばれます」とリンは述べました。「まず、密な巨大なネットワークをトレーニングし、重要ではないように見える部分を削除します。次に、剪定されたネットワークを再トレーニングしてパフォーマンスを回復します。実践では、パフォーマンスを良くするために何度も剪定と再トレーニングが必要です。」

この方法は、すべての人工ニューロンが特殊なタスクを完了するために必要ではないため使用されます。ニューロンの間の接続はトレーニングによって強化され、他の接続は破棄できます。この剪定方法により、計算コストが削減され、モデルサイズが小さくなり、完全にトレーニングされたDNNがより手頃な価格になります。

「最初のステップ、巨大なネットワークをトレーニングすることは、最も高価です」とリンは述べました。「私たちのこの研究でのアイデアは、最終的な完全に機能する剪定ネットワーク、つまり『早い鳥のチケット』を、この高価な最初のステップの初期段階で特定することです。」

研究者は、ネットワークの接続パターンを調べることで、これらの早い鳥のチケットを発見しました。これにより、DNNのトレーニングを迅速化することができました。

トレーニングの初期段階でのEarly Bird

リンと他の研究者は、Early Birdがトレーニングの初期段階で10分の1以下のところに現れることができることを発見しました。

「私たちの方法は、巨大なネットワークのトレーニングの初期10％以下で早い鳥のチケットを自動的に特定できます」とリンは述べました。「これは、伝統的なトレーニング方法に比べて、10％以下の時間で同じタスクの同じ、またはより高い精度でDNNをトレーニングできることを意味します。これにより、計算とエネルギーで1桁以上の節約が可能になります。」

研究者は、高速性とエネルギー効率の向上に加えて、環境への影響にも強い焦点を当てています。

「私たちの目標は、AIをより環境に優しく、より包括的にすることです」と彼女は述べました。「複雑なAIの問題の規模は、より小さなプレーヤーを排除してきました。グリーンAIは、ノートブックコンピューターまたは限られた計算リソースを持つ研究者がAIのイノベーションを探求できるように扉を開けることができます。」

この研究は、国家科学財団の支援を受けて行われました。