AIのエネルギー使用量を削減する「成長と刈り込み」戦略

人間の脳は、初期段階では大量の神経接続を持って始まり、時間の経過とともに使用されていない接続を刈り込む「成長と刈り込み」の戦略で動作します。最近、AI研究チームはこのアプローチをAIシステムに適用し、AIをトレーニングするために必要なエネルギー量を大幅に削減できることがわかりました。

プリンストン大学の研究者チームは、最近、新しい方法でAIシステムをトレーニングする方法を開発しました。この新しいトレーニング方法は、業界の精度の基準を満たしたり超えたりすることができますが、従来の機械学習モデルよりもはるかに少ない計算能力でこれを達成します。2つの論文を通じて、プリンストン大学の研究者は、ネットワークにニューロンと接続を追加してネットワークを成長させる方法を実証しました。使用されていない接続は時間の経過とともに刈り込まれており、モデルの中で最も効果的で効率的な部分だけが残りました。

プリンストン大学の電気工学教授であるNiraj Jhaは、プリンストン大学のニュースに対して、研究者によって開発されたモデルは「成長と刈り込み」のパラダイムで動作することを説明しました。Jhaは、人間の脳は3歳のときに最も複雑になるが、その後、不要なシナプス接続を切り払い始めると述べました。結果として、完全に発達した脳は、我々が毎日行う非常に複雑なタスクを実行することができますが、ピーク時のシナプスの約半分しか使用しません。Jhaと他の研究者は、AIのトレーニングを向上させるためにこの戦略を模倣しました。

Jhaは次のように説明しています。

「私たちのアプローチは、成長と刈り込みのパラダイムです。これは、赤ちゃんから幼児期にかけての脳の動作に似ています。3歳のとき、人間の脳は脳細胞間の接続を切り始めます。このプロセスは成長期に続き、完全に発達した脳はシナプスのピーク時の約半分で動作します。成人脳は、与えられたトレーニングに特化しています。一般的な学習には、幼児の脳ほど優れてはいません。」

成長と刈り込みのテクニックにより、以前よりもはるかに少ない計算能力で、同じくらい優れた予測が可能になりました。研究者は、エネルギー消費と計算コストを削減する方法を見つけることを目指しています。機械学習を小型デバイス such as スマートフォンやスマートウォッチに導入するには、これが重要です。機械学習アルゴリズムのエネルギー消費を削減することで、業界は炭足跡を削減することができます。論文の第一著者であるXiaoliang Daiは、モデルをローカルでトレーニングする必要があると述べています。クラウドへの転送には多大なエネルギーが必要になるからです。

最初の研究において、研究者はNeST（Neural network Synthesis Tool）と呼ばれるツールを開発しました。NeSTは、わずかなニューロンと接続から始めて、ネットワークを急速に複雑化させます。ネットワークが特定のベンチマークに達すると、時間の経過とともに自己刈り込みを開始します。以前のネットワークモデルも刈り込みテクニックを使用していましたが、プリンストン大学の研究者によって開発された方法は、ネットワークを「赤ちゃん」から「幼児」そして「成人脳」までの発達段階をシミュレートする最初のものでした。

2番目の論文では、研究者はカリフォルニア大学バークレー校とFacebookのチームと共同して、Chameleonと呼ばれるツールを使用してテクニックを改良しました。Chameleonは、目的のエンドポイント、望ましい結果から始めて、逆方向に作業して適切な種類のニューラルネットワークを構築します。これにより、ネットワークを手動で調整する際の多大な試行錯誤が排除され、エンジニアはすぐに使用できる出発点を得ることができます。Chameleonは、さまざまな条件下でのさまざまなアーキテクチャのパフォーマンスを予測します。ChameleonとNeSTフレームワークを組み合わせることで、重い計算リソースが不足している研究機関がニューラルネットワークの力を利用できるようになります。Chameleonは、エンジニアにとってすぐに役立つ出発点を提供することで、研究機関がニューラルネットワークの力を利用できるようになります。エンジニアは、ChameleonとNeSTフレームワークを組み合わせることで、ニューラルネットワークの力を利用できるようになります。 (META )