研究者がディープラーニングニューラルネットワーク内に高効率のサブネットワークを発見

ディープラーニングニューラルネットワークは通常、巨大で膨大な計算能力を必要とするが、新しい発見により、これを削減してタスクをより効率的に実行できることが示された。MITのジョナサン・フランクルと彼のチームは、「ロッタリー・チケット・ハイポテーシス」と呼ばれるものを提案し、より小さなサブネットワークが大きなニューラルネットワーク内に存在することを示した。これらのサブネットワークは、必要な計算能力を削減しながら、タスクをより効率的に実行できるが、大きな課題はこれらのサブネットワーク、または「勝利するロッタリー・チケット」を見つけることである。

チームは、自然言語処理（NLP）における最先端の機械学習技術であるBERT内にこれらのサブネットワークを発見した。NLPは、人工知能（AI）のサブフィールドであり、人間の言語を解釈して分析するために使用され、予測テキスト生成やチャットボットなどのアプリケーションに使用される。

しかし、BERTは大規模で、スーパーコンピューティング能力を必要とするため、ほとんどのユーザーにはアクセスできない。新しいサブネットワークの発見により、NLPツールを開発するためにこの技術を利用できるユーザーの数が増える可能性がある。

「私たちは、モデルをよりスリムで効率的なものにする必要がある時期に来ている」とフランクルは述べた。

フランクルによると、この開発により、NLPの「参入障壁」を低減できる可能性がある。

BERT – 「とんでもなく高価」

BERTは、Googleの検索エンジンなどの重要な技術であり、2018年にGoogleがリリースして以来、多くの注目を集めている。BERTは、ニューラルネットワークを作成する方法であり、文章の空白部分を埋めることによってトレーニングされる。BERTの最も印象的な機能の1つは、その初期トレーニング・データセットの規模である。

BERTは、カスタマー・サービス・チャットボットなどの特定のタスクに合わせてユーザーによって調整できるが、再び、膨大な処理能力が必要となり、パラメーターの数は10億に達する可能性がある。

「現在の標準的なBERTモデル – その普通のもの – には340百万のパラメーターがある」とフランクルは述べた。「これは、ただでさえ高価である。私たちのような一般の人々の計算能力では到底扱えないものである」。

テキサス大学オースティン校のリード・オーサーであるTianlong Chenによると、BERTのようなモデルは「巨大なネットワーク・サイズに苦労している」が、新しい研究により、「ロッタリー・チケット・ハイポテーシスは解決策のようです」。

効率的なサブネットワーク

Chenとチームは、BERT内に小さなモデルを探し、発見されたサブネットワークのパフォーマンスをオリジナルのBERTモデルと比較した。これは、質問に答えることや文章の空白部分を埋めることなどのさまざまなNLPタスクでテストされた。

チームは、オリジナルのBERTモデルよりも40〜90パーセントスリムなサブネットワークを発見し、実際のパーセンテージはタスクによって異なる。また、タスク固有のファイン・チューニングの前にこれらのサブネットワークを特定できたため、計算コストがさらに削減された。さらに、特定のタスク用に選択された一部のサブネットワークは、別のタスク用に再利用できることもあった。

「私はこれが実際に機能することに驚いた」とフランクルは述べた。「これは、私が当たり前だと思っていたものではない。より混沌とした結果を期待していた」。

Facebook (META ) AI Researchの科学者であるAri Morcosによると、この発見は「説得力がある」とのことである。「これらのモデルは、ますます広く使用されている。したがって、ロッタリー・チケット・ハイポテーシスが当てはまるかどうかを理解することは重要である」。

Morcosはさらに、「これらのサブネットワークが劇的に少ない計算能力で実行できる場合、これは非常に影響力があることになる」と述べた。「これらの非常に大きなモデルは現在、非常に高価で実行されるからである」。

「私は、これらのスーパーコンピューター・スタイルの計算で、どれほど大きなものを作ることができるか分からない」とフランクルは述べた。「私たちは、参入障壁を低減しなければならない」。

「希望は、これがコストを削減し、すべての人、たとえばラップトップを持つ小さな会社にアクセスしやすくなることである」とフランクルは結論付けた。

この研究は、Neural Information Processing Systems Conferenceで発表される予定である。