Googleの新しいニューラル・タンジェント・ライブラリがデータ・サイエンティストに「前例のない」洞察を提供する

Googleは、機械学習の「ブラックボックス」を解き開き、エンジニアが機械学習システムの動作についてより深く理解できるように、新しいオープンソース・ライブラリを設計しました。 VentureBeatの報告によると、Googleの研究チームは、このライブラリが「前例のない」洞察を提供する可能性があると述べています。

ニューラル・ネットワークは、データをさまざまな方法で変換する数学関数を含むニューロンを通じて動作します。ネットワーク内のニューロンは層に結合されており、ニューラル・ネットワークには深さと幅があります。ネットワークの深さは、層の数によって制御され、ネットワークのさまざまな層はニューロン間の接続を調整し、データが層間で移動する際にデータの処理に影響を与えます。層内のニューロンの数は、層の幅です。Googleの研究エンジニアであるRoman Novakと、Googleのシニア・リサーチ・サイエンティストであるSamuel S. Schoenholzによると、モデルの幅は、規則的で繰り返しのある動作と密接に相関しています。2人の研究者は、ブログ・ポストで、ニューラル・ネットワークをより広くすることで、その動作をより規則的で解釈しやすくすることができることを説明しました。

ガウス過程と呼ばれる別のタイプの機械学習・モデルの存在があります。ガウス過程は、多変量正規分布として表現できる確率過程です。ガウス過程では、変数の任意の集合/有限線形結合は正規分布されます。つまり、変数間の非常に複雑な相互作用を、解釈可能な線形代数方程式として表現することができ、したがって、ガウス過程のレンズを通じてAIの動作を研究することができます。機械学習・モデルとガウス過程の関係は何ですか？無限に広い機械学習・モデルは、ガウス過程に収束します。

しかし、ガウス過程のレンズを通じて機械学習・モデルを解釈することは可能ですが、モデルごとに無限幅限界を導出する必要があります。これは、各アーキテクチャに対して複雑な計算が必要です。計算を容易にし、迅速に行えるようにするために、Googleの研究チームはニューラル・タンジェントを設計しました。ニューラル・タンジェントにより、データ・サイエンティストはわずか数行のコードで、複数の無限幅ネットワークを同時にトレーニングできます。複数のニューラル・ネットワークは、同じデータセットでトレーニングされ、予測が平均化されて、個々のモデルで発生する可能性のある問題に対してより強固な予測が得られます。このようなテクニックは、アンサンブル・ラーニングと呼ばれます。アンサンブル・ラーニングの欠点の1つは、計算コストが高くなることがあります。しかし、無限に広いネットワークをトレーニングすると、アンサンブルはガウス過程によって記述され、分散と平均が計算できます。

テストとして、3つの異なる無限幅ニューラル・ネットワーク・アーキテクチャが比較され、比較結果はブログ・ポストで公開されました。一般的に、ガウス過程によって駆動されるアンサンブル・ネットワークの結果は、通常の有限ニューラル・ネットワークのパフォーマンスと似ています。

研究チームは、ブログ・ポストで説明しています。

「有限ニューラル・ネットワークと同様に、無限幅ネットワークは、完全に接続されたネットワークが畳み込みネットワークよりもパフォーマンスが悪く、畳み込みネットワークが広い残差ネットワークよりもパフォーマンスが悪いという、パフォーマンスの階層に従います。ただし、通常のトレーニングとは異なり、これらのモデルの学習ダイナミクスは、クローズド・フォームで完全に把握可能であり、これにより新しい洞察が得られます。」

ニューラル・タンジェントのリリースは、TensorFlow Dev Summitと同時期に発表されました。Dev Summitでは、GoogleのTensorFlowプラットフォームを使用する機械学習・エンジニアが集まります。ニューラル・タンジェントの発表は、TensorFlow Quantumが発表された直後にあります。

ニューラル・タンジェントは、GitHubで利用可能になりました。また、Google (GOOGL ) Colaboratoryノートブックとチュートリアルも利用可能です。