研究者がGPUの代替品を開発

ライス大学のコンピューターサイエンティストとインテルのコラボレーターは、GPUのよりコスト効率の高い代替品を開発しました。この新しいアルゴリズムは「部分線形ディープラーニングエンジン」（SLIDE）と呼ばれ、特殊な加速ハードウェアなしで一般的な中央処理装置（CPU）を使用します。

結果は、オースティン・コンベンション・センターで開催されたマシンラーニングシステムズ・カンファレンス（MLSys）で発表されました。

人工知能（AI）の中で最も大きな課題の1つは、グラフィックス・プロセッシング・ユニット（GPU）などの特殊な加速ハードウェアです。新しい開発以前は、ディープラーニング技術を高速化するには、この特殊な加速ハードウェアの使用が必要であると考えられていました。

多くの企業は、ディープラーニングのためにGPUや特殊ハードウェアに多大な投資をしています。ディープラーニングは、デジタルアシスタント、顔認識、製品推奨システムなどの技術に責任があります。Nvidia (NVDA ) は、Tesla (TSLA ) V100 Tensor Core GPUを作成しています。Nvidiaは、前年比で4分期の収益が41%増加したと最近報告しました。

SLIDEの開発は、まったく新しい可能性を解き放ちました。

アンシュマリ・シュリヴァスタバは、ライスのブラウン・スクール・オブ・エンジニアリングの助教授であり、大学院生のベイディ・チェンとタルン・メディニとともにSLIDEを発明しました。

「私たちのテストでは、SLIDEは、業界規模のレコメンデーション・データセットと大規模な完全に接続されたアーキテクチャーを持つCPU上でディープラーニングを実行する最初のスマートなアルゴリズム的実装であり、GPUハードウェアの加速を上回ることができます」とシュリヴァスタバは述べました。

SLIDEは、ディープラーニングに対するまったく異なるアプローチをとることで、GPUの課題を克服します。現在、ディープなニューラルネットワークの標準的なトレーニング技術は「バック・プロパゲーション」であり、行列乗算を必要とします。このワークロードではGPUの使用が必要ですが、研究者はニューラルネットワークのトレーニングを変更して、ハッシュテーブルで解決できるようにしました。

この新しいアプローチにより、SLIDEの計算オーバーヘッドが大幅に削減されます。Amazon (AMZN ) やGoogleがクラウドベースのディープラーニングに使用する現在の最高のGPUプラットフォームには、8つのTesla V100が搭載されており、価格は約100,000ドルです。

「私たちには研究所に1つあり、テストケースではV100に適したワークロードを取りました。100万を超えるパラメータを持つ大規模な完全に接続されたネットワークがあり、GPUのメモリに収まるワークロードでした。私たちはそれを、現在最も優れた（ソフトウェア）パッケージであるGoogleのTensorFlowでトレーニングし、3.5時間でトレーニングしました」とシュリヴァスタバは述べました。

「私たちはまた、44コアのXeonクラスのCPU上で、1時間以内にトレーニングできることを実証しました」と彼は続けました。

ハッシュは、1990年代にインターネット検索のために発明されたデータ・インデックス化方法の一種です。数値方法を使用して、大量の情報を数字の文字列（ハッシュ）にエンコードします。ハッシュをリスト化して、迅速に検索できるテーブルを作成します。

「TensorFlowまたはPyTorch上で私たちのアルゴリズムを実装することは意味がありませんでした。彼らが最初にしたいことは、行列乗算問題に変換することだからです。それは私たちが避けようとしていたことです。そこで、私たちはゼロからC++コードを書きました」とチェンは述べました。

シュリヴァスタバによると、SLIDEの最大の利点は、データ並列性にあるということです。

「データ並列性とは、2つのデータ・インスタンスをトレーニングしたい場合、たとえば1つは猫の画像、もう1つはバスです。SLIDEはそれらを個別にトレーニングできます。これは、CPUの並列性の利用がはるかに優れています」と彼は述べました。

「反面、GPUと比較して、大きなメモリが必要です。メインメモリにはキャッシュ階層があり、注意しないとキャッシュ・ミスの問題に遭遇する可能性があります」と彼は述べました。

SLIDEは、ディープラーニングの新しい実装方法の扉を開きました。シュリヴァスタバは、これが始まりに過ぎないと考えています。

「私たちはまだ表面を掘り返しただけです。まだ最適化できることがたくさんあります。ベクトル化や、Intel (INTC ) Deep Learning BoostのようなCPUの組み込みアクセラレータを使用していません。他にも、より高速化するためのトリックがたくさんあります」と彼は述べました。