Uber の Fiber は新しい分散型 AI モデル トレーニング フレームワークです

ベンチャービートによると, Uber の AI 研究者が最近投稿した Arxiv への書類 分散型 AI モデルの作成を支援することを目的とした新しいプラットフォームの概要を説明します。 プラットフォームはと呼ばれます ファイバ、強化学習タスクと母集団ベースの学習の両方を推進するために使用できます。 Fiber は、専門家でなくても大規模な並列計算をより利用しやすくし、分散型 AI アルゴリズムとモデルの力を活用できるように設計されています。

Fiber は最近 GitHub でオープンソース化されており、Python 3.6 以降と互換性があり、Linux システム上で実行される Kubernetes とクラウド環境で実行されます。 研究者チームによると、このプラットフォームは数百、数千の個別マシンまで簡単にスケールアップできるという。

Uber の研究者チームは、人工知能における最新の関連する進歩の多くは、分散トレーニング技術を使用してトレーニングされた大規模なモデルとより多くのアルゴリズムによって推進されてきたと説明しています。 ただし、分散トレーニング スキームには効率と柔軟性の問題が頻繁に発生するため、母集団ベースのモデルと強化モデルの作成は依然として困難な作業です。 ファイバーは、クラスター管理ソフトウェアと動的スケーリングを組み合わせ、ユーザーが XNUMX 台のマシンから多数のマシンにジョブをシームレスに移動できるようにすることで、分散システムの信頼性と柔軟性を高めます。

ファイバーは、API、バックエンド、クラスター層という XNUMX つの異なるコンポーネントで構成されています。 API レイヤーを使用すると、ユーザーはキュー、マネージャー、プロセスなどを作成できます。 Fiber のバックエンド層を使用すると、ユーザーはさまざまなクラスターによって管理されているジョブを作成および終了できます。クラスター層は、個々のクラスター自体とそのリソースを管理します。これにより、Fiber が監視する必要があるアイテムの数が大幅に増加します。

ファイバーを使用すると、ジョブをキューに入れて、ジョブバック プロセスの概念を利用して、XNUMX 台のローカル マシンまたは多数の異なるマシン上でリモートで実行できます。 また、Fiber はコンテナーを利用して、入力データや依存パッケージなどが自己完結型であることを保証します。 Fiber フレームワークにはエラー処理も組み込まれているため、ワーカーがクラッシュした場合でもすぐに復旧できます。 FIber はクラスター マネージャーと対話しながらこれらすべてを行うことができ、Fiber アプリを特定のコンピューター クラスター上で実行されている通常のアプリであるかのように実行できます。

実験結果によると、Fiber の応答時間は平均して数ミリ秒であり、2,048 プロセッサ コア/ワーカーで構築された場合、ベースライン AI 技術よりもスケールアップが優れていることがわかりました。 設定されたワーカー数が増加するにつれて、ジョブを完了するのに必要な時間は徐々に減少しました。 IPyParallel は、トレーニングの 50 反復を約 1400 秒で完了しましたが、Fiber は、50 人のワーカーが利用可能で、同じ 50 反復のトレーニングを約 512 秒で完了できました。

ファイバー論文の共著者 説明します Fiber は、アルゴリズムの動的スケーリングや大量のコンピューティング能力の使用など、複数の目標を達成できます。

「[私たちの研究は]、Fiber が、大量の異種コンピューティング ハードウェアの効率的な活用、アルゴリズムの動的スケーリングによるリソース使用効率の向上、[強化学習] と母集団ベースのアルゴリズムの動作に必要なエンジニアリングの負担の軽減など、多くの目標を達成していることを示しています。」コンピュータークラスターを構築し、さまざまなコンピューティング環境に迅速に適応して研究効率を向上させます。 [強化学習] アルゴリズムと母集団ベースの手法を開発し、それらを真に発揮するために必要な規模でトレーニングすることが容易になるため、[強化学習] アルゴリズムと母集団ベースの手法を使用した難しい [強化学習] 問題の解決がさらに前進できると期待しています。」