MetaとNVIDIA、AIスーパーコンピューターを共同開発

MetaとNVIDIA (NVDA ) は、巨大なAIスーパーコンピューターを共同開発していることを発表しました。AI Research SuperCluster（RSC）とは、現在、新しいモデルを訓練してAIを進化させるために使用されているシステムです。

RSCは、完全に展開されると、NVIDIA DGX A100システムの最大の顧客導入となります。今年の後半に完成予定で、1兆パラメータ以上のAIモデルを訓練するために使用されます。このスーパーコンピューターは、自然言語処理（NLP）などの多くの分野で有用です。

Metaによると、同社はスケーラビリティ、信頼性、セキュリティ、プライバシー、そしてさまざまなAIモデルに対応する柔軟性を実現することに重点を置いています。

RSCの詳細

RSCは、760のNVIDIA DGX A100システムをコンピュートノードとして使用し、6,080のNVIDIA A100 GPUがNVIDIA Quantum 200Gb/s InfiniBandネットワークに接続されています。これにより、1,895ペタフロップスのTF32パフォーマンスを実現します。

RSCの開発は、COVID-19パンデミックの影響にもかかわらず、わずか18ヶ月で実現しました。

RSCのベンチマークテストでは、Metaの従来の生産および研究インフラストラクチャと比較して、コンピュータビジョンワークフローを20倍高速に実行できることが示されています。また、NVIDIA Collective Communication Library（NCCL）を9倍高速に実行でき、また、大規模なNLPモデルを3倍高速に訓練できます。つまり、数十億パラメータを持つモデルは、従来の9週間ではなく3週間で訓練を完了できます。

RSCが可能にすること

RSCにより、MetaのAI研究者は、数兆の例から学習できる新しいAIモデルを作成できます。研究者は、数百の異なる言語をまたいで作業し、テキスト、画像、ビデオを一緒に分析し、新しい拡張現実ツールを開発することができます。

Metaは、RSCにより、異なる言語を話す大規模なグループに対してリアルタイムの音声翻訳を実現できることを期待しています。これにより、非常に多様なチームが共同で研究プロジェクトに取り組むことができます。

「RSCにより、例えば、異なる言語を話す大規模なグループに対してリアルタイムの音声翻訳を可能にする、まったく新しいAIシステムを構築できることを期待しています。そうすれば、研究プロジェクトや拡張現実ゲームを共同で行うことができるでしょう」とMetaは述べています。

この新しい共同開発は、幅広い業界で使用できる次世代のAIスーパーコンピューターを開発する上で大きな一歩となります。