Meta、NVIDIAがAIスーパーコンピューターを共同開発

MetaとNVIDIAは、巨大なAIスーパーコンピューターを共同開発していることを発表した。AI Research SuperCluster (RSC)は現在、新しいモデルを開発するためにトレーニングを行っている。

RSCは、完全に展開されると、NVIDIA DGX A100システムの最大の顧客導入となり予想される。今年後半までに完成予定であり、1兆パラメータ以上のAIモデルをトレーニングするために使用される。スーパーコンピューターは、自然言語処理（NLP）など多くの分野で有用となる。

Metaによると、同社はスケールでのパフォーマンスを可能にし、極めて信頼性が高く、セキュリティ、プライバシー、さまざまなAIモデルを処理する柔軟性に焦点を当てている。

RSCの詳細

RSCは、760のNVIDIA DGX A100システムをコンピュートノードとして使用し、6,080のNVIDIA A100 GPUがNVIDIA Quantum 200Gb/s InfiniBandネットワークに接続されている。これにより、1,895ペタフロップのTF32パフォーマンスを実現する。

RSCは、18ヶ月で稼働するAIスーパーコンピューターに到達した。これは、COVID-19パンデミックの影響を受けた開発において、印象的な成果である。

RSCの初期ベンチマークは、Metaの従来のプロダクションおよび研究インフラストラクチャと比較して、コンピュータビジョンワークフローを最大20倍高速に実行できることを示した。また、NVIDIA Collective Communication Library (NCCL)を9倍以上高速に実行し、大規模なNLPモデルを3倍高速にトレーニングできる。つまり、数十億パラメータを持つモデルは、3週間でトレーニングを完了できるが、これは従来の9週間のベンチマークと比較したものである。

RSCが可能にすること

RSCにより、MetaのAI研究者は、数兆の例から学ぶ新しいAIモデルを作成できる。研究者は、数百の異なる言語をまたいで作業し、テキスト、画像、ビデオを一緒に分析し、新しい拡張現実ツールを開発することができる。

Metaは、RSCにより、異なる言語を話す大規模なグループにリアルタイムの音声翻訳を実現できることを期待している。これにより、非常に多様なチームが共同で研究プロジェクトに取り組むことができる。

「RSCにより、例えば、異なる言語を話す大規模なグループにリアルタイムの音声翻訳を提供し、研究プロジェクトに共同で取り組んだり、拡張現実ゲームをプレイしたりできる、新しいAIシステムを構築できることを希望する」とMetaは述べた。

この新しいコラボレーションは、幅広い業界で使用できる次世代のAIスーパーコンピューターを開発する上で大きな役割を果たすことになる。