Meta et NVIDIA s'associent pour créer un supercalculateur IA

Meta et NVIDIA ont annoncé qu'ils travaillaient à la construction d'un supercalculateur IA massif. Le AI Research SuperCluster (RSC) forme actuellement de nouveaux modèles pour faire progresser l'IA.

Le RSC devrait être la plus grande installation client de systèmes NVIDIA DGX A100 une fois qu'il sera entièrement déployé. Il devrait être entièrement construit plus tard cette année, et il sera utilisé pour former des modèles d'IA avec plus d'un billion de paramètres. Le supercalculateur sera utile dans de nombreux domaines différents comme le traitement du langage naturel (TAL).

Selon Meta, la société se concentre sur l'obtention de performances à grande échelle et d'une fiabilité, d'une sécurité, d'une confidentialité et d'une flexibilité extrêmes pour gérer divers modèles d'IA.

Spécificités du RSC

Le RSC utilise 760 systèmes NVIDIA DGX A100 comme nœuds de calcul, et ils disposent de 6,080 100 GPU NVIDIA A200 connectés sur un réseau NVIDIA Quantum 1,895 Gb/s InfiniBand. Tout cela lui permet de fournir 32 XNUMX pétaflops de performances TFXNUMX.

Le RSC n'a mis que 18 mois pour atteindre un supercalculateur d'IA fonctionnel, ce qui est impressionnant compte tenu de l'effet de la pandémie de COVID-19 sur le développement.

Les premiers tests de référence sur le RSC, comparés à l'infrastructure de production et de recherche existante de Meta, ont démontré qu'il peut exécuter des flux de travail de vision par ordinateur jusqu'à 20 fois plus rapidement. Il peut également exécuter la bibliothèque de communication collective NVIDIA (NCCL) neuf fois plus rapidement et former des modèles NLP à grande échelle trois fois plus rapidement. En d’autres termes, un modèle comportant des dizaines de milliards de paramètres serait capable de terminer son entraînement en trois semaines, contre neuf semaines auparavant.

Ce que le RSC permettra

Le RSC permettra aux chercheurs de Meta AI de créer de nouveaux modèles d'IA capables d'apprendre à partir de milliards d'exemples. Les chercheurs pourront également travailler dans des centaines de langues différentes ; analyser ensemble du texte, des images et des vidéos ; développer de nouveaux outils de réalité augmentée ; et plus.

Meta espère que le RSC permettra à l'entreprise de fournir des traductions vocales en temps réel à de grands groupes de personnes, même si chacune parle une langue différente. Cela permettra à des équipes extrêmement diverses de collaborer sur des projets de recherche.

"Nous espérons que RSC nous aidera à construire des systèmes d'IA entièrement nouveaux qui peuvent, par exemple, fournir des traductions vocales en temps réel à de grands groupes de personnes, chacun parlant une langue différente, afin qu'ils puissent collaborer de manière transparente sur un projet de recherche ou jouer à un jeu AR. ensemble », a déclaré Meta.

Cette nouvelle collaboration contribuera grandement au développement de l'un des prochains supercalculateurs d'IA à la pointe de la technologie pouvant être utilisé dans un large éventail d'industries.