Meta, NVIDIA s’associent pour construire un supercalculateur d’IA

Meta et NVIDIA ont annoncé qu’ils travaillaient sur la construction d’un supercalculateur d’IA massif. L’AI Research SuperCluster (RSC) forme actuellement de nouveaux modèles pour faire progresser l’IA.

Le RSC devrait être la plus grande installation client de systèmes NVIDIA DGX A100 une fois entièrement déployé. Il devrait être entièrement construit d’ici la fin de l’année et sera utilisé pour former des modèles d’IA avec plus d’un trillion de paramètres. Le supercalculateur sera utile pour de nombreux domaines différents comme le traitement automatique des langues (NLP).

Selon Meta, l’entreprise se concentre sur la mise en œuvre de performances à grande échelle et d’une fiabilité extrême, de la sécurité, de la confidentialité et de la flexibilité pour gérer différents modèles d’IA.

Détails du RSC

Le RSC utilise 760 systèmes NVIDIA DGX A100 comme nœuds de calcul, et ils ont 6 080 GPU NVIDIA A100 liés sur un réseau InfiniBand NVIDIA Quantum 200Gb/s. Tout cela lui permet de fournir 1 895 petaflops de performance TF32.

Le RSC n’a nécessité que 18 mois pour atteindre un supercalculateur d’IA fonctionnel, ce qui est impressionnant compte tenu de l’impact de la pandémie de COVID-19 sur le développement.

Les premiers benchmarks sur le RSC, comparés à l’infrastructure de production et de recherche legacy de Meta, ont démontré qu’il peut exécuter des flux de travail de vision par ordinateur jusqu’à 20 fois plus rapidement. Il peut également exécuter la bibliothèque de communication collective NVIDIA (NCCL) plus de neuf fois plus rapidement et former des modèles NLP à grande échelle trois fois plus rapidement. En d’autres termes, un modèle avec des dizaines de milliards de paramètres serait en mesure de terminer la formation en trois semaines, contre le benchmark précédent de neuf semaines.

Ce que le RSC permettra

Le RSC permettra aux chercheurs en IA de Meta de créer de nouveaux modèles d’IA qui peuvent apprendre à partir de trillions d’exemples. Les chercheurs pourront également travailler sur des centaines de langues différentes ; analyser du texte, des images et des vidéos ensemble ; développer de nouveaux outils de réalité augmentée ; et plus encore.

Meta espère que le RSC lui permettra de fournir des traductions vocales en temps réel à de grands groupes de personnes, même si chacun parle une langue différente. Cela permettra à des équipes extrêmement diverses de collaborer sur des projets de recherche.

« Nous espérons que le RSC nous aidera à construire des systèmes d’IA entièrement nouveaux qui peuvent, par exemple, fournir des traductions vocales en temps réel à de grands groupes de personnes, chacun parlant une langue différente, afin qu’ils puissent collaborer en toute transparence sur un projet de recherche ou jouer un jeu de réalité augmentée ensemble », a déclaré Meta.

Cette nouvelle collaboration contribuera grandement au développement de l’un des prochains supercalculateurs d’IA de pointe qui peuvent être utilisés dans une large gamme d’industries.