Meta et NVIDIA s’associent pour construire un supercalculateur d’IA

Meta et NVIDIA (NVDA ) ont annoncé qu’ils travaillent ensemble pour construire un supercalculateur d’IA massif. Le SuperCluster de recherche en IA (RSC) est actuellement en train de former de nouveaux modèles pour faire progresser l’IA.

Le RSC devrait être la plus grande installation client de systèmes NVIDIA DGX A100 une fois entièrement déployé. Il devrait être entièrement construit d’ici la fin de l’année et sera utilisé pour former des modèles d’IA avec plus d’un trillion de paramètres. Le supercalculateur sera utile pour de nombreux domaines différents, tels que le traitement du langage naturel (NLP).

Selon Meta, l’entreprise se concentre sur la performance à grande échelle et la fiabilité extrême, la sécurité, la confidentialité et la flexibilité pour gérer différents modèles d’IA.

Caractéristiques du RSC

Le RSC utilise 760 systèmes NVIDIA DGX A100 comme nœuds de calcul, et ils ont 6 080 GPU NVIDIA A100 liés à un réseau InfiniBand NVIDIA Quantum 200 Gb/s. Tout cela permet de délivrer 1 895 petaflops de performance TF32.

Le RSC n’a nécessité que 18 mois pour atteindre un supercalculateur d’IA fonctionnel, ce qui est impressionnant compte tenu de l’impact de la pandémie de COVID-19 sur le développement.

Les premiers benchmarks sur le RSC, comparés aux infrastructures de production et de recherche legacy de Meta, ont démontré qu’il peut exécuter des flux de travail de vision par ordinateur jusqu’à 20 fois plus rapidement. Il peut également exécuter la bibliothèque de communication collective NVIDIA (NCCL) plus de neuf fois plus rapidement et former des modèles de NLP à grande échelle trois fois plus rapidement. En d’autres termes, un modèle avec des dizaines de milliards de paramètres pourrait terminer sa formation en trois semaines, contre les neuf semaines de benchmark précédent.

Ce que le RSC permettra

Le RSC permettra aux chercheurs en IA de Meta de créer de nouveaux modèles d’IA qui peuvent apprendre à partir de trillions d’exemples. Les chercheurs pourront également travailler sur des centaines de langues différentes ; analyser du texte, des images et des vidéos ensemble ; développer de nouveaux outils de réalité augmentée ; et plus encore.

Meta espère que le RSC permettra à l’entreprise de fournir des traductions vocales en temps réel à de grands groupes de personnes, même si chacun parle une langue différente. Cela permettra à des équipes extrêmement diverses de collaborer sur des projets de recherche.

« Nous espérons que le RSC nous aidera à construire des systèmes d’IA entièrement nouveaux qui peuvent, par exemple, fournir des traductions vocales en temps réel à de grands groupes de personnes, chacun parlant une langue différente, afin qu’ils puissent collaborer sans heurt sur un projet de recherche ou jouer un jeu de réalité augmentée ensemble », a déclaré Meta.

Cette nouvelle collaboration contribuera grandement au développement de l’un des prochains supercalculateurs d’IA de pointe qui pourra être utilisé dans une large gamme d’industries.