Meta, NVIDIA Samarbejder Om At Bygge AI-Supercomputer

Meta og NVIDIA har annonceret, at de arbejder på at bygge en massiv AI-supercomputer. AI Research SuperCluster (RSC) er i øjeblikket i gang med at træne nye modeller til at fremme AI.

RSC forventes at blive den største kundeinstallation af NVIDIA DGX A100-systemer, når det er fuldt udbygget. Det forventes at være fuldt bygget ud senere i år, og det vil blive brugt til at træne AI-modeller med over en billion parametre. Supercomputeren vil være nyttig for mange forskellige fag som natur-sprogbehandling (NLP).

Ifølge Meta er virksomheden fokuseret på at aktivere præstation på stor skala og ekstrem pålidelighed, sikkerhed, privatliv og fleksibilitet til at håndtere forskellige AI-modeller.

Detaljer Om RSC

RSC bruger 760 NVIDIA DGX A100-systemer som beregningsknuder, og de har 6.080 NVIDIA A100 GPU’er forbundet på et NVIDIA Quantum 200Gb/s InfiniBand-netværk. Alt dette muliggør, at det kan levere 1.895 petaflops af TF32-præstation.

RSC nåede at blive en fungerende AI-supercomputer på kun 18 måneder, hvilket er imponerende, når man tager COVID-19-pandemiens effekt på udviklingen i betragtning.

Tidlige benchmarks på RSC, sammenlignet med Meta’s eksisterende produktions- og forskningsinfrastruktur, har vist, at det kan køre computer vision-workflows op til 20 gange hurtigere. Det kan også køre NVIDIA Collective Communication Library (NCCL) over ni gange hurtigere og træne store NLP-modeller tre gange hurtigere. Med andre ord vil en model med titusinder af milliarder af parametre kunne gennemføre træningen på tre uger, sammenlignet med den tidligere ni-ugers benchmark.

Hvad RSC Vil Muliggøre

RSC vil muliggøre, at Meta AI-forskere kan oprette nye AI-modeller, der kan lære af trillioner af eksempler. Forskere vil også kunne arbejde på tværs af hundredvis af forskellige sprog; analysere tekst, billeder og video sammen; udvikle nye augmented reality-værktøjer og mere.

Meta håber, at RSC vil muliggøre, at virksomheden kan aktivere realtids-stemmeoversættelser til store grupper af mennesker, selv hvis hver taler et forskelligt sprog. Dette vil tillade ekstremt diverse hold at samarbejde om forskningsprojekter.

“Vi håber, at RSC vil hjælpe os med at bygge helt nye AI-systemer, der kan f.eks. aktivere realtids-stemmeoversættelser til store grupper af mennesker, hver talende et forskelligt sprog, så de kan samarbejde uden problemer om et forskningsprojekt eller spille et AR-spil sammen,” siger Meta.

Dette nye samarbejde vil gå langt i udviklingen af en af de næste state-of-the-art AI-supercomputere, der kan bruges i en bred vifte af industrier.