Meta og NVIDIA samarbeider om å bygge AI-superdatamaskin

Meta og NVIDIA (NVDA ) har annonsert at de jobber med å bygge en massiv AI-superdatamaskin. AI-forsknings-superclusteren (RSC) er for tiden i ferd med å trene nye modeller for å fremme AI.

RSC forventes å være den største kundeanlegget av NVIDIA DGX A100-systemer når den er fullt utbygd. Den forventes å være fullt bygget ut senere i år, og den vil bli brukt til å trene AI-modeller med over en billion parametre. Superdatamaskinen vil være nyttig for mange forskjellige felt som naturlig språkbehandling (NLP).

Ifølge Meta er selskapet fokusert på å aktivere ytelse i stor skala og ekstrem pålitelighet, sikkerhet, personvernbeskyttelse og fleksibilitet for å håndtere forskjellige AI-modeller.

Detaljer om RSC

RSC bruker 760 NVIDIA DGX A100-systemer som beregningsnoder, og de har 6 080 NVIDIA A100-GPUer koblet til et NVIDIA Quantum 200Gb/s InfiniBand-nettverk. Dette gjør det mulig å levere 1 895 petaflops av TF32-ytelse.

RSC tok bare 18 måneder å nå en fungerende AI-superdatamaskin, noe som er imponerende gitt COVID-19-pandemiens effekt på utviklingen.

Tidlige benchmark-tester på RSC, sammenlignet med Metas legacy-produksjons- og forskningsinfrastruktur, har vist at den kan kjøre datavisjonsarbeidsflyter opp til 20 ganger raskere. Den kan også kjøre NVIDIA Collective Communication Library (NCCL) over ni ganger raskere og trene store skala NLP-modeller tre ganger raskere. Med andre ord vil en modell med titalls milliarder parametre kunne fullføre treningen på tre uker, sammenlignet med den tidligere ni-ukers benchmarken.

Hva RSC vil muliggjøre

RSC vil muliggjøre at Meta AI-forskere kan lage nye AI-modeller som kan lære fra billioner eksempler. Forskere vil også kunne arbeide på tvers av hundrevis av forskjellige språk; analysere tekst, bilder og video sammen; utvikle nye augmenterte virkelighetsverktøy og mer.

Meta håper at RSC vil muliggjøre at selskapet kan aktivere sanntids stemmeoversettelser til store grupper av mennesker, selv om hver taler et forskjellig språk. Dette vil tillate ekstremt diverse team å samarbeide om forskningsprosjekter.

“Vi håper RSC vil hjelpe oss bygge helt nye AI-systemer som kan, for eksempel, aktivere sanntids stemmeoversettelser til store grupper av mennesker, hver som snakker et forskjellig språk, så de kan samarbeide sammen på et forskningsprosjekt eller spille et AR-spill sammen,” sa Meta.

Dette nye samarbeidet vil gå langt i å utvikle en av de neste generasjonens AI-superdatamaskiner som kan brukes i en rekke industrier.