Meta, NVIDIA samarbetar för att bygga AI-superdator

Meta och NVIDIA har meddelat att de arbetar med att bygga en massiv AI-superdator. AI Research SuperCluster (RSC) utbildar för närvarande nya modeller för att främja AI.

RSC förväntas bli den största kundinstallationen av NVIDIA DGX A100-system när den är fullt utplacerad. Den förväntas vara helt utbyggd senare i år, och den kommer att användas för att träna AI-modeller med över en biljon parametrar. Superdatorn kommer att vara användbar för många olika områden som naturligt språkbehandling (NLP).

Enligt Meta är företaget fokuserat på att möjliggöra prestanda i stor skala och extrem tillförlitlighet, säkerhet, integritet och flexibiliteten att hantera olika AI-modeller.

Specifikationer för RSC

RSC använder 760 NVIDIA DGX A100-system som sina beräkningsnoder, och de har 6,080 100 NVIDIA A200 GPU:er länkade på ett NVIDIA Quantum 1,895Gb/s InfiniBand-nätverk. Allt detta gör att den kan leverera 32 XNUMX petaflops TFXNUMX-prestanda.

RSC tog bara 18 månader att nå en fungerande AI-superdator, vilket är imponerande med tanke på covid-19-pandemins effekt på utvecklingen.

Tidiga riktmärken på RSC, jämfört med Metas äldre produktions- och forskningsinfrastruktur, har visat att den kan köra datorseende arbetsflöden upp till 20 gånger snabbare. Den kan också köra NVIDIA Collective Communication Library (NCCL) över nio gånger snabbare och träna storskaliga NLP-modeller tre gånger snabbare. Med andra ord, en modell med tiotals miljarder parametrar skulle kunna avsluta träningen på tre veckor, jämfört med föregående nio veckors riktmärke.

Vad RSC kommer att möjliggöra

RSC kommer att göra det möjligt för Meta AI-forskare att skapa nya AI-modeller som kan lära av biljoner exempel. Forskare kommer också att kunna arbeta på hundratals olika språk; analysera text, bilder och video tillsammans; utveckla nya verktyg för augmented reality; och mer.

Meta hoppas att RSC kommer att göra det möjligt för företaget att driva röstöversättningar i realtid till stora grupper av människor, även om var och en talar olika språk. Detta kommer att tillåta extremt olika team att samarbeta i forskningsprojekt.

"Vi hoppas att RSC kommer att hjälpa oss att bygga helt nya AI-system som till exempel kan driva röstöversättningar i realtid till stora grupper av människor som alla talar olika språk, så att de sömlöst kan samarbeta i ett forskningsprojekt eller spela ett AR-spel tillsammans, sa Meta.

Detta nya samarbete kommer att räcka långt för att utveckla en av de nästa toppmoderna AI-superdatorerna som kan användas i ett brett spektrum av industrier.