Meta, NVIDIA komanda sadarbojas, lai izveidotu AI superdatoru

Meta un NVIDIA ir paziņojuši, ka strādā pie masīva AI superdatora izveides. AI Research SuperCluster (RSC) pašlaik apmāca jaunus modeļus, lai veicinātu AI.

Paredzams, ka RSC būs lielākā klienta NVIDIA DGX A100 sistēmu instalācija, kad tā būs pilnībā izvietota. Paredzams, ka tas tiks pilnībā uzbūvēts vēlāk šogad, un tas tiks izmantots, lai apmācītu AI modeļus ar vairāk nekā vienu triljonu parametru. Superdators būs noderīgs daudzām dažādām jomām, piemēram, dabiskās valodas apstrādei (NLP).

Saskaņā ar Meta teikto, uzņēmums koncentrējas uz veiktspējas nodrošināšanu mērogā un ārkārtēju uzticamību, drošību, privātumu un elastību, lai apstrādātu dažādus AI modeļus.

RSC specifika

RSC izmanto 760 NVIDIA DGX A100 sistēmas kā skaitļošanas mezglus, un tiem ir 6,080 NVIDIA A100 GPU, kas savienoti ar NVIDIA Quantum 200Gb/s InfiniBand tīklu. Tas viss ļauj tam nodrošināt 1,895 petaflopus TF32 veiktspējas.

RSC bija nepieciešami tikai 18 mēneši, lai sasniegtu strādājošu AI superdatoru, kas ir iespaidīgi, ņemot vērā COVID-19 pandēmijas ietekmi uz attīstību.

Sākotnējie RSC etaloni, salīdzinot ar Meta mantoto ražošanas un pētniecības infrastruktūru, ir parādījuši, ka tas var palaist datora redzes darbplūsmas līdz pat 20 reizēm ātrāk. Tas var arī palaist NVIDIA kolektīvās komunikācijas bibliotēku (NCCL) vairāk nekā deviņas reizes ātrāk un apmācīt liela mēroga NLP modeļus trīs reizes ātrāk. Citiem vārdiem sakot, modelis ar desmitiem miljardu parametru varētu pabeigt apmācību trīs nedēļu laikā, salīdzinot ar iepriekšējo deviņu nedēļu etalonu.

Ko RSC iespējos

RSC ļaus Meta AI pētniekiem izveidot jaunus AI modeļus, kas var mācīties no triljoniem piemēru. Pētnieki varēs strādāt arī simtiem dažādu valodu; kopā analizēt tekstu, attēlus un video; izstrādāt jaunus paplašinātās realitātes rīkus; un vēl.

Meta cer, ka RSC ļaus uzņēmumam nodrošināt reāllaika balss tulkojumus lielām cilvēku grupām, pat ja katrs runā citā valodā. Tas ļaus ļoti daudzveidīgām komandām sadarboties pētniecības projektos.

"Mēs ceram, ka RSC palīdzēs mums izveidot pilnīgi jaunas AI sistēmas, kas, piemēram, var nodrošināt reāllaika balss tulkojumus lielām cilvēku grupām, no kurām katra runā citā valodā, lai viņi varētu nevainojami sadarboties pētniecības projektā vai spēlēt AR spēli. kopā,” sacīja Meta.

Šī jaunā sadarbība palīdzēs attīstīt vienu no nākamajiem vismodernākajiem mākslīgā intelekta superdatoriem, ko var izmantot dažādās nozarēs.