Meta ja NVIDIA yhdistävät voimansa rakentaakseen AI-supertietokoneen

Meta ja NVIDIA (NVDA ) ovat ilmoittaneet, että he työskentelevät massiivisen AI-supertietokoneen rakentamisessa. AI Research SuperCluster (RSC) on tällä hetkellä kouluttamassa uusia malleja edistääkseen tekoälyä.

RSC on odotettavissa olevan suurin asiakasasennus NVIDIA DGX A100 -järjestelmissä, kun se on täysin käyttövalmis. Se on odotettavissa olevan valmistuvan täysin loppuvuonna, ja sitä käytetään kouluttamaan tekoälymalleja, joissa on yli biljoona parametriä. Supertietokone on hyödyllinen monille eri aloille, kuten luonnollisen kielen prosessoinnille (NLP).

Metan mukaan yhtiö keskittyy mahdollistamaan suorituskyvyn skaalautuvuuden, äärimmäisen luotettavuuden, turvallisuuden, yksityisyyden ja joustavuuden eri tekoälymallien käsittelyyn.

RSC:n yksityiskohdat

RSC käyttää 760 NVIDIA DGX A100 -järjestelmää laskentasolmuina, ja niissä on 6 080 NVIDIA A100 -näytönohjainta, jotka on kytketty NVIDIA Quantum 200Gb/s InfiniBand -verkkoon. Kaiken tämän ansiosta se voi tuottaa 1 895 petaflopsin TF32-suorituskyvyn.

RSC:lle kului vain 18 kuukautta saavuttaakseen toimivan AI-supertietokoneen, mikä on vaikuttava saavutus, kun otetaan huomioon COVID-19-pandemian vaikutus kehitystyöhön.

Varhaiset benchmarkit RSC:llä, verrattuna Metan perinteisiin tuotantoon ja tutkimusinfrastruktuuriin, ovat osoittaneet, että se voi suorittaa konenäön työnkulkuja jopa 20 kertaa nopeammin. Se voi myös suorittaa NVIDIA Collective Communication Libraryn (NCCL) yli yhdeksän kertaa nopeammin ja kouluttaa suuria NLP-malleja kolme kertaa nopeammin. Toisin sanoen malli, jossa on kymmeniä miljardeja parametreja, voisi valmistua kolmessa viikossa, verrattuna aiempaan yhdeksän viikon benchmarkiin.

Mitä RSC mahdollistaa

RSC mahdollistaa uusien tekoälymallien luomisen Meta AI -tutkijoille, jotka voivat oppia biljoonista esimerkeistä. Tutkijat voivat myös työskennellä sadoissa eri kielissä; analysoida tekstiä, kuvia ja videoita yhdessä; kehittää uusia lisätyn todellisuuden työkaluja; ja paljon muuta.

Meta toivoo, että RSC mahdollistaa yhtiölle reaaliaikaisten puhekäännösten tuottamisen suurille ryhmille ihmisiä, vaikka jokainen puhuu eri kieltä. Tämä mahdollistaa erittäin monikulttuuristen tiimien yhteistyön tutkimushankkeissa.

“Toivomme, että RSC auttaa meitä rakentamaan täysin uusia tekoälyjärjestelmiä, jotka voivat esimerkiksi mahdollistaa reaaliaikaiset äänikäännökset suurille ryhmille ihmisiä, joista jokainen puhuu eri kieltä, jotta he voivat työskennellä yhdessä tutkimushankkeissa tai pelata yhdessä lisätyn todellisuuden peliä”, Meta sanoi.

Tämä uusi yhteistyö edistää merkittävästi yhden seuraavan huipputeknologisen AI-supertietokoneen kehittämistä, jota voidaan käyttää laajasti eri teollisuusaloilla.