AI-modeller och plattformar
Meta och NVIDIA samarbetar för att bygga AI-superdator
Lägg till Unite.AI bland dina föredragna källor på Google
Meta och NVIDIA (NVDA ) har meddelat att de samarbetar för att bygga en massiv AI-superdator. AI Research SuperCluster (RSC) är för närvarande i färd med att träna nya modeller för att främja AI.
RSC förväntas vara den största kundinstallationen av NVIDIA DGX A100-system när den är fullt utbyggd. Den förväntas vara fullt byggd senare i år och kommer att användas för att träna AI-modeller med över en biljon parametrar. Superdatorn kommer att vara användbar inom många olika områden, som t.ex. naturlig språkbehandling (NLP).
Enligt Meta fokuserar företaget på att möjliggöra prestanda i stor skala och extrem tillförlitlighet, säkerhet, integritet och flexibilitet för att hantera olika AI-modeller.
Detaljer om RSC
RSC använder 760 NVIDIA DGX A100-system som beräkningsnoder, och de har 6 080 NVIDIA A100-GPU:er länkade till en NVIDIA Quantum 200Gb/s InfiniBand-nätverk. Allt detta möjliggör en prestanda på 1 895 petaflops TF32.
RSC tog bara 18 månader att nå en fungerande AI-superdator, vilket är imponerande med tanke på COVID-19-pandemins effekt på utvecklingen.
Tidiga benchmark-tester på RSC, jämfört med Metas befintliga produktions- och forskningsinfrastruktur, har visat att den kan köra datorseende-arbetsflöden upp till 20 gånger snabbare. Den kan också köra NVIDIA Collective Communication Library (NCCL) över nio gånger snabbare och träna storskaliga NLP-modeller tre gånger snabbare. Med andra ord skulle en modell med tiotals miljarder parametrar kunna slutföra träningen på tre veckor, jämfört med den tidigare nioveckorsbenchmarken.
Vad RSC kommer att möjliggöra
RSC kommer att möjliggöra för Meta AI-forskare att skapa nya AI-modeller som kan lära sig från biljoner exempel. Forskare kommer också att kunna arbeta över hundratals olika språk; analysera text, bilder och video tillsammans; utveckla nya verktyg för förstärkt verklighet och mer.
Meta hoppas att RSC kommer att möjliggöra för företaget att driva realtidsröstöversättningar till stora grupper av människor, även om var och en talar ett annat språk. Detta kommer att möjliggöra extremt diversifierade team att samarbeta på forskningsprojekt.
“Vi hoppas att RSC kommer att hjälpa oss att bygga helt nya AI-system som kan, till exempel, driva realtidsröstöversättningar till stora grupper av människor, var och en som talar ett annat språk, så att de kan samarbeta sömlöst på ett forskningsprojekt eller spela ett AR-spel tillsammans”, säger Meta.
Detta nya samarbete kommer att gå långt i utvecklingen av en av de nästa state-of-the-art AI-superdatorerna som kan användas inom en mängd olika branscher.
