Modely a platformy AI
Meta a NVIDIA spolupracují na stavbě superpočítače AI
Přidejte Unite.AI mezi své preferované zdroje na Google
Meta a NVIDIA (NVDA ) oznámily, že spolupracují na stavbě obrovského superpočítače AI. AI Research SuperCluster (RSC) je目前 školení nových modelů pro pokrok v oblasti AI.
RSC by měl být největší zákaznickou instalací systémů NVIDIA DGX A100, jakmile bude plně nasazen. Předpokládá se, že bude plně dokončen později v tomto roce a bude použit pro školení modelů AI s více než jedním bilionem parametrů. Superpočítač bude užitečný pro mnoho různých oblastí, jako je zpracování přirozeného jazyka (NLP).
Podle Meta se společnost zaměřuje na umožnění výkonu ve velkém měřítku a extrémní spolehlivosti, zabezpečení, soukromí a flexibilitě pro zpracování různých modelů AI.
Specifikace RSC
RSC používá 760 systémů NVIDIA DGX A100 jako výpočetní uzly a má 6 080 NVIDIA A100 GPU propojených na síti NVIDIA Quantum 200Gb/s InfiniBand. To umožňuje dodávat 1 895 petaflops výkonu TF32.
RSC trvalo pouze 18 měsíců, aby dosáhl funkčního superpočítače AI, což je působivé vzhledem k dopadům pandemie COVID-19 na vývoj.
Rané testy RSC, ve srovnání s Meta legacy produkční a výzkumnou infrastrukturou, prokázaly, že může spustit pracovní postupy počítačového vidění až 20krát rychleji. Může také spustit knihovnu NVIDIA Collective Communication Library (NCCL) více než devětkrát rychleji a školení velkých modelů NLP třikrát rychleji. Jinými slovy, model s desítkami miliard parametrů by mohl dokončit školení za tři týdny, ve srovnání s předchozím devítitýdenním benchmarkem.
Co RSC umožní
RSC umožní výzkumníkům Meta AI vytvořit nové modely AI, které mohou se učit z bilionů příkladů. Výzkumníci budou moci také pracovat napříč stovkami různých jazyků; analyzovat text, obrázky a videa společně; vyvíjet nové nástroje pro rozšířenou realitu a další.
Meta doufá, že RSC umožní společnosti napájet reálné překlady hlasu pro velké skupiny lidí, i když každý mluví jiným jazykem. To umožní extrémně různorodým týmům spolupracovat na výzkumných projektech.
“Doufáme, že RSC nám pomůže postavit zcela nové systémy AI, které mohou, například, napájet reálné překlady hlasu pro velké skupiny lidí, každý mluvící jiným jazykem, aby mohli bezproblémově spolupracovat na výzkumném projektu nebo hrát hru AR spolu,” uvedla Meta.
Tato nová spolupráce bude mít velký dopad na vývoj jednoho z nejmodernějších superpočítačů AI, který může být použit v širokém spektru průmyslových odvětví.
