Meta i NVIDIA współpracują przy budowie superkomputera AI

Meta i NVIDIA (NVDA ) ogłosiły, że pracują nad stworzeniem ogromnego superkomputera AI. AI Research SuperCluster (RSC) obecnie trenuje nowe modele, aby przyspieszyć rozwój AI.

RSC ma być największą instalacją u klienta systemów NVIDIA DGX A100, kiedy zostanie w pełni wdrożony. Ma być w pełni zbudowany pod koniec tego roku i będzie wykorzystywany do szkolenia modeli AI z ponad jednym bilionem parametrów. Komputer ten będzie przydatny w wielu różnych dziedzinach, takich jak przetwarzanie języka naturalnego (NLP).

Według Meta, firma ta koncentruje się na zapewnieniu wydajności na dużą skalę i ekstremalnej niezawodności, bezpieczeństwa, prywatności oraz elastyczności w obsłudze różnych modeli AI.

Szczegóły dotyczące RSC

RSC wykorzystuje 760 systemów NVIDIA DGX A100 jako węzły obliczeniowe, które posiadają 6 080 procesorów NVIDIA A100 połączonych siecią NVIDIA Quantum 200Gb/s InfiniBand. To umożliwia mu dostarczenie 1 895 petaflops wydajności TF32.

RSC potrzebował tylko 18 miesięcy, aby osiągnąć stan działającego komputera AI, co jest imponujące, biorąc pod uwagę wpływ pandemii COVID-19 na rozwój.

Wstępne testy porównawcze na RSC, w porównaniu z infrastrukturą produkcyjną i badawczą Meta, wykazały, że może on uruchamiać przepływy pracy związane z widzeniem komputerowym nawet 20 razy szybciej. Może również uruchamiać bibliotekę kolektywnej komunikacji NVIDIA (NCCL) ponad 9 razy szybciej i szkolić duże modele NLP 3 razy szybciej. Innymi słowy, model z dziesiątkami miliardów parametrów mógłby zakończyć szkolenie w ciągu 3 tygodni, w porównaniu z poprzednim benchmarkiem 9 tygodni.

Co umożliwi RSC

RSC umożliwi badaczom AI z Meta stworzenie nowych modeli AI, które mogą uczyć się z bilionów przykładów. Badacze będą również mogli pracować nad setkami różnych języków; analizować tekst, obrazy i filmy razem; rozwijać nowe narzędzia rzeczywistości rozszerzonej oraz wiele więcej.

Meta liczy, że RSC umożliwi firmie zasilanie tłumaczeń głosowych w czasie rzeczywistym dla dużych grup ludzi, nawet jeśli każda z nich mówi innym językiem. To pozwoli na współpracę zespołów o ekstremalnej różnorodności w projektach badawczych.

„Liczymy, że RSC pomoże nam zbudować całkowicie nowe systemy AI, które mogą na przykład zapewnić tłumaczenia głosowe w czasie rzeczywistym dla dużych grup ludzi, mówiących różnymi językami, aby mogli oni współpracować bezproblemowo przy projekcie badawczym lub grać w grę AR razem”, powiedziała Meta.

To nowe partnerstwo znacznie przyczyni się do rozwoju jednego z najnowocześniejszych komputerów AI, który może być wykorzystywany w szerokim zakresie branż.