Meta i NVIDIA współpracują przy budowie supernowoczesnego komputera AI

Meta i NVIDIA (NVDA ) ogłosiły, że pracują nad stworzeniem ogromnego komputera AI. AI Research SuperCluster (RSC) jest obecnie szkolony na nowych modelach, aby przyspieszyć rozwój AI.

RSC ma być największym klientem systemów NVIDIA DGX A100, kiedy zostanie w pełni wdrożony. Ma być w pełni zbudowany pod koniec tego roku i będzie wykorzystywany do szkolenia modeli AI z ponad jednym bilionem parametrów. Komputer ten będzie przydatny w wielu różnych dziedzinach, takich jak przetwarzanie języka naturalnego (NLP).

Według Meta, firma ta koncentruje się na zapewnieniu wydajności na dużą skalę i ekstremalnej niezawodności, bezpieczeństwa, prywatności oraz elastyczności w obsłudze różnych modeli AI.

Szczegóły dotyczące RSC

RSC wykorzystuje 760 systemów NVIDIA DGX A100 jako węzły obliczeniowe, które posiadają 6 080 procesorów NVIDIA A100 połączonych siecią NVIDIA Quantum 200Gb/s InfiniBand. To umożliwia mu dostarczenie 1 895 petaflops wydajności TF32.

RSC potrzebował tylko 18 miesięcy, aby osiągnąć stan działającego komputera AI, co jest imponujące, biorąc pod uwagę wpływ pandemii COVID-19 na rozwój.

Wstępne testy porównawcze na RSC, w porównaniu z infrastrukturą produkcyjną i badawczą Meta, wykazały, że może on uruchamiać przepływy pracy związane z widzeniem komputerowym nawet 20 razy szybciej. Może również uruchamiać bibliotekę kolektywnej komunikacji NVIDIA (NCCL) ponad 9 razy szybciej i szkolić duże modele NLP 3 razy szybciej. Innymi słowy, model z dziesiątkami miliardów parametrów mógłby zakończyć szkolenie w ciągu 3 tygodni, w porównaniu z poprzednim benchmarkiem 9 tygodni.

Co umożliwi RSC

RSC umożliwi badaczom AI z Meta stworzenie nowych modeli AI, które mogą uczyć się z trylionów przykładów. Badacze będą również mogli pracować nad setkami różnych języków; analizować tekst, obrazy i filmy razem; rozwijać nowe narzędzia rzeczywistości rozszerzonej oraz wiele więcej.

Meta liczy, że RSC umożliwi firmie zasilanie tłumaczeń głosowych w czasie rzeczywistym dla dużych grup ludzi, nawet jeśli każda z nich mówi innym językiem. To pozwoli na współpracę zespołów o ekstremalnej różnorodności w projektach badawczych.

„Liczymy, że RSC pomoże nam zbudować całkowicie nowe systemy AI, które mogą na przykład zapewnić tłumaczenia głosowe w czasie rzeczywistym dla dużych grup ludzi, mówiących różnymi językami, aby mogli oni współpracować bezproblemowo przy projekcie badawczym lub grać w grę AR razem”, powiedziała Meta.

To nowe partnerstwo znacznie przyczyni się do rozwoju jednego z najnowocześniejszych komputerów AI, który może być wykorzystywany w szerokim zakresie branż.