Meta, NVIDIA се обединяват за изграждане на AI суперкомпютър

Meta и NVIDIA обявиха, че работят върху изграждането на масивен AI суперкомпютър. AI Research SuperCluster (RSC) в момента обучава нови модели за усъвършенстване на AI.

Очаква се RSC да бъде най-голямата потребителска инсталация на системи NVIDIA DGX A100, след като бъде напълно внедрена. Очаква се да бъде напълно изграден по-късно тази година и ще се използва за обучение на AI модели с над един трилион параметри. Суперкомпютърът ще бъде полезен за много различни области като обработка на естествен език (NLP).

Според Meta, компанията се фокусира върху осигуряване на производителност в мащаб и изключителна надеждност, сигурност, поверителност и гъвкавост за работа с различни AI модели.

Специфика на RSC

RSC използва 760 системи NVIDIA DGX A100 като свои изчислителни възли и имат 6,080 графични процесора NVIDIA A100, свързани в мрежа NVIDIA Quantum 200Gb/s InfiniBand. Всичко това му позволява да доставя 1,895 петафлопа TF32 производителност.

RSC отне само 18 месеца, за да достигне работещ AI суперкомпютър, което е впечатляващо предвид ефекта на пандемията COVID-19 върху развитието.

Ранните сравнителни тестове на RSC, в сравнение с наследената производствена и изследователска инфраструктура на Meta, показаха, че той може да изпълнява работни процеси за компютърно зрение до 20 пъти по-бързо. Той може също така да управлява NVIDIA Collective Communication Library (NCCL) над девет пъти по-бързо и да обучава широкомащабни NLP модели три пъти по-бързо. С други думи, модел с десетки милиарди параметри би могъл да завърши обучението за три седмици, в сравнение с предишния деветседмичен бенчмарк.

Какво ще позволи RSC

RSC ще позволи на изследователите на Meta AI да създават нови модели на AI, които могат да се учат от трилиони примери. Изследователите също така ще могат да работят на стотици различни езици; анализирайте заедно текст, изображения и видео; разработване на нови инструменти за добавена реалност; и още.

Meta се надява, че RSC ще позволи на компанията да захранва гласови преводи в реално време на големи групи хора, дори ако всеки говори различен език. Това ще позволи на изключително разнообразни екипи да си сътрудничат по изследователски проекти.

„Надяваме се, че RSC ще ни помогне да изградим изцяло нови AI системи, които могат например да осигурят гласови преводи в реално време на големи групи хора, всеки от които говори различен език, така че да могат безпроблемно да си сътрудничат в изследователски проект или да играят AR игра заедно“, каза Мета.

Това ново сътрудничество ще допринесе много за разработването на един от следващите най-съвременни AI суперкомпютри, които могат да се използват в широк спектър от индустрии.