Meta, NVIDIA створюють суперкомп’ютер штучного інтелекту

Meta та NVIDIA оголосили, що працюють над створенням потужного суперкомп’ютера штучного інтелекту. AI Research SuperCluster (RSC) зараз тренує нові моделі для розвитку штучного інтелекту.

Очікується, що RSC стане найбільшим клієнтським встановленням систем NVIDIA DGX A100 після повного розгортання. Його повне будівництво очікується до кінця цього року, і воно буде використовуватися для навчання моделей штучного інтелекту з понад одним трильйоном параметрів. Суперкомп’ютер буде корисний для багатьох різних галузей, таких як обробка природної мови (NLP).

За словами Meta, компанія зосереджена на забезпеченні продуктивності у великих масштабах та екстремальної надійності, безпеки, конфіденційності та гнучкості для обробки різних моделей штучного інтелекту.

Характеристики RSC

RSC використовує 760 систем NVIDIA DGX A100 як вузли обчислень, і вони мають 6 080 графічних процесорів NVIDIA A100, пов’язаних з мережею NVIDIA Quantum 200Gb/s InfiniBand. Все це дозволяє йому забезпечувати продуктивність 1 895 петафлопс TF32.

RSC зайняло лише 18 місяців, щоб досягти робочого суперкомп’ютера штучного інтелекту, що вражає, враховуючи вплив пандемії COVID-19 на розвиток.

Перші бенчмарки RSC, порівняні з наявною інфраструктурою виробництва та досліджень Meta, продемонстрували, що він може виконувати завдання комп’ютерного зору до 20 разів швидше. Він також може виконувати бібліотеку колективного зв’язку NVIDIA (NCCL) більш ніж у 9 разів швидше та тренувати великомасштабні моделі NLP у 3 рази швидше. Інакше кажучи, модель з десятками мільярдів параметрів зможе закінчити тренування за три тижні, порівняно з попереднім показником у 9 тижнів.

Що дозволить RSC

RSC дозволить дослідникам Meta створювати нові моделі штучного інтелекту, які можуть навчатися на трильйонах прикладів. Дослідники також зможуть працювати з сотнями різних мов; аналізувати текст, зображення та відео разом; розробляти нові інструменти доповненої реальності та інше.

Meta сподівається, що RSC дозволить компанії забезпечувати реальний переклад голосу для великих груп людей, навіть якщо кожна з них говорить іншою мовою. Це дозволить дуже різноманітним командам співпрацювати над дослідницькими проектами.

«Ми сподіваємося, що RSC допоможе нам створити абсолютно нові системи штучного інтелекту, які, наприклад, можуть забезпечувати реальний переклад голосу для великих груп людей, кожна з яких говорить іншою мовою, щоб вони могли безперешкодно співпрацювати над дослідницьким проектом або грати в гру доповненої реальності разом», – сказав Meta.

Ця нова співпраця значно просуне розвиток одного з наступних суперкомп’ютерів штучного інтелекту, який можна буде використовувати в широкому спектрі галузей.