Meta и NVIDIA объединяются для создания суперкомпьютера с искусственным интеллектом

Meta и NVIDIA объявили, что работают над созданием массивного суперкомпьютера с искусственным интеллектом. AI Research SuperCluster (RSC) в настоящее время обучает новые модели для развития ИИ.

Ожидается, что после полного развертывания RSC станет крупнейшей клиентской установкой систем NVIDIA DGX A100. Ожидается, что он будет полностью построен в конце этого года и будет использоваться для обучения моделей ИИ с более чем одним триллионом параметров. Суперкомпьютер будет полезен во многих областях, таких как обработка естественного языка (NLP).

По словам Меты, компания сосредоточена на обеспечении масштабируемой производительности и исключительной надежности, безопасности, конфиденциальности и гибкости для работы с различными моделями ИИ.

Особенности РСК

RSC использует 760 систем NVIDIA DGX A100 в качестве вычислительных узлов, а также 6,080 графических процессоров NVIDIA A100, подключенных к сети NVIDIA Quantum 200 Гбит/с InfiniBand. Все это позволяет ему обеспечивать 1,895 петафлопс производительности TF32.

RSC потребовалось всего 18 месяцев, чтобы получить работающий суперкомпьютер с искусственным интеллектом, что впечатляет, учитывая влияние пандемии COVID-19 на развитие.

Первые тесты RSC по сравнению с устаревшей производственной и исследовательской инфраструктурой Meta показали, что он может выполнять рабочие процессы компьютерного зрения до 20 раз быстрее. Он также может запускать библиотеку коллективных коммуникаций NVIDIA (NCCL) более чем в девять раз быстрее и обучать крупномасштабные модели НЛП в три раза быстрее. Другими словами, модель с десятками миллиардов параметров сможет завершить обучение за три недели по сравнению с предыдущим девятинедельным тестом.

Что позволит RSC

RSC позволит исследователям мета-ИИ создавать новые модели ИИ, способные учиться на триллионах примеров. Исследователи также смогут работать на сотнях разных языков; анализировать текст, изображения и видео вместе; разрабатывать новые инструменты дополненной реальности; и более.

Meta надеется, что RSC позволит компании обеспечить голосовой перевод в режиме реального времени для больших групп людей, даже если каждый из них говорит на другом языке. Это позволит чрезвычайно разнообразным командам сотрудничать в исследовательских проектах.

«Мы надеемся, что RSC поможет нам создать совершенно новые системы искусственного интеллекта, которые смогут, например, обеспечивать голосовой перевод в реальном времени для больших групп людей, каждый из которых говорит на своем языке, чтобы они могли беспрепятственно сотрудничать в исследовательском проекте или играть в игру с дополненной реальностью. вместе, — сказала Мета.

Это новое сотрудничество будет иметь большое значение для разработки одного из самых современных суперкомпьютеров с искусственным интеллектом, который можно будет использовать в самых разных отраслях.