Модели и платформы ИИ
Meta и NVIDIA объединяются для создания суперкомпьютера ИИ
Добавьте Unite.AI в избранные источники в Google
Meta и NVIDIA (NVDA ) объявили, что они работают над созданием огромного суперкомпьютера ИИ. Исследовательский суперкомпьютер ИИ (RSC) в настоящее время обучает новые модели для продвижения ИИ.
Ожидается, что RSC станет крупнейшей установкой систем NVIDIA DGX A100, когда он будет полностью развернут. Он должен быть полностью построен в конце этого года и будет использоваться для обучения моделей ИИ с более чем одним триллионом параметров. Суперкомпьютер будет полезен для многих различных областей, таких как обработка естественного языка (NLP).
По словам Meta, компания фокусируется на обеспечении производительности в масштабе и экстремальной надежности, безопасности, конфиденциальности и гибкости для обработки различных моделей ИИ.
Характеристики RSC
RSC использует 760 систем NVIDIA DGX A100 в качестве вычислительных узлов, и они имеют 6 080 NVIDIA A100 GPU, связанных с сетью NVIDIA Quantum 200Gb/s InfiniBand. Все это позволяет ему обеспечить 1 895 петафлопс производительности TF32.
RSC потребовалось только 18 месяцев, чтобы достичь рабочего суперкомпьютера ИИ, что впечатляет, учитывая влияние пандемии COVID-19 на разработку.
Ранние тесты RSC, по сравнению с производственной и исследовательской инфраструктурой Meta, показали, что он может выполнять рабочие процессы компьютерного зрения до 20 раз быстрее. Он также может выполнять библиотеку коллективной связи NVIDIA (NCCL) более чем в 9 раз быстрее и обучать крупномасштабные модели NLP в 3 раза быстрее. Другими словами, модель с десятками миллиардов параметров сможет завершить обучение за три недели, по сравнению с предыдущим показателем в 9 недель.
Что позволит RSC
RSC позволит исследователям Meta создавать новые модели ИИ, которые могут учиться на триллионах примеров. Исследователи также смогут работать с сотнями разных языков; анализировать текст, изображения и видео вместе; разрабатывать новые инструменты дополненной реальности и многое другое.
Meta надеется, что RSC позволит компании обеспечить перевод голоса в реальном времени для больших групп людей, даже если каждый говорит на разных языках. Это позволит очень разнообразным командам сотрудничать в исследовательских проектах.
«Мы надеемся, что RSC поможет нам построить совершенно новые системы ИИ, которые, например, могут обеспечить перевод голоса в реальном времени для больших групп людей, говорящих на разных языках, чтобы они могли бесшовно сотрудничать в исследовательском проекте или играть в игру дополненной реальности вместе», – сказал Meta.
Это новое сотрудничество продвинет разработку одного из следующих суперкомпьютеров ИИ, который может быть использован в широком спектре отраслей.
