Meta, NVIDIA Создают Суперкомпьютер для Искусственного Интеллекта

Meta и NVIDIA объявили, что они работают над созданием огромного суперкомпьютера для искусственного интеллекта. Исследовательский СуперКластер (RSC) в настоящее время обучает новые модели для продвижения искусственного интеллекта.

Ожидается, что RSC станет крупнейшей установкой систем NVIDIA DGX A100, когда он будет полностью развернут. Его планируется полностью построить в конце этого года, и он будет использоваться для обучения моделей искусственного интеллекта с более чем одним триллионом параметров. Суперкомпьютер будет полезен для многих различных областей, таких как обработка естественного языка (NLP).

По словам Meta, компания фокусируется на обеспечении производительности в масштабе и экстремальной надежности, безопасности, конфиденциальности и гибкости для обработки различных моделей искусственного интеллекта.

Характеристики RSC

RSC использует 760 систем NVIDIA DGX A100 в качестве вычислительных узлов, и они имеют 6 080 NVIDIA A100 GPU, связанных через сеть NVIDIA Quantum 200Gb/s InfiniBand. Все это позволяет ему обеспечить производительность 1 895 петафлопс TF32.

RSC удалось достичь рабочего суперкомпьютера за 18 месяцев, что впечатляет, учитывая влияние пандемии COVID-19 на разработку.

Первые тесты на RSC, сравненные с производственной и исследовательской инфраструктурой Meta, показали, что он может выполнять рабочие процессы компьютерного зрения до 20 раз быстрее. Он также может выполнять библиотеку коллективной связи NVIDIA (NCCL) более чем в 9 раз быстрее и обучать крупномасштабные модели NLP в 3 раза быстрее. Другими словами, модель с десятками миллиардов параметров сможет завершить обучение за три недели, по сравнению с предыдущим показателем в 9 недель.

Что Позволит RSC

RSC позволит исследователям Meta создавать новые модели искусственного интеллекта, которые могут учиться на триллионах примеров. Исследователи также смогут работать с сотнями разных языков; анализировать текст, изображения и видео вместе; разрабатывать новые инструменты дополненной реальности и многое другое.

Meta надеется, что RSC позволит компании обеспечить реальное время перевода голоса для больших групп людей, даже если каждый говорит на разных языках. Это позволит非常 разнообразным командам сотрудничать над проектами исследований.

«Мы надеемся, что RSC поможет нам создать совершенно новые системы искусственного интеллекта, которые, например, смогут обеспечить реальное время перевода голоса для больших групп людей, каждый из которых говорит на разных языках, чтобы они могли без проблем сотрудничать над проектом исследования или играть в игру дополненной реальности вместе», – заявила Meta.

Этот новый сотрудничество продвинет разработку одного из следующих суперкомпьютеров искусственного интеллекта, который может быть использован в широком спектре отраслей.