Моделі та платформи ШІ
Meta та NVIDIA створюють суперкомп’ютер для штучного інтелекту
Додайте Unite.AI до бажаних джерел у Google
Meta та NVIDIA (NVDA ) оголосили, що працюють над створенням масштабного суперкомп’ютера для штучного інтелекту. Суперкомп’ютер AI Research SuperCluster (RSC) зараз тренує нові моделі для розвитку штучного інтелекту.
RSC очікується як найбільша установка систем NVIDIA DGX A100, коли вона буде повністю розгорнута. Вона повинна бути повністю побудована до кінця цього року та буде використовуватися для тренування моделей штучного інтелекту з понад одним трильйоном параметрів. Суперкомп’ютер буде корисний для багатьох різних галузей, таких як обробка природної мови (NLP).
За словами Meta, компанія зосереджена на забезпеченні продуктивності у великих масштабах та екстремальної надійності, безпеки, приватності та гнучкості для обробки різних моделей штучного інтелекту.
Характеристики RSC
RSC використовує 760 систем NVIDIA DGX A100 як вузли обчислень, і в них є 6 080 процесорів NVIDIA A100, пов’язаних з мережею NVIDIA Quantum 200Gb/s InfiniBand. Все це дозволяє йому забезпечувати продуктивність 1 895 петафлопс TF32.
RSC зайняв лише 18 місяців, щоб стати робочим суперкомп’ютером для штучного інтелекту, що вражає, враховуючи вплив пандемії COVID-19 на розвиток.
Перші тести на RSC, порівняно з попередньою інфраструктурою Meta, показали, що він може виконувати завдання комп’ютерного зору в 20 разів швидше. Він також може виконувати бібліотеку колективного зв’язку NVIDIA (NCCL) більш ніж в 9 разів швидше та тренувати великомасштабні моделі NLP в 3 рази швидше. Інакше кажучи, модель з десятками мільярдів параметрів зможе закінчити тренування за три тижні, порівняно з попереднім дев’ятитижневим показником.
Що забезпечить RSC
RSC дозволить дослідникам штучного інтелекту Meta створювати нові моделі штучного інтелекту, які можуть вивчати на трильйонах прикладів. Дослідники також зможуть працювати з сотнями різних мов; аналізувати текст, зображення та відео разом; розробляти нові інструменти доповненої реальності та інше.
Meta сподівається, що RSC дозволить компанії забезпечити реальний переклад голосу для великих груп людей, навіть якщо кожна з них говорить іншою мовою. Це дозволить非常 різноманітним командам співпрацювати над дослідницькими проектами.
“Ми сподіваємося, що RSC допоможе нам створити цілком нові системи штучного інтелекту, які, наприклад, можуть забезпечувати реальний переклад голосу для великих груп людей, кожна з яких говорить іншою мовою, щоб вони могли безперешкодно співпрацювати над дослідницьким проектом або грати в гру доповненої реальності разом”, – каже Meta.
Ця нова співпраця значно просуне розвиток одного з наступних суперкомп’ютерів штучного інтелекту, який можна буде використовувати в широкому спектрі галузей.
