Система Cerebras CS-1 Интегрирована в Суперкомпьютер Lassen

Новое исследование, проведенное Cerebras в партнерстве с Лабораторией Лоуренса Ливермора (LLNL), раскрывает, как система Cerebras CS-1 была интегрирована в суперкомпьютер LLNL Lassen, чтобы обеспечить достижения в области симуляций ядерного синтеза.

LLNL – это федеральная исследовательская организация в Ливерморе, Калифорния, и она в основном финансируется Национальной администрацией ядерной безопасности Министерства энергетики США (NNSA). Согласно LLNL, ее миссия – укреплять безопасность США путем разработки и применения мирового класса науки, технологий и инженерии.

В лаборатории находится Национальный центр зажигания (NIF), который проводит исследования ядерного синтеза с помощью самого мощного лазера в мире. С учетом этого, некоторые из основных препятствий включают дорогостоящие и длительные эксперименты по инерциальному удержанию, поэтому лаборатория проводит模拟ированные эксперименты с помощью пакета программного обеспечения с несколькими физическими моделями под названием HYDRA на суперкомпьютере Lassen. Модели HYDRA проверяются на основе реальных данных из NIF, что позволяет моделям быть более точными в прогнозировании результатов реальных экспериментов.

Часть моделей HYDRA моделирует атомную кинетику и радиацию, и эта часть называется CRETIN. Она предсказывает, как атом будет вести себя в определенных условиях, и CRETIN может составлять десятки процентов от общей нагрузки вычислений для HYDRA.

Заменив CRETIN на модель глубокого нейронного сети (DNN) или CRETIN-заменитель, исследователи LLNL могут уменьшить вычислительную интенсивность.

Система Cerebras CS-1

Система Cerebras CS-1 была выбрана LLNL для выполнения их CRETIN-заменителя. Система была интегрирована с суперкомпьютером Lassen, и установка заняла менее 20 часов. Техники Cerebras также установили “охлаждающую оболочку” и механические поддерживающие рельсы и аппаратуру.

Инженеры программного обеспечения для машинного обучения работали с коллегами LLNL, чтобы написать API на C++, который позволяет коду HYDRA вызывать модель CRETIN-заменителя. Модель полагается на автоэнкодер для сжатия входных данных в представления с более низкими размерностями, и эти данные затем обрабатываются предсказательной моделью, построенной с помощью DJINN, которая представляет собой новую алгоритм глубокого нейронного сети. Этот алгоритм автоматически выбирает подходящую архитектуру нейронной сети для заданных данных, и он не требует от пользователя ручной настройки параметров.

Результаты исследования

Ранние результаты показали, что сочетание системы Lassen с ускорителем Cerebras чрезвычайно эффективно. Подключив систему CS-1 к сети InfiniBand Lassen, можно достичь пропускной способности 1,2 терабит в секунду.

Благодаря 19 ГБ ОЗУ, подключенной к 400 000 ядрам вычислений ИИ, система CS-1 смогла запустить многие экземпляры относительно компактной модели DNN параллельно. Благодаря сочетанию пропускной способности и мощности, HYDRA смогла выполнить вывод на 18 миллионах образцов в секунду.

Все это означает, что LLNL теперь может проводить эксперименты, которые ранее были вычислительными неосуществимыми с помощью системы Cerebras, и это требует только простой интеграции и доли стоимости.

Исследования теперь будут сосредоточены на управлении симуляцией и предоставлении информации о симуляции во время ее выполнения, что позволяет исследователям контролировать и останавливать запуск, если симуляция не работает хорошо. Результаты каждого запуска становятся частью обучающего набора модели, поэтому его можно непрерывно обучать. Можно создать “активную модель обучения”, которая может оптимизировать будущие запуски, выбирая параметры и начальные граничные условия для следующего эксперимента.