Система Cerebras CS-1, интегрированная в суперкомпьютер Lassen

Новое исследование, проведенное компанией Cerebras (CBRS ) в партнерстве с Национальной лабораторией Лоуренса Ливермора (LLNL), раскрывает, как система Cerebras CS-1 была интегрирована в суперкомпьютер Lassen лаборатории для достижения прогресса в симуляциях ядерного синтеза.

LLNL – это федеральная исследовательская организация, расположенная в Ливерморе, Калифорния, и в основном финансируется Национальным управлением ядерной безопасности Министерства энергетики США (NNSA). Согласно LLNL, ее миссия – укрепить безопасность США путем разработки и применения мирового класса науки, технологий и инженерии.

В лаборатории находится Национальный комплекс зажигания (NIF), который проводит исследования ядерного синтеза с помощью самого мощного лазера в мире. Однако некоторые из основных препятствий включают дорогостоящие и длительные эксперименты по инерциальному удержанию, поэтому лаборатория проводит模拟ированные эксперименты с помощью программного пакета с несколькими физическими моделями под названием HYDRA на суперкомпьютере Lassen. Модели HYDRA проверяются на основе реальных данных с NIF, что позволяет моделям быть более точными в прогнозировании результатов реальных экспериментов.

Часть моделей HYDRA описывает атомную кинетику и излучение, и эта часть называется CRETIN. Она предсказывает, как будет вести себя атом в определенных условиях, и CRETIN может составлять десятки процентов от общей вычислительной нагрузки для HYDRA.

Заменив CRETIN на модель глубокого нейронного сети (DNN) или CRETIN-сурирогат, исследователи LLNL могут уменьшить вычислительную интенсивность.

Система Cerebras CS-1

Система Cerebras CS-1 была выбрана LLNL для выполнения их CRETIN-сурирогатной интерпретации. Система была интегрирована с суперкомпьютером Lassen, и установка заняла менее 20 часов. Техники Cerebras также установили “охлаждающую оболочку” и механические опоры и оборудование.

Инженеры-программисты по машинному обучению работали с коллегами из LLNL, чтобы написать API на C++, который позволяет коду HYDRA вызывать модель CRETIN-сурирогата. Модель использует автоэнкодер для сжатия входных данных в представления с более низкими размерностями, которые затем обрабатываются предсказательной моделью, построенной с помощью DJINN, которая представляет собой новую алгоритм глубокого нейронного сети. Этот алгоритм автоматически выбирает подходящую архитектуру нейронной сети для заданных данных и не требует от пользователя ручной настройки параметров.

Результаты исследования

Ранние результаты продемонстрировали, что сочетание системы Lassen с ускорителем Cerebras чрезвычайно эффективно. Подключив систему CS-1 к сети InfiniBand Lassen, можно было достичь пропускной способности 1,2 терабит в секунду.

Благодаря 19 ГБ оперативной памяти SRAM, подключенной к 400 000 ядер вычислений ИИ, система CS-1 могла запускать многие экземпляры относительно компактной модели DNN параллельно. Благодаря сочетанию пропускной способности и мощности HYDRA смогла выполнять интерпретацию 18 миллионов образцов в секунду.

Все это означает, что LLNL теперь может проводить эксперименты, которые ранее были вычислительными неосуществимыми с помощью системы Cerebras, и это требует только простой интеграции и доли стоимости.

Исследование теперь будет сосредоточено на управлении симуляцией и предоставлении информации о симуляции во время ее выполнения, что позволяет исследователям контролировать и останавливать запуск, если симуляция не работает хорошо. Результаты каждого запуска становятся частью обучающего набора модели, поэтому ее можно непрерывно обучать. Можно создать “активную обучающую” модель, которая может оптимизировать будущие запуски, выбирая параметры и начальные условия границы для следующего эксперимента.