Система Cerebras CS-1 Інтегрована в Суперкомп’ютер Lassen

Нове дослідження, проведене компанією Cerebras (CBRS ) у партнерстві з Національною лабораторією імені Лоуренса в Ліверморі (LLNL), детально описує, як система Cerebras CS-1 була інтегрована в суперкомп’ютер Lassen лабораторії для забезпечення прогресу в симуляціях ядерного синтезу.

LLNL – це федеральна дослідницька установа в Ліверморі, Каліфорнія, і в основному фінансується Національним управлінням ядерної безпеки Міністерства енергетики США. За словами LLNL, її місія полягає в тому, щоб посилити безпеку США шляхом розвитку та застосування світового рівня науки, технологій та інженерії.

У лабораторії розташовується Національний центр ігнорації (NIF), який проводить дослідження ядерного синтезу з найпотужнішим лазером у світі. Однак одним із основних перешкод є дорогі та тривалі експерименти з інерційним утриманням, тому лабораторія проводить симульовані експерименти з багатокомпонентним програмним пакетом HYDRA на суперкомп’ютері Lassen. Моделі HYDRA валідуються за допомогою реальних даних з NIF, що дозволяє моделям бути більш точними при прогнозуванні результатів реальних експериментів.

Частина моделей HYDRA моделює атомну кінетику та радіацію, і ця частина називається CRETIN. Вона передбачає поведінку атома під певними умовами, і CRETIN може становити десятки відсотків загального обчислювального навантаження для HYDRA.

Заміна CRETIN на глибинну нейронну мережу (DNN) або CRETIN-сурогат дозволяє дослідникам LLNL зменшити обчислювальну інтенсивність.

Система Cerebras CS-1

Система Cerebras CS-1 була вибрана LLNL для виконання інференсу CRETIN-сурогату. Система була інтегрована з суперкомп’ютером Lassen, і встановлення зайняло менше 20 годин. Техніки Cerebras також встановили «охолоджувальну оболонку» та механічні підтримуючі рейки та апаратуру.

Інженери-програмісти з машинного навчання працювали з колегами LLNL над створенням API на мові C++, яке дозволяє коду HYDRA викликати модель CRETIN-сурогату. Модель використовує автоенкодер для стиснення вхідних даних у нижчі розмірності, які потім обробляються передбачувальною моделлю, побудованою з DJINN, яка є новим алгоритмом глибинної нейронної мережі. Цей алгоритм автоматично вибирає відповідну архітектуру нейронної мережі для заданих даних і не вимагає ручної настройки параметрів.

Результати дослідження

Перші результати продемонстрували, що поєднання системи Lassen з прискорювачем Cerebras надзвичайно ефективне. Підключивши систему CS-1 до мережі InfiniBand Lassen, можна досягти пропускної здатності 1,2 терабіт на секунду.

Завдяки 19 ГБ ОЗП пам’яті, поєднаної з 400 000 ядрами обчислень ІІ, система CS-1 могла виконувати багато екземплярів відносно компактної DNN-моделі паралельно. Завдяки поєднанню пропускної здатності та обчислювальної потужності HYDRA могла виконувати інференцію на 18 мільйонах зразків за секунду.

Все це означає, що тепер LLNL може проводити експерименти, які раніше були обчислювально неможливі з системою Cerebras, і це потребує лише простої інтеграції та частки витрат.

Дослідження тепер будуть зосереджені на керуванні симуляцією та наданні інформації про симуляцію під час її виконання, що дозволяє дослідникам контролювати та зупиняти виконання, якщо симуляція не працює добре. Результати кожного виконання стають частиною навчальної вибірки моделі, тому її можна безперервно тренувати. Можна створити «активну модель навчання», яка може оптимізувати майбутні виконання, вибираючи параметри та початкові умови кордону для наступного експерименту.