Система Cerebras CS-1 Інтегрована в Суперкомп’ютер Lassen

Нове дослідження, проведене Cerebras у партнерстві з Лабораторією імені Лоуренса в Ліверморі (LLNL), детально описує, як система Cerebras CS-1 була інтегрована в суперкомп’ютер Lassen LLNL для забезпечення прогресу в симуляціях ядерного синтезу. 

LLNL – це федеральна дослідницька установа в Ліверморі, Каліфорнія, і вона в основному фінансується Національним управлінням ядерної безпеки Міністерства енергетики США (NNSA). За словами LLNL, її місія – зміцнювати безпеку США шляхом розробки та застосування світового класу науки, технологій та інженерії. 

У лабораторії знаходиться Національний ігніторний заклад (NIF), який проводить дослідження ядерного синтезу з найбільш потужним лазером у світі. З іншого боку, деякими з основних перешкод є дорогоцінні та тривалі експерименти з інерціальним утриманням, тому лабораторія проводить симульовані експерименти з пакетом програмного забезпечення для багатофізичних симуляцій під назвою HYDRA на суперкомп’ютері Lassen. Моделі HYDRA валідуються за допомогою реальних даних з NIF, що дозволяє моделям бути більш точними при прогнозуванні результатів реальних експериментів. 

Частина моделей HYDRA атомної кінетики та радіації називається CRETIN. Вона передбачає, як атом поведеться під певними умовами, і CRETIN може становити десятки відсотків загального обчислювального навантаження для HYDRA.

Замінивши CRETIN на глибинну нейронну мережеву модель (DNN) або CRETIN-сурогат, дослідники LLNL можуть зменшити обчислювальну інтенсивність. 

Система Cerebras CS-1

Система Cerebras CS-1 була вибрана LLNL для виконання їхнього CRETIN-сурогатного висновку. Система була інтегрована з суперкомп’ютером Lassen, а встановлення зайняло менше 20 годин. Техніки Cerebras також встановили “охолоджувальну оболонку” та механічні рейки та апаратне забезпечення. 

Інженери програмного забезпечення машинного навчання працювали з колегами LLNL над написанням API на мові C++, яке дозволяє коду HYDRA викликати модель CRETIN-сурогата. Модель використовує автоенкодер для стиснення вхідних даних у нижчі розмірності, а потім обробляє передбачувальну модель, побудовану з DJINN, яка є новим алгоритмом глибинної нейронної мережі. Цей алгоритм автоматично вибирає відповідну архітектуру нейронної мережі для заданих даних, і йому не потрібно, щоб користувач вручну налаштовував параметри.

Результати дослідження

Перші результати продемонстрували, що поєднання системи Lassen з прискорювачем Cerebras надзвичайно ефективне. Підключивши систему CS-1 до мережі InfiniBand Lassen, можна досягти пропускної здатності 1,2 терабіт на секунду до системи CS-1.

Завдяки 19 ГБ ОЗП пам’яті, поєднаної з 400 000 ядрами обчислень штучного інтелекту, система CS-1 могла запускати багато екземплярів відносно компактної моделі DNN паралельно. За рахунок поєднання пропускної здатності та потужності HYDRA могла виконувати висновок на 18 мільйонів зразків кожну секунду. 

Все це означає, що тепер LLNL може проводити експерименти, які раніше були обчислювально неприйнятними з системою Cerebras, і це потребує лише простої інтеграції та частки вартості. 

Дослідження тепер будуть зосереджені на керуванні симуляцією та наданні інформації про симуляцію під час її виконання, що дозволяє дослідникам контролювати та зупиняти виконання, якщо симуляція не працює добре. Результати кожного виконання стають частиною навчальної вибірки моделі, тому її можна безперервно тренувати. Можна створити модель “активного навчання”, яка могла б оптимізувати майбутні виконання, вибираючи параметри та початкові умовні обмеження для наступного експерименту.