Система Cerebras CS-1 інтегрована в суперкомп’ютер Lassen

Нове тематичне дослідження, виконане Церебрали у партнерстві з Національна лабораторія Лоуренса Лівермора (LLNL) детально описує, як систему Cerebras CS-1 було інтегровано в суперкомп’ютер Lassen LLNL, щоб забезпечити прогрес у моделюванні ядерного синтезу. 

LLNL є федеральним дослідницьким закладом у Ліверморі, штат Каліфорнія, який в основному фінансується Національним управлінням ядерної безпеки (NNSA) Міністерства енергетики США. За словами LLNL, його місія полягає у зміцненні безпеки США шляхом розробки та застосування науки, технологій та техніки світового рівня. 

Лабораторія містить Національну установку запалювання (NIF), яка проводить дослідження ядерного синтезу за допомогою найпотужнішого лазера у світі. Зважаючи на це, деякі з основних перешкод включають дорогі та трудомісткі експерименти з інерційним конфайнментом, тому лабораторія проводить імітаційні експерименти з мультифізичним програмним пакетом HYDRA на суперкомп’ютері Lassen. Моделі HYDRA перевіряються за допомогою реальних даних від NIF, що дозволяє моделям бути більш точними в прогнозуванні результатів реальних експериментів. 

Частина HYDRA моделює атомну кінетику та випромінювання, і ця частина називається CRETIN. Він передбачає, як атом буде поводитися за певних умов, і CRETIN може представляти десятки відсотків загального обчислювального навантаження для HYDRA.

Замінивши CRETIN моделлю глибокої нейронної мережі (DNN) або сурогатом CRETIN, дослідники LLNL можуть зменшити інтенсивність обчислень. 

Система Cerebras CS-1

Система Cerebras CS-1 була обрана LLNL для виконання свого сурогатного висновку CRETIN. Система була інтегрована з суперкомп'ютером Lassen, а встановлення зайняло менше 20 годин. Техніки Cerebras також встановили «охолоджувальну оболонку», механічні опорні рейки та обладнання. 

Інженери програмного забезпечення машинного навчання працювали з колегами з LLNL над написанням C ++ API, який дозволяє коду HYDRA викликати сурогатну модель CRETIN. Модель покладається на автокодер для стиснення вхідних даних у представлення нижчих розмірів, які потім обробляються прогнозною моделлю, побудованою за допомогою DJINN, яка є новим алгоритмом глибокої нейронної мережі. Цей алгоритм автоматично вибирає відповідну архітектуру нейронної мережі для заданих даних, і користувачеві не потрібно вручну налаштовувати параметри.

Результати Case Study

Перші результати показали, що поєднання системи Лассена з прискорювачем Cerebras є надзвичайно ефективним. Підключивши систему CS-1 до мережі InfiniBand від Lassen, можна досягти пропускної здатності системи CS-1.2 1 терабіта на секунду.

Завдяки 19 ГБ пам’яті SRAM у поєднанні з 400,000 1 обчислювальними ядрами штучного інтелекту система CS-18 могла запускати багато екземплярів відносно компактної моделі DNN паралельно. Завдяки поєднанню пропускної здатності та потужності HYDRA змогла виконувати висновок на XNUMX мільйонах зразків щосекунди. 

Все це означає, що LLNL тепер може запускати експерименти, які раніше були обчислювально складними за допомогою системи Cerebras, і це передбачає лише просту інтеграцію та частку вартості. 

Тепер дослідження буде зосереджено на керуванні симуляцією та наданні інформації про симуляцію під час її роботи, що дозволить дослідникам контролювати та зупиняти роботу, якщо моделювання не працює належним чином. Результати кожного забігу стають частиною тренувального набору моделі, тому її можна постійно тренувати. Можна створити модель «активного навчання», і вона могла б оптимізувати майбутні прогони, вибравши параметри та початкові граничні умови для наступного експерименту.