System Cerebras CS-1 Zintegrowany z Superkomputerem Lassen

Nowa studia przypadku przeprowadzona przez Cerebras (CBRS ) we współpracy z Lawrence Livermore National Laboratory (LLNL) szczegółowo opisuje, jak system Cerebras CS-1 został zintegrowany z superkomputerem Lassen, aby umożliwić postęp w symulacjach fuzji jądrowej.

LLNL jest federalnym zakładem badawczym w Livermore, w Kalifornii, i jest głównie finansowany przez Narodową Administrację Bezpieczeństwa Jądrowego (NNSA) Departamentu Energii Stanów Zjednoczonych. Według LLNL, jego misją jest wzmocnienie bezpieczeństwa Stanów Zjednoczonych poprzez rozwijanie i stosowanie światowej klasy nauki, technologii i inżynierii.

W laboratorium znajduje się Narodowe Obiekt Ignition (NIF), który prowadzi badania nad fuzją jądrową z najpotężniejszym laserem na świecie. Jednakże, niektóre z głównych przeszkód to drogie i czasochłonne eksperymenty z ograniczeniami inertnymi, więc laboratorium prowadzi symulowane eksperymenty z pakietem oprogramowania wielofizycznego o nazwie HYDRA na superkomputerze Lassen. Modele HYDRA są walidowane za pomocą danych z świata rzeczywistego z NIF, co pozwala na uzyskanie bardziej dokładnych prognoz wyników eksperymentów rzeczywistych.

Część modelu HYDRA dotyczy kinetyki atomowej i promieniowania, i jest nazywana CRETIN. Przewiduje, jak atom będzie się zachowywał w określonych warunkach, a CRETIN może stanowić nawet kilkanaście procent całkowitego obciążenia obliczeniowego dla HYDRA.

Poprzez zastąpienie CRETIN modelem sieci neuronowej głębokiej (DNN), czyli CRETIN-surrogate, badacze z LLNL mogą zmniejszyć intensywność obliczeniową.

System Cerebras CS-1

System Cerebras CS-1 został wybrany przez LLNL do realizacji ich CRETIN-surrogate inference. System został zintegrowany z superkomputerem Lassen, a instalacja trwała mniej niż 20 godzin. Technicy Cerebras zainstalowali również “chłodzącą obudowę” oraz mechaniczne szyny i sprzęt.

Inżynierowie oprogramowania machine learning współpracowali z kolegami z LLNL, aby napisać interfejs API w C++, który pozwala kodowi HYDRA na wywoływanie modelu CRETIN-surrogate. Model opiera się na autoencoderze do kompresji danych wejściowych do niższych wymiarów, a następnie są one przetwarzane przez model predykcyjny zbudowany z DJINN, który jest nowym algorytmem sieci neuronowej głębokiej. Ten algorytm automatycznie wybiera odpowiednią architekturę sieci neuronowej dla danych, i nie wymaga ręcznego dostosowywania ustawień.

Wyniki Studium Przypadku

Wstępne wyniki pokazały, że połączenie systemu Lassen z akceleratorem Cerebras jest niezwykle wydajne. Poprzez podłączenie systemu CS-1 do sieci InfiniBand Lassen, można osiągnąć przepustowość 1,2 terabitów na sekundę do systemu CS-1.

Dzięki 19 GB pamięci SRAM połączonej z 400 000 rdzeniami obliczeniowymi AI, system CS-1 mógł uruchamiać wiele instancji względnie kompaktowego modelu DNN równolegle. Dzięki połączeniu przepustowości i mocy obliczeniowej, HYDRA mogła wykonywać inferencję na 18 milionach próbek na sekundę.

To oznacza, że LLNL może teraz prowadzić eksperymenty, które wcześniej były obliczeniowo nieosiągalne z systemem Cerebras, i wymaga to tylko prostej integracji i ułamka kosztu.

Badania będą teraz skupione na sterowaniu symulacją i zapewnieniu wglądu w symulację podczas jej trwania, co pozwoli badaczom na monitorowanie i zatrzymanie symulacji, jeśli nie działa ona prawidłowo. Wyniki każdego przebiegu stają się częścią zestawu szkoleniowego modelu, dzięki czemu może on być ciągle szkolony. Można utworzyć “aktywny model uczenia”, który może optymalizować przyszłe przebiegi, wybierając parametry i warunki brzegowe dla następnego eksperymentu.