Systém Cerebras CS-1 integrovaný do superpočítače Lassen

Nová případová studie provedená Cerebras ve spolupráci s Lawrence Livermore National Laboratory (LLNL) popisuje, jak byl systém Cerebras CS-1 integrován do superpočítače LLNL Lassen, aby umožnil pokroky v simulacích jaderné fúze.

LLNL je federální výzkumné zařízení v Livermore, Kalifornie, a je především financováno ministerstvem energetiky USA, Národní správou jaderné bezpečnosti (NNSA). Podle LLNL je jeho mise posílit bezpečnost USA rozvojem a aplikací světové třídy vědy, technologie a inženýrství.

Laboratoř obsahuje Národní zařízení pro jaderné zapálení (NIF), které provádí výzkum jaderné fúze s nejvýkonnějším laserem na světě. S tím said, některé z hlavních překážek zahrnují drahá a časově náročná experimenty s inertním uzavřením, takže laboratoř provádí simulované experimenty s balíčkem softwaru pro více fyzikálních jevů nazvaným HYDRA na superpočítači Lassen. Modely HYDRA jsou validovány prostřednictvím reálných dat z NIF, což umožňuje, aby modely byly přesnější při předpovídání výsledků reálných experimentů.

Část modelů HYDRA zahrnuje atomovou kinetiku a radiační část, a tato část se nazývá CRETIN. Předpovídá, jak se bude atom chovat za určitých podmínek, a CRETIN může představovat desítky procent celkové výpočetní zátěže pro HYDRA.

Nahrazením CRETIN hlubokým neuronovým modelem (DNN), nebo CRETIN-náhradním modelem, mohou výzkumníci z LLNL snížit výpočetní intenzitu.

Systém Cerebras CS-1

Systém Cerebras CS-1 byl vybrán LLNL pro provedení jejich CRETIN-náhradního odvozování. Systém byl integrován se superpočítačem Lassen a instalace trvala méně než 20 hodin. Technici z Cerebras také nainstalovali “chladicí shell” a mechanické podpůrné kolejnice a hardware.

Inženýři softwaru pro strojové učení pracovali s kolegy z LLNL na vytvoření C++ API, které umožňuje kódu HYDRA volat model CRETIN-náhrady. Model se spoléhá na autoencoder pro kompresi vstupních dat do nižších dimenzionálních reprezentací, a tyto jsou pak zpracovány předpovědním modelem postaveným s DJINN, což je nový algoritmus hlubokých neuronových sítí. Tento algoritmus automaticky vybírá vhodnou architekturu neuronové sítě pro daná data a nevyžaduje, aby uživatel ručně nastavoval parametry.

Výsledky případové studie

Rané výsledky prokázaly, že kombinace systému Lassen se zrychlovačem Cerebras je extrémně efektivní. Připojením systému CS-1 do sítě InfiniBand Lassen bylo možné dosáhnout 1,2 terabitů za sekundu šířky pásma.

Díky 19 GB SRAM paměti spojené s 400 000 AI výpočetními jádry mohl systém CS-1 spouštět mnoho instancí relativně kompaktního modelu DNN paralelně. Díky kombinaci šířky pásma a výkonu mohl HYDRA provádět odvozování na 18 milionech vzorků za sekundu.

To vše znamená, že LLNL může nyní spouštět experimenty, které byly dříve výpočetně neřešitelné se systémem Cerebras, a to pouze s jednoduchou integrací a zlomek nákladů.

Výzkum se nyní zaměří na řízení simulace a poskytování přehledu o simulaci během jejího běhu, což umožňuje výzkumníkům monitorovat a zastavit běh, pokud simulace nefunguje dobře. Výsledky každého běhu se pak stanou součástí trénovací množiny modelu, takže může být neustále trénován. Může být vytvořen „aktivní učení“ model, a ten by mohl optimalizovat budoucí běhy výběrem parametrů a počáteční hranice pro další experiment.