Systém Cerebras CS-1 integrovaný do superpočítače Lassen

Nová studie provedená Cerebras (CBRS ) ve spolupráci s Lawrence Livermore National Laboratory (LLNL) popisuje, jak byl systém Cerebras CS-1 integrovaný do superpočítače LLNL Lassen, aby umožnil pokrok v simulacích jaderné fúze.

LLNL je federální výzkumné zařízení v Livermore, Kalifornie, a je主要 financováno Ministerstvem energetiky USA, Národní správou jaderné bezpečnosti (NNSA). Podle LLNL je jeho cílem posílit bezpečnost USA rozvojem a aplikací světové třídy vědy, technologie a inženýrství.

Laboratoř obsahuje Národní zařízení pro zapálení (NIF), které provádí výzkum jaderné fúze s nejvýkonnějším laserem na světě. S tím said, některé z hlavních překážek zahrnují drahé a časově náročné experimenty s inertní koncentrací, takže laboratoř běží simulované experimenty s multi-fyzikální softwarovým balíčkem nazvaným HYDRA na superpočítači Lassen. HYDRA modely jsou validovány prostřednictvím reálných dat z NIF, což umožňuje modelům být přesnější při předpovídání výsledku reálných experimentů.

Část HYDRA modelů atomové kinetiky a radiace se nazývá CRETIN. Předpovídá, jak se bude chovat atom za určitých podmínek, a CRETIN může představovat desítky procent celkové výpočetní zátěže pro HYDRA.

Nahrazením CRETIN hlubokým neuronovým modelem (DNN), nebo CRETIN-náhradním modelem, mohou výzkumníci z LLNL snížit výpočetní intenzitu.

Systém Cerebras CS-1

Systém Cerebras CS-1 byl vybrán LLNL pro provedení jejich CRETIN-náhradního odvození. Systém byl integrovaný s superpočítačem Lassen a instalace trvala méně než 20 hodin. Technici Cerebras také nainstalovali “chladicí shell” a mechanické podpůrné kolejnice a hardware.

Softwaroví inženýři pro strojové učení pracovali s kolegy z LLNL na vytvoření C ++ API, které umožňuje kódu HYDRA volat model CRETIN-náhrady. Model se spoléhá na autoencoder pro kompresi vstupních dat do nižších dimenzionálních reprezentací, a tyto jsou pak zpracovány predikčním modelem postaveným s DJINN, což je nový hluboký neuronový algoritmus. Tento algoritmus automaticky vybírá vhodnou neuronovou síťovou architekturu pro daná data a nevyžaduje, aby uživatel ručně nastavil parametry.

Výsledky studie

Rané výsledky prokázaly, že kombinace systému Lassen se zrychlovačem Cerebras je extrémně efektivní. Připojením systému CS-1 do sítě InfiniBand Lassen bylo možné dosáhnout 1,2 terabitů za sekundu šířky pásma do systému CS-1.

Díky 19 GB operační paměti spojené s 400 000 jádry pro výpočet umělé inteligence mohl systém CS-1 běhat mnoho instancí relativně kompaktního modelu DNN paralelně. Díky kombinaci šířky pásma a výkonu mohl HYDRA provádět inference na 18 milionů vzorků za sekundu.

To vše znamená, že LLNL může nyní provádět experimenty, které byly dříve výpočetně neřešitelné se systémem Cerebras, a to pouze s jednoduchou integrací a zlomek nákladů.

Výzkum se nyní zaměří na řízení simulace a poskytování přehledu o simulaci, zatímco běží, což umožňuje výzkumníkům monitorovat a zastavit běh, pokud simulace nefunguje dobře. Výsledky každého běhu se pak stanou součástí trénovací sady modelu, takže může být neustále trénován. Může být vytvořen “aktivní učení” model, který by mohl optimalizovat budoucí běhy výběrem parametrů a počátečních hranicích pro další experiment.