Cerebras CS-1 System Integreret I Lassen Supercomputer

En ny caseside, der er udarbejdet af Cerebras (CBRS ) i samarbejde med Lawrence Livermore National Laboratory (LLNL), beskriver, hvordan Cerebras CS-1 systemet blev integreret i LLNL’s Lassen supercomputer for at muliggøre fremskridt i simulations af kernefusion.

LLNL er et føderalt forskningsanlæg i Livermore, Californien, og det er primært finansieret af USAs energidepartments nationale kerne sikkerheds administration (NNSA). Ifølge LLNL er dets mission at styrke USAs sikkerhed ved at udvikle og anvende verdensklasse videnskab, teknologi og ingeniørvidenskab.

Laboratoriet indeholder National Ignition Facility (NIF), som udfører kernefusionsforskning med verdens kraftigste laser. Med det sagt er nogle af de største udfordringer dyre og tidskrævende inertial indespærings eksperimenter, så laboratoriet kører simulerede eksperimenter med et multi-fysik software pakke kaldet HYDRA på Lassen supercomputeren. HYDRA modellerne valideres gennem virkelige data fra NIF, hvilket muliggør, at modellerne er mere nøjagtige i forudsigelsen af resultaterne af virkelige eksperimenter.

En del af HYDRA modellerne atomkinetik og stråling, og denne del kaldes CRETIN. Den forudser, hvordan et atom vil opføre sig under bestemte betingelser, og CRETIN kan repræsentere titusinder af procent af den totale beregningsbelastning for HYDRA.

Ved at erstatte CRETIN med en dyb neural netværksmodel (DNN) eller CRETIN-erstatningen, kan LLNL forskerne reducere beregningsintensiteten.

Cerebras CS-1 System

Cerebras CS-1 systemet blev valgt af LLNL til at udføre deres CRETIN-erstatningsinferens. Systemet blev integreret med Lassen supercomputeren, og installationen tog mindre end 20 timer. Cerebras teknikerne installerede også en “kølingsskål” og de mekaniske støttejern og hardware.

Maskinlæringssoftware ingeniører arbejdede med LLNL kollegaer for at skrive en C ++ API, der tillader HYDRA kode at kalde CRETIN-erstatningsmodellen. Modellen afhænger af en autoencoder til at komprimere inputdataene til lavere dimensionale repræsentationer, og disse behandles derefter af en prædictiv model bygget med DJINN, som er en ny deep neural netværksalgoritme. Denne algoritme vælger automatisk en passende neural netværksarkitektur for de givne data, og den kræver ikke, at brugeren manuelt justerer indstillingerne.

Resultaterne Af Casesiden

De tidlige resultater viste, at kombinationen af Lassen systemet med Cerebras accelerator er ekstremt effektiv. Ved at plugge CS-1 systemet ind i Lassens InfiniBand netværk, kunne 1,2 terabit per sekund båndbredde opnås til CS-1 systemet.

På grund af dets 19 GB SRAM hukommelse koblet til 400.000 AI beregningskerner, kunne CS-1 systemet køre mange eksemplarer af den relativt kompakte DNN model i parallel. Gennem kombinationen af båndbredde og hestekræfter, kunne HYDRA udføre inferens på 18 millioner prøver per sekund.

Alt dette betyder, at LLNL nu kan køre eksperimenter, som tidligere var beregningsmæssigt uoverkommelige med Cerebras systemet, og det kræver kun enkel integration og en brøkdel af omkostningerne.

Forskningen vil nu fokusere på at styre simulationen og give indsigt i simulationen, mens den kører, hvilket muliggør, at forskerne kan overvåge og stoppe kørslen, hvis simulationen ikke fungerer godt. Hver kørsels resultater bliver derefter en del af modellens træningsmængde, så den kan blive kontinuerligt trænet. En “aktiv læring” model kan oprettes, og den kan optimere fremtidige kørsler ved at vælge parametrene og den første grænsebetingelse for det næste eksperiment.