Cerebras CS-1 System Integrert I Lassen Supercomputer

En ny casestudie utført av Cerebras (CBRS ) i samarbeid med Lawrence Livermore National Laboratory (LLNL) detaljerer hvordan Cerebras CS-1 systemet ble integrert i LLNLs Lassen-supercomputer for å muliggjøre fremgang i simuleringer av nuclear fusjon.

LLNL er et føderalt forskningsanlegg i Livermore, California, og det er hovedsakelig finansiert av USAs energidepartements nasjonale sikkerhetsadministrasjon (NNSA). Ifølge LLNL er deres misjon å styrke USAs sikkerhet ved å utvikle og anvende verdensklasse vitenskap, teknologi og ingeniørkunst.

Laboratoriet inneholder National Ignition Facility (NIF), som utfører forskning på nuclear fusjon med verdens kraftigste laser. Med det sagt, er noen av de største hindrene dyre og tidskrevende inertial innkapslings-eksperimenter, så laboratoriet kjører simulerings-eksperimenter med et multi-fysikk programvare-pakke kalt HYDRA på Lassen-supercomputeren. HYDRA-modellene valideres gjennom virkelige data fra NIF, noe som gjør modellene mer nøyaktige i å forutsi utfallet av virkelige eksperimenter.

En del av HYDRA-modellene atomkinetikk og stråling, og denne delen kalles CRETIN. Den forutsier hvordan et atom vil oppføre seg under bestemte betingelser, og CRETIN kan representere titall prosent av total beregningsbelastning for HYDRA.

Ved å erstatte CRETIN med en dypt neuralt nettverksmodell (DNN), eller CRETIN-erstatningen, kan LLNL-forskerne redusere beregningsintensiteten.

Cerebras CS-1 System

Cerebras CS-1 systemet ble valgt av LLNL for å utføre deres CRETIN-erstatningsinferens. Systemet ble integrert med Lassen-supercomputeren, og installasjonen tok mindre enn 20 timer. Cerebras-teknikere installerte også en “avkjølings-skall” og mekanisk støtte-rail og hårdvarer.

Maskinlæringsprogramvare-ingeniører arbeidet med LLNL-kollegaer for å skrive en C++-API som tillater HYDRA-koden å kalle CRETIN-erstatningsmodellen. Modellen er avhengig av en autoencoder for å komprimere inndata til lavere dimensjoner, og disse blir deretter prosessert av en prediktiv modell bygget med DJINN, som er en ny dypt neuralt nettverksalgoritme. Denne algoritmen velger automatisk en passende neuralt nettverksarkitektur for de gitt data, og den krever ikke at brukeren manuelt justerer innstillinger.

Resultater Av Casestudien

De tidlige resultater viste at kombinasjonen av Lassen-systemet med Cerebras-akseleratoren er ekstremt effektiv. Ved å plugge CS-1 systemet inn i Lassens InfiniBand-nettverk, kunne 1,2 terabits per sekund-båndbredde til CS-1 systemet oppnås.

På grunn av sine 19 GB SRAM-minne koblet til 400 000 AI-beregningkjerne, kunne CS-1 systemet kjøre mange instanser av den relativt kompakte DNN-modellen i parallell. Gjennom kombinasjonen av båndbredde og hestekrefter, kunne HYDRA utføre inferens på 18 millioner prøver per sekund.

Dette betyr at LLNL nå kan kjøre eksperimenter som tidligere var beregningsmessig umulige med Cerebras-systemet, og det involverer bare enkel integrasjon og en brøkdel av kostnaden.

Forskningen vil nå fokusere på å styre simulerings-eksperimenter og gi innsikt i simulerings-eksperimenter mens de kjøres, noe som gjør det mulig for forskerne å overvåke og stoppe kjøringen hvis simulerings-eksperimenter ikke fungerer godt. Hver kjørings resultater blir deretter en del av modellens treningssett, så den kan kontinuerlig trenes. En “aktiv læring”-modell kan skapes, og den kan optimalisere fremtidige kjøringer ved å velge parametre og initial grensebetingelser for neste eksperiment.