Cerebras CS-1 System Integret i Lassen Supercomputer

En ny sakstudie utført av Cerebras i samarbeid med Lawrence Livermore National Laboratory (LLNL) detaljerer hvordan Cerebras CS-1-systemet ble integrert i LLNLs Lassen-supercomputer for å muliggjøre fremgang i simuleringsforsøk på kjernefysisk fusjon. 

LLNL er et føderalt forskningsanlegg i Livermore, California, og det er hovedsakelig finansiert av USAs energidepartements nasjonale sikkerhetsadministrasjon (NNSA). Ifølge LLNL er deres oppdrag å styrke USAs sikkerhet ved å utvikle og anvende verdensledende vitenskap, teknologi og ingeniørkunst. 

Laboratoriet inneholder National Ignition Facility (NIF), som utfører kjernefysisk fusjonsforskning med verdens kraftigste laser. Med det sagt, inkluderer noen av de største hindrene dyre og tidskrevende inertielle innkapslingsforsøk, så laboratoriet kjører simuleringsforsøk med en multi-fysikk programvarepakke kalt HYDRA på Lassen-supercomputeren. HYDRA-modellene valideres gjennom virkelige data fra NIF, noe som gjør at modellene kan bli mer nøyaktige i å forutsi utfallet av virkelige eksperimenter. 

En del av HYDRA-modellene atomkinetikk og stråling, og denne delen kalles CRETIN. Den forutsier hvordan et atom vil oppføre seg under bestemte forhold, og CRETIN kan representere titall prosent av total beregningsbelastning for HYDRA.

Ved å erstatte CRETIN med en dypt neuralt nettverksmodell (DNN), eller CRETIN-erstatningen, kan LLNL-forskerne redusere beregningsintensiteten. 

Cerebras CS-1 System

Cerebras CS-1-systemet ble valgt av LLNL for å utføre deres CRETIN-erstatningsinferens. Systemet ble integrert med Lassen-supercomputeren, og installasjonen tok mindre enn 20 timer. Cerebras-teknikere installerte også en “avkjølingskappe” og mekaniske støtter og hårdvarer. 

Maskinlæringsprogramvareingeniører arbeidet med LLNL-kollegaer for å skrive en C++-API som tillater HYDRA-koden å kalle CRETIN-erstatningsmodellen. Modellen er avhengig av en autoencoder for å komprimere inndata til lavere dimensjoner, og disse blir deretter prosessert av en prediktiv modell bygget med DJINN, som er en ny dypt neuralt nettverksalgoritme. Denne algoritmen velger automatisk en passende neuralt nettverksarkitektur for de gitt data, og den krever ikke at en bruker manuelt justerer innstillinger.

Resultatene av sakstudien

De tidlige resultater viste at kombinasjonen av Lassen-systemet med Cerebras-akseleratoren er ekstremt effektiv. Ved å plugge CS-1-systemet inn i Lassens InfiniBand-nettverk, kunne en oppnå 1,2 terabit per sekund båndbredde til CS-1-systemet.

På grunn av sine 19 GB SRAM-minne koblet til 400 000 AI-beregningskerner, kunne CS-1-systemet kjøre mange eksemplarer av den relativt kompakte DNN-modellen parallelt. Gjennom kombinasjonen av båndbredde og hestekrefter, kunne HYDRA utføre inferens på 18 millioner eksemplarer per sekund. 

Dette betyr at LLNL nå kan kjøre eksperimenter som tidligere var beregningsmessig utilgjengelige med Cerebras-systemet, og det innebærer bare enkel integrasjon og en brøkdel av kostnadene. 

Forskningen vil nå fokusere på å styre simuleringsløpet og gi innsikt i simuleringsløpet mens det kjøres, noe som gjør det mulig for forskerne å overvåke og stoppe løpet hvis simuleringsløpet ikke fungerer godt. Hvert løps resultater blir deretter en del av modellens treningssett, så den kan kontinuerlig trenes. En “aktiv læring”-modell kan skapes, og den kan optimalisere fremtidige løp ved å velge parameterne og den innledende grensebetingelsen for neste eksperiment.