Cerebras CS-1 System Integrerad I Lassen Superdator

En ny fallstudie som utförts av Cerebras (CBRS ) i samarbete med Lawrence Livermore National Laboratory (LLNL) beskriver hur Cerebras CS-1 system integrerades i LLNL:s Lassen-superdator för att möjliggöra framsteg inom simuleringar av kärnfusion.

LLNL är en federal forskningsanläggning i Livermore, Kalifornien, och den finansieras främst av USA:s energidepartements nationella kärnsäkerhetsadministration (NNSA). Enligt LLNL är deras uppdrag att stärka USA:s säkerhet genom att utveckla och tillämpa världsklassens vetenskap, teknik och ingenjörskonst.

Laboratoriet innehåller National Ignition Facility (NIF), som utför kärnfusionsforskning med världens kraftfullaste laser. Med det sagt är några av de stora utmaningarna dyra och tidskrävande inertiala inneslutningsexperiment, så laboratoriet kör simulerade experiment med en multi-fysikprogramvara som kallas HYDRA på Lassen-superdatorn. HYDRA-modellerna valideras genom verkliga data från NIF, vilket möjliggör att modellerna blir mer exakta i förutsägelserna av verkliga experiment.

En del av HYDRA-modellerna atomkinetik och strålning, och denna del kallas CRETIN. Den förutsäger hur en atom kommer att bete sig under vissa förhållanden, och CRETIN kan representera tiotals procent av den totala beräkningsbelastningen för HYDRA.

Genom att ersätta CRETIN med en djup neural nätverksmodell (DNN) eller CRETIN-surrogatet kan LLNL-forskarna minska den beräkningsmässiga intensiteten.

Cerebras CS-1 System

Cerebras CS-1 system valdes av LLNL för att utföra deras CRETIN-surrogatinferens. Systemet integrerades med Lassen-superdatorn, och installationen tog mindre än 20 timmar. Cerebras-tekniker installerade också en “kylningshölje” och de mekaniska stödrail och hårdvaran.

Maskinlärningsprogramvarutekniker arbetade med LLNL-kollegor för att skriva en C++-API som tillåter HYDRA-kod att anropa CRETIN-surrogatmodellen. Modellen förlitar sig på en autoencoder för att komprimera indata till lägre dimensionella representationer, och dessa bearbetas sedan av en prediktiv modell som byggts med DJINN, som är en ny djup neural nätverksalgoritm. Denna algoritm väljer automatiskt en lämplig neural nätverksarkitektur för de givna data, och den kräver inte att användaren manuellt justerar inställningar.

Resultat av Fallstudien

De tidiga resultaten visade att kombinationen av Lassen-systemet med Cerebras-acceleratorn är extremt effektiv. Genom att ansluta CS-1 systemet till Lassens InfiniBand-nätverk kunde 1,2 terabit per sekund bandbredd till CS-1 systemet uppnås.

På grund av dess 19 GB SRAM-minne kopplat till 400 000 AI-beräkningskärnor kunde CS-1 systemet köra många instanser av den relativt kompakta DNN-modellen parallellt. Genom kombinationen av bandbredd och hästkraft kunde HYDRA utföra inferens på 18 miljoner prover per sekund.

Allt detta innebär att LLNL nu kan köra experiment som tidigare var beräkningsmässigt omöjliga med Cerebras-systemet, och det kräver bara enkel integration och en bråkdel av kostnaden.

Forskningen kommer nu att fokusera på att styra simuleringen och ge insikt i simuleringen medan den körs, vilket möjliggör för forskare att övervaka och stoppa körningen om simuleringen inte fungerar bra. Varje körnings resultat blir sedan en del av modellens träningsuppsättning, så att den kan tränas kontinuerligt. En “aktiv inlärningsmodell” kan skapas, och den kan optimera framtida körningar genom att välja parametrar och initial gränsförhållanden för nästa experiment.