Cerebras CS-1 Systeem Geïntegreerd in Lassen Supercomputer

Een nieuwe case study die is uitgevoerd door Cerebras (CBRS ) in samenwerking met Lawrence Livermore National Laboratory (LLNL) beschrijft hoe het Cerebras CS-1 systeem is geïntegreerd in de Lassen supercomputer van LLNL om vooruitgang te boeken in nucleaire fusiesimulaties.

LLNL is een federaal onderzoekscentrum in Livermore, Californië, en wordt voornamelijk gefinancierd door de National Nuclear Security Administration (NNSA) van het Amerikaanse ministerie van Energie. Volgens LLNL is de missie van het laboratorium de veiligheid van de Verenigde Staten te versterken door wereldklasse wetenschap, technologie en techniek te ontwikkelen en toe te passen.

Het laboratorium bevat de National Ignition Facility (NIF), die onderzoek naar nucleaire fusie uitvoert met de krachtigste laser ter wereld. Met dat gezegd hebbende, zijn enkele van de belangrijkste hindernissen dure en tijdrovende inertie-confinement-experimenten, dus het laboratorium voert gesimuleerde experimenten uit met een multi-fysica softwarepakket genaamd HYDRA op de Lassen supercomputer. HYDRA-modellen worden geverifieerd door middel van echte gegevens van NIF, waardoor de modellen meer accurate voorspellingen kunnen doen over de uitkomst van echte experimenten.

Onderdeel van HYDRA-modellen atoomkinetica en straling, en dit onderdeel heet CRETIN. Het voorspelt hoe een atoom zich zal gedragen onder bepaalde omstandigheden, en CRETIN kan tot tien procent van de totale berekeningsintensiteit voor HYDRA vertegenwoordigen.

Door CRETIN te vervangen door een diep neuronaal netwerkmodel (DNN), of de CRETIN-surrogaat, kunnen de onderzoekers van LLNL de berekeningsintensiteit verminderen.

Cerebras CS-1 Systeem

Het Cerebras CS-1 systeem is door LLNL gekozen om hun CRETIN-surrogaat-inferentie uit te voeren. Het systeem is geïntegreerd met de Lassen supercomputer, en de installatie duurde minder dan 20 uur. Cerebras-technici hebben ook een “koelhuls” en de mechanische ondersteuningsrails en hardware geïnstalleerd.

Machine learning software-ingenieurs werkten samen met LLNL-collega’s om een C++ API te schrijven die HYDRA-code in staat stelt om het CRETIN-surrogaatmodel aan te roepen. Het model vertrouwt op een auto-encoder om de invoergegevens te comprimeren tot lagere dimensionale voorstellingen, en deze worden vervolgens verwerkt door een voorspellend model dat is gebouwd met DJINN, een novum diep neuronaal netwerk algoritme. Dit algoritme kiest automatisch een geschikte neurale netwerkarchitectuur voor de gegeven gegevens, en het vereist geen handmatige afstemming van instellingen.

Resultaten van de Case Study

De vroege resultaten laten zien dat de combinatie van het Lassen-systeem met de Cerebras-accelerator extreem efficiënt is. Door het CS-1 systeem aan te sluiten op het InfiniBand-netwerk van Lassen, kon een bandbreedte van 1,2 terabit per seconde naar het CS-1 systeem worden bereikt.

Vanwege de 19 GB SRAM-geheugen die is gekoppeld aan 400.000 AI-rekenkernen, kon het CS-1 systeem veel instanties van het relatief compacte DNN-model in parallel uitvoeren. Door de combinatie van bandbreedte en rekenkracht kon HYDRA inferentie uitvoeren op 18 miljoen monsters per seconde.

Dit betekent allemaal dat LLNL nu experimenten kan uitvoeren die eerder computationeel onuitvoerbaar waren met het Cerebras-systeem, en dit vereist alleen eenvoudige integratie en een fractie van de kosten.

Het onderzoek zal zich nu richten op het sturen van de simulatie en het bieden van inzicht in de simulatie tijdens de uitvoering, waardoor onderzoekers de uitvoering kunnen controleren en stoppen als de simulatie niet goed werkt. De resultaten van elke uitvoering worden vervolgens onderdeel van de trainingsset van het model, zodat het model continu getraind kan worden. Een “actief leren”-model kan worden gemaakt, en dit kan toekomstige uitvoeringen optimaliseren door de parameters en de initiële grenscondities voor het volgende experiment te kiezen.