Cerebras CS-1 System in den Lassen-Supercomputer integriert

Eine neue Fallstudie, die von Cerebras in Partnerschaft mit Lawrence Livermore National Laboratory (LLNL) durchgeführt wurde, beschreibt, wie das Cerebras CS-1-System in den Lassen-Supercomputer von LLNL integriert wurde, um Fortschritte bei der Simulation von Kernfusionen zu ermöglichen.

LLNL ist eine bundesstaatliche Forschungseinrichtung in Livermore, Kalifornien, und wird hauptsächlich von der National Nuclear Security Administration (NNSA) des US-Energieministeriums finanziert. Laut LLNL besteht ihre Mission darin, die Sicherheit der USA durch die Entwicklung und Anwendung von Weltklasse-Wissenschaft, Technologie und Ingenieurwesen zu stärken.

Das Labor beherbergt die National Ignition Facility (NIF), die Forschungen zur Kernfusion mit dem leistungsstärksten Laser der Welt durchführt. Allerdings gibt es einige große Hürden, wie teure und zeitaufwändige Experimente zur inertialen Einschließung, so dass das Labor simulierte Experimente mit einem Softwarepaket für Mehrphysik namens HYDRA auf dem Lassen-Supercomputer durchführt. HYDRA-Modelle werden durch reale Daten von der NIF validiert, was es den Modellen ermöglicht, genauer vorherzusagen, wie reale Experimente verlaufen.

Ein Teil der HYDRA-Modelle behandelt Atomkinetik und Strahlung und wird CRETIN genannt. Es sagt voraus, wie sich ein Atom unter bestimmten Bedingungen verhält, und CRETIN kann bis zu zehn Prozent der gesamten Rechenlast für HYDRA ausmachen.

Indem CRETIN durch ein tiefes neuronales Netzwerk-Modell (DNN) oder das CRETIN-Surrogat ersetzt wird, können die Forscher von LLNL die Rechenintensität reduzieren.

Cerebras CS-1 System

Das Cerebras CS-1-System wurde von LLNL ausgewählt, um die CRETIN-Surrogat-Schätzung durchzuführen. Das System wurde in den Lassen-Supercomputer integriert und die Installation dauerte weniger als 20 Stunden. Cerebras-Techniker installierten auch eine “Kühlschale” und die mechanischen Träger und Hardware.

Software-Ingenieure für maschinelles Lernen arbeiteten mit Kollegen von LLNL zusammen, um eine C++-API zu schreiben, die es dem HYDRA-Code ermöglicht, das CRETIN-Surrogat-Modell aufzurufen. Das Modell verwendet einen Autoencoder, um die Eingabedaten in niedrigdimensionale Darstellungen zu komprimieren, und diese werden dann von einem Vorhersagemodell verarbeitet, das mit DJINN erstellt wurde, einem neuen Algorithmus für tiefes neuronales Netzwerk. Dieser Algorithmus wählt automatisch eine geeignete neuronale Netzwerkarchitektur für die gegebenen Daten aus und erfordert keine manuelle Einstellung durch den Benutzer.

Ergebnisse der Fallstudie

Die ersten Ergebnisse zeigten, dass die Kombination des Lassen-Systems mit dem Cerebras-Beschleuniger extrem effizient ist. Durch das Einstecken des CS-1-Systems in das InfiniBand-Netzwerk von Lassen konnte eine Bandbreite von 1,2 Terabit pro Sekunde zum CS-1-System erreicht werden.

Aufgrund seiner 19 GB SRAM-Speicher, die an 400.000 AI-Rechenkerne gekoppelt sind, konnte das CS-1-System viele Instanzen des relativ kompakten DNN-Modells parallel ausführen. Durch die Kombination von Bandbreite und Rechenleistung konnte HYDRA jede Sekunde 18 Millionen Samples schätzen.

All dies bedeutet, dass LLNL jetzt Experimente durchführen kann, die zuvor rechnerisch nicht durchführbar waren, und dies nur durch einfache Integration und zu einem Bruchteil der Kosten.

Die Forschung wird sich nun auf die Steuerung der Simulation und die Bereitstellung von Erkenntnissen über die Simulation während ihrer Ausführung konzentrieren, was es den Forschern ermöglicht, die Ausführung zu überwachen und anzuhalten, wenn die Simulation nicht gut funktioniert. Die Ergebnisse jeder Ausführung werden dann Teil des Trainingsdatensatzes des Modells, so dass es kontinuierlich trainiert werden kann. Ein “aktives Lernen”-Modell kann erstellt werden, und es könnte zukünftige Ausführungen optimieren, indem es die Parameter und die anfänglichen Randbedingungen für das nächste Experiment auswählt.