Cerebras CS-1 -järjestelmä integroitu Lassen supertietokoneeseen

Uusi tapaustutkimus, jonka Cerebras (CBRS ) on suorittanut yhteistyössä Lawrence Livermore National Laboratoryn (LLNL) kanssa, kuvaa, miten Cerebras CS-1 -järjestelmä integroitiin LLNL:n Lassen-supertietokoneeseen edistääkseen ydin fuusioiden simulaatioiden kehitystä.

LLNL on liittovaltion tutkimuslaitos Livermoressa, Kaliforniassa, ja se on pääasiassa rahoitettu Yhdysvaltain energiaministeriön National Nuclear Security Administrationin (NNSA) toimesta. LLNL:n mukaan sen tehtävä on vahvistaa Yhdysvaltain turvallisuutta kehittämällä ja soveltamalla maailmanluokan tieteellistä, teknologista ja insinööritieteellistä osaamista.

Laboratoriossa sijaitsee National Ignition Facility (NIF), jossa tehdään ydin fuusioiden tutkimusta maailman voimakkaimmalla lasersäteellä. Joitakin suuria haasteita ovat kalliit ja aikaa vievät inertialukkoamiskokeet, joten laboratorio suorittaa simuloituja kokeita monifysiikkaisella ohjelmistopaketilla nimeltä HYDRA Lassen-supertietokoneella. HYDRA-mallit vahvistetaan NIF:stä saatavien todellisten tietojen avulla, mikä mahdollistaa mallien tarkemman ennusteen todellisten kokeiden tuloksista.

HYDRA-malleista osa mallintaa atomien kinetiikkaa ja säteilyä, ja tätä osaa kutsutaan CRETINiksi. Se ennustaa, miten atomi käyttäytyy tiettyjen olosuhteiden alaisena, ja CRETIN voi edustaa jopa kymmeniä prosentteja HYDRA:n kokonaislaskennan kuormituksesta.

Korvaamalla CRETIN syvällä neuroverkkomallilla (DNN) tai CRETIN-vastamallilla LLNL-tutkijat voivat vähentää laskennan intensiteettiä.

Cerebras CS-1 -järjestelmä

Cerebras CS-1 -järjestelmä valittiin LLNL:ään suorittamaan heidän CRETIN-vastamallin inferenceä. Järjestelmä integroitiin Lassen-supertietokoneeseen, ja asennus kesti alle 20 tuntia. Cerebras-teknikot asensivat myös “jäähdytyskuoren” ja mekaanisen tukiraidan sekä laitteiston.

Konempiirros-ohjelmistosuunnittelijat työskentelivät LLNL-kollegoiden kanssa kirjoittaakseen C++-rajapinnan, joka mahdollistaa HYDRA-koodin kutsun CRETIN-vastamallia. Malli perustuu autoenkooderiin, joka pakkaa syötedatan alempiin ulottuvuuksiin, ja nämä käsitellään DJINN:llä, joka on uudenlainen syvä neuroverkkotekniikka. Tämä algoritmi valitsee automaattisesti sopivan neuroverkkorakenteen annetuille tiedoille, eikä se vaadi käyttäjältä manuaalista säätöä.

Tapaustutkimuksen tulokset

Varhaiset tulokset osoittavat, että Lassen-järjestelmän ja Cerebras-kiihdyttimen yhdistelmä on erittäin tehokas. Liittämällä CS-1 -järjestelmän Lassenin InfiniBand-verkkoon saavutettiin 1,2 terabitin sekuntivaihde CS-1 -järjestelmään.

19 gigatavun SRAM-muisti yhdistettynä 400 000 konenpiirrosytimeen mahdollisti CS-1 -järjestelmän suorittaa useita DNN-mallin instansseja rinnakkain. Kaistanleveyden ja hevosen voiman yhdistelmä mahdollisti HYDRA:n suorittaa inferenceä 18 miljoonalla näytteellä sekunnissa.

Kaikki tämä tarkoittaa, että LLNL voi nyt suorittaa kokeita, jotka olivat aiemmin laskennallisesti hankalia Cerebras-järjestelmällä, ja se vaatii vain yksinkertaisen integraation ja murto-osan kustannuksista.

Tutkimus keskittyy nyt simulaation ohjaamiseen ja tarjoamiseen näkemyksiä simulaatiosta sen aikana, mikä mahdollistaa tutkijoiden seurata ja pysäyttää suorituksen, jos simulaatio ei toimi hyvin. Kunkin suorituksen tulokset tulevat osaksi mallin koulutusjoukkoa, jolloin se voidaan kouluttaa jatkuvasti. Voidaan luoda “aktiivinen oppimismalli”, joka voi optimoida tulevia suorituksia valitsemalla parametreja ja alkurajoitusehtoja seuraavalle kokeelle.