Cerebras CS-1 -järjestelmä integroitu Lassen supertietokoneeseen

Uusi tapaustutkimus, jonka toteutti Cerebras yhteistyössä Lawrence Livermore National Laboratoryn (LLNL) kanssa, kuvaa, miten Cerebras CS-1 -järjestelmä integroitiin LLNL:n Lassen supertietokoneeseen ydin fuusioiden simulaatioiden edistämiseksi.

LLNL on liittovaltion tutkimuslaitos Livermoressa, Kaliforniassa, ja se on pääosin rahoitettu Yhdysvaltain energiaministeriön National Nuclear Security Administrationin (NNSA) toimesta. LLNL:n mukaan sen tehtävänä on vahvistaa Yhdysvaltain turvallisuutta kehittämällä ja soveltamalla maailmanluokan tieteen, teknologian ja insinööritieteiden osaamista.

Laboratoriossa sijaitsee National Ignition Facility (NIF), jossa tehdään ydin fuusioiden tutkimusta maailman tehokkaimmalla laserilla. Tämän vuoksi jotkut suurimmista haasteista ovat kalliit ja aikaa vievät inertialukuoitus kokeet, joten laboratorio suorittaa simuloituja kokeita monifysiikan ohjelmistopaketilla nimeltä HYDRA Lassen supertietokoneella. HYDRA-mallit vahvistetaan NIF:stä saatujen todellisten tietojen avulla, mikä mahdollistaa mallien tarkemman ennustamisen todellisten kokeiden tuloksista.

Osa HYDRA-malleista kuvaa atomien kineetiikkaa ja säteilyä, ja tätä osaa kutsutaan CRETIN:ksi. Se ennustaa, miten atomi käyttäytyy tietyissä olosuhteissa, ja CRETIN voi edustaa kymmeniä prosentteja HYDRA:n laskennallisesta kuormituksesta.

Korvaamalla CRETIN syvällä neuroverkkomallilla (DNN) tai CRETIN-vastinemallilla LLNL-tutkijat voivat vähentää laskennallista intensiteettiä.

Cerebras CS-1 -järjestelmä

Cerebras CS-1 -järjestelmä valittiin LLNL:än suorittamaan CRETIN-vastineen inferenceä. Järjestelmä integroitiin Lassen supertietokoneeseen, ja asennus kesti alle 20 tuntia. Cerebras-tekniikot asensivat myös “jäähdytyskuoren” ja mekaanisen tukiraidan ja laitteiston.

Konempiirros-ohjelmistosuunnittelijat työskentelivät LLNL-kollegoiden kanssa kirjoittaakseen C++-rajapinnan, joka mahdollistaa HYDRA-koodin kutsun CRETIN-vastinemallille. Malli perustuu autoenkooderiin, joka pakkaa syötetiedot alempidimensionaalisiksi edustuksiksi, ja nämä prosessoidaan ennustavalla mallilla, joka on rakennettu DJINN:llä, joka on uudenlainen syvä neuroverkkotekniikka. Tämä algoritmi valitsee automaattisesti sopivan neuroverkkorakenteen annetuille tiedoille, eikä se vaadi käyttäjältä manuaalista säätöä.

Tapaustutkimuksen tulokset

Varhaiset tulokset osoittivat, että Lassen järjestelmän ja Cerebras-kiihdyttimen yhdistelmä on erittäin tehokas. Liittämällä CS-1 -järjestelmän Lassen InfiniBand-verkkoon saavutettiin 1,2 terabitin sekuntivaihde CS-1 -järjestelmään.

19 GB SRAM-muistin ja 400 000 AI-laskentaytimen ansiosta CS-1 -järjestelmä pystyi suorittamaan useita kompakteja DNN-malleja rinnakkain. Kaistanleveyden ja hevosen voiman yhdistelmän ansiosta HYDRA pystyi suorittamaan inferencea 18 miljoonalla otoksella sekunnissa.

Kaikki tämä tarkoittaa, että LLNL voi nyt suorittaa kokeita, jotka olivat aiemmin laskennallisesti hankalia Cerebras-järjestelmän avulla, ja se vaatii vain yksinkertaisen integraation ja osan kustannuksista.

Tutkimus keskittyy nyt simulaation ohjaamiseen ja tarjoamiseen simulaatiosta tietoa siitä, miten simulaatio sujuu, mikä mahdollistaa tutkijoiden seurata ja pysäyttää simulaation, jos se ei suju hyvin. Kunkin suorituksen tulokset tulevat osaksi mallin koulutusjoukkoa, joten se voidaan jatkuvasti kouluttaa. Voidaan luoda “aktiivinen oppiminen” -malli, joka voi optimoida tulevia suorituksia valitsemalla parametreja ja alkutilan ehdot seuraavalle kokeelle.