Sistem Cerebras CS-1 Terintegrasi ke Superkomputer Lassen

Sebuah studi kasus baru yang dilakukan oleh Cerebras dalam kemitraan dengan Laboratorium Nasional Lawrence Livermore (LLNL) menjelaskan bagaimana sistem Cerebras CS-1 terintegrasi ke superkomputer Lassen LLNL untuk memungkinkan kemajuan dalam simulasi fusi nuklir. 

LLNL adalah fasilitas penelitian federal di Livermore, California, dan sebagian besar didanai oleh Administrasi Keamanan Nuklir Nasional Departemen Energi AS (NNSA). Menurut LLNL, misinya adalah untuk memperkuat keamanan AS dengan mengembangkan dan menerapkan ilmu pengetahuan, teknologi, dan teknik kelas dunia. 

Laboratorium ini berisi Fasilitas Ignisi Nasional (NIF), yang melakukan penelitian fusi nuklir dengan laser paling kuat di dunia. Dengan demikian, beberapa hambatan utama termasuk eksperimen penahanan inersia yang mahal dan memakan waktu, sehingga laboratorium menjalankan eksperimen simulasi dengan paket perangkat lunak multi-fisika yang disebut HYDRA di superkomputer Lassen. Model HYDRA divalidasi melalui data dunia nyata dari NIF, yang memungkinkan model menjadi lebih akurat dalam memprediksi hasil eksperimen dunia nyata. 

Bagian dari model HYDRA adalah kinetika atom dan radiasi, dan bagian ini disebut CRETIN. Ini memprediksi bagaimana atom akan berperilaku di bawah kondisi tertentu, dan CRETIN dapat mewakili puluhan persen dari beban komputasi total untuk HYDRA.

Dengan menggantikan CRETIN dengan model jaringan saraf dalam (DNN), atau CRETIN-surrogate, peneliti LLNL dapat mengurangi intensitas komputasi. 

Sistem Cerebras CS-1

Sistem Cerebras CS-1 dipilih oleh LLNL untuk melakukan inferensi CRETIN-surrogate. Sistem ini terintegrasi dengan superkomputer Lassen, dan pemasangan memakan waktu kurang dari 20 jam. Teknisi Cerebras juga memasang “cangkang pendingin” dan rel dan perangkat keras pendukung mekanis. 

Insinyur perangkat lunak pembelajaran mesin bekerja dengan rekan LLNL untuk menulis API C++ yang memungkinkan kode HYDRA untuk memanggil model CRETIN-surrogate. Model ini mengandalkan autoencoder untuk mengompresi data input menjadi representasi dimensi yang lebih rendah, dan ini kemudian diproses oleh model prediktif yang dibangun dengan DJINN, yang merupakan algoritma jaringan saraf dalam novel. Algoritma ini secara otomatis memilih arsitektur jaringan saraf yang sesuai untuk data yang diberikan, dan tidak memerlukan pengguna untuk menyetel pengaturan secara manual.

Hasil Studi Kasus

Hasil awal menunjukkan bahwa kombinasi sistem Lassen dengan akselerator Cerebras sangat efisien. Dengan memasang sistem CS-1 ke jaringan InfiniBand Lassen, bandwidth 1,2 terabit-per-detik ke sistem CS-1 dapat dicapai.

Karena 19GB memori SRAM yang dipasangkan dengan 400.000 inti komputasi AI, sistem CS-1 dapat menjalankan banyak instance model DNN yang relatif kompak secara paralel. Melalui kombinasi bandwidth dan kuda-kuda, HYDRA dapat melakukan inferensi pada 18 juta sampel setiap detik. 

Semua ini berarti bahwa LLNL sekarang dapat menjalankan eksperimen yang sebelumnya tidak dapat dijangkau secara komputasi dengan sistem Cerebras, dan hanya melibatkan integrasi sederhana dan sebagian kecil dari biaya. 

Penelitian sekarang akan fokus pada mengarahkan simulasi dan memberikan wawasan ke dalam simulasi saat berjalan, yang memungkinkan peneliti untuk memantau dan menghentikan jalannya jika simulasi tidak berjalan dengan baik. Hasil setiap jalannya kemudian menjadi bagian dari set pelatihan model, sehingga dapat terus dilatih. Sebuah model “pembelajaran aktif” dapat dibuat, dan dapat mengoptimalkan jalanan masa depan dengan memilih parameter dan kondisi batas awal untuk eksperimen berikutnya.