Cerebras CS-1 システムが Lassen スーパーコンピューターに統合される

Cerebras (CBRS ) とローレンス・リバモア国立研究所（LLNL）のパートナーシップにより実施された新しいケーススタディでは、Cerebras CS-1 システムが LLNL の Lassen スーパーコンピューターに統合されて、核融合シミュレーションの進歩を可能にした方法について説明しています。

LLNL はカリフォルニア州リバモアにある連邦政府の研究施設であり、主に米国エネルギー省の国立核安全保障局（NNSA）から資金提供されています。LLNL によると、その使命は、世界クラスの科学、技術、エンジニアリングを開発して適用することで米国の安全保障を強化することです。

研究所には、世界で最も強力なレーザーを使用した核融合研究を行っているナショナル・イグニッション・ファシリティ（NIF）があります。ただし、慣性収束実験は高価で時間がかかり、研究所は Lassen スーパーコンピューターで HYDRA というマルチ物理学ソフトウェア・パッケージを使用してシミュレートされた実験を実行しています。HYDRA モデルは、NIF からの実世界のデータで検証されており、実世界の実験の結果を予測するための精度を高めています。

HYDRA モデルの一部は原子運動と放射を扱い、CRETIN と呼ばれています。これは、特定の条件下での原子の挙動を予測し、HYDRA の全計算負荷の数十パーセントを占めることがあります。

LLNL の研究者は、CRETIN を深層ニューラルネットワーク・モデル（DNN）または CRETIN-サロゲートに置き換えることで、計算の強度を削減できます。

Cerebras CS-1 システム

LLNL は、CRETIN-サロゲートの推論を実行するために Cerebras CS-1 システムを選択しました。このシステムは Lassen スーパーコンピューターに統合され、設置には 20 時間未満しかかかりませんでした。Cerebras の技術者は、さらに「クーリング・シェル」と機械的サポート・レールおよびハードウェアを設置しました。

マシン・ラーニング・ソフトウェア・エンジニアは、HYDRA コードが CRETIN-サロゲート・モデルを呼び出すことができる C++ API を LLNL の同僚と共同で記述しました。このモデルは、入力データを低次元の表現に圧縮するためのオートエンコーダーに依存しています。これらの表現は、DJINN という新しい深層ニューラルネットワーク・アルゴリズムで構築された予測モデルで処理されます。このアルゴリズムは、ユーザーが手動で設定を調整する必要なく、与えられたデータに適したニューラルネットワーク・アーキテクチャを自動的に選択します。

ケーススタディの結果

初期の結果は、Lassen システムと Cerebras アクセラレータの組み合わせが非常に効率的であることを示しています。Lassen の InfiniBand ネットワークに CS-1 システムを接続することで、1.2 テラビット/秒の帯域幅が実現しました。

CS-1 システムには 19GB の SRAM メモリと 400,000 個の AI コンピュート・コアがあり、比較的小さな DNN モデルの多くのインスタンスを並列に実行することができました。帯域幅と馬力の組み合わせにより、HYDRA は 1 秒あたり 180 万サンプルの推論を実行することができました。

これは、LLNL が Cerebras システムを使用して、以前は計算上実行不可能だった実験を実行できることを意味します。これには、シンプルな統合とコストの小さな部分だけが必要です。

今後の研究は、シミュレーションをステアリングし、シミュレーション中に洞察を提供することに重点を置く予定です。これにより、研究者はシミュレーションがうまくいかない場合に実行を監視して停止することができます。各実行の結果は、モデルを継続的にトレーニングするためのトレーニング・セットの一部になります。「アクティブ・ラーニング」モデルを作成することができ、次の実験のパラメータと初期境界条件を選択することで、将来の実行を最適化することができます。