Cerebras CS-1 システムが Lassen スーパーコンピューターに統合される

Cerebras と Lawrence Livermore National Laboratory（LLNL）が共同で実施した新しいケーススタディでは、Cerebras CS-1 システムが LLNL の Lassen スーパーコンピューターに統合されて、核融合シミュレーションの進歩が可能になったことを明らかにしている。

LLNL は、カリフォルニア州リバモアにある連邦政府の研究施設であり、主に米国エネルギー省の国立核安全保障局（NNSA）から資金提供を受けている。LLNL によると、その使命は、世界クラスの科学、技術、エンジニアリングを開発して適用することで米国の安全保障を強化することである。

研究所には、世界で最も強力なレーザーを使用した核融合研究を実施する National Ignition Facility（NIF）がある。ただし、主な障害として、高価で時間のかかる慣性収束実験があるため、研究所は Lassen スーパーコンピューターで HYDRA というマルチ物理学ソフトウェアパッケージを使用してシミュレート実験を実行している。HYDRA モデルは、NIF からの実世界のデータで検証されており、これによりモデルは実世界の実験の結果を予測する際により正確になる。

HYDRA モデルの一部は、原子力学と放射を扱っており、これを CRETIN と呼ぶ。CRETIN では、原子が特定の条件下でどのように振舞うかを予測し、CRETIN は HYDRA の全計算負荷の数十パーセントを占めることがある。

LLNL の研究者は、CRETIN を深層ニューラルネットワークモデル（DNN）または CRETIN 代理モデルに置き換えることで、計算の強度を削減できる。

Cerebras CS-1 システム

Cerebras CS-1 システムは、LLNL によって CRETIN 代理の推論を実行するために選択された。システムは Lassen スーパーコンピューターに統合され、インストールには 20 時間未満しかかからなかった。Cerebras のテクニシャンは、さらに「クーリング シェル」と機械的サポート レールとハードウェアをインストールした。

マシンラーニング ソフトウェア エンジニアは、HYDRA コードが CRETIN 代理モデルを呼び出すことを可能にする C++ API を LLNL の同僚と共同で作成した。モデルでは、入力データを低次元の表現に圧縮するためのオートエンコーダーに依存しており、これらは DJINN という新しい深層ニューラルネットワーク アルゴリズムで構築された予測モデルで処理される。 このアルゴリズムでは、与えられたデータに適したニューラル ネットワーク アーキテクチャを自動的に選択し、ユーザーが手動で設定を調整する必要はない。

ケーススタディの結果

初期の結果は、Lassen システムと Cerebras アクセラレータの組み合わせが非常に効率的であることを示した。Lassen の InfiniBand ネットワークに CS-1 システムを接続することで、1.2 テラビット/秒の帯域幅が実現できた。

CS-1 システムには 19GB の SRAM メモリと 400,000 の AI コンピュート コアが搭載されており、比較的小さい DNN モデルの多くのインスタンスを並列に実行できる。帯域幅と馬力の組み合わせにより、HYDRA は 1 秒あたり 180 万サンプルの推論を実行できる。

これは、LLNL が Cerebras システムを使用して、以前は計算上不可能だった実験を実行できることを意味し、シンプルな統合とコストの小さな部分のみで実現できる。

今後の研究は、シミュレーションの進行中にシミュレーションを制御し、洞察を提供することに焦点を当てる。研究者は、シミュレーションがうまくいかない場合は実行を監視して停止できる。これにより、各実行の結果がモデル培训セットの一部となり、継続的にトレーニングできる。さらに、「アクティブ ラーニング」モデルを作成して、将来の実行を最適化し、次の実験のパラメータと初期境界条件を選択できる。