セレブラス・システムズの共同創設者兼CEO、アンドリュー・フェルドマン – インタビュー・シリーズ

アンドリューは、セレブラス・システムズの共同創設者兼CEOです。彼は、コンピューティングの分野で境界を押し広げることに尽力している起業家です。セレブラス・システムズ以前は、SeaMicroの共同創設者兼CEOでした。SeaMicroは、エネルギー効率の高い高帯域幅マイクロサーバーの先駆けでした。SeaMicroは、2012年にAMDに3.57億ドルで買収されました。SeaMicro以前は、Force10 Networksで製品管理、営業、ビジネス開発の副社長でした。Force10 Networksは、後にDell Computingに8億ドルで売却されました。Force10 Networks以前は、RiverStone Networksでマーケティングおよび企業開発の副社長でした。RiverStone Networksは、2001年にIPOしました。アンドリューは、スタンフォード大学でBAとMBAを取得しています。

セレブラス・システムズは、AIを加速し、AIの未来を変えることを目的とした新しいコンピューターシステムを構築しています。

セレブラス・システムズの創設の背景を教えてください。

私の共同創設者と私は、以前のスタートアップで一緒に働いていました。私のCTOのゲイリーと私は、2007年にSeaMicroを共同創設しました。私の共同創設者は、業界を牽引するコンピューターアーキテクトとエンジニアです。2015年に再び集まって、2つのことをホワイトボードに書きました。1つは一緒に働きたいということ、もう1つは業界を変えるものを作りたいということです。コンピューターミュージアムに認められたことを光栄に思います。WSE-2プロセッサは、人工知能の風景を変えたと認められています。

セレブラス・システムズは、先駆的なコンピューターアーキテクト、コンピューターサイエンティスト、ディープラーニング研究者、エンジニアで構成されています。私たちの使命は、ディープラーニングを加速するための新しいコンピュータを構築することでした。

ディープラーニングには、ユニークで巨大で増加する計算要件があります。レガシーマシンであるGPUは、ディープラーニングに最適化されていません。したがって、AIは、アイデアやアプリケーションによって制限されるのではなく、コンピューティングの可用性によって制限されます。新しい仮説をテストするには、数日、数週間、または数ヶ月かかり、数十万ドルかかることがあります。これは、イノベーションの大きな障害です。

セレブラスの創設は、ディープラーニング専用の新しいコンピュータを構築することでした。巨大な計算要件を満たすために、世界最大のチップであるWafer-Scale Engine (WSE)を設計、製造しました。WSEのすべての要素は、前例のないスピードとスケールでディープラーニング研究を可能にするように設計されています。業界最速のAIスーパーコンピュータであるCerebras CS-2を動かしています。

CS-2は、すべてのコンポーネントがAIワークに最適化されています。CS-2は、他のシステムよりも小さなスペースと低い電力で、より高いコンピューティング性能を提供します。プログラミングの複雑さ、ウォールクロックコンピューティング時間、解決時間を大幅に削減します。CS-2は、数百または数千のGPUと同等のディープラーニングコンピューティングリソースを提供しながら、単一デバイスのプログラミング、管理、デプロイの容易さを提供します。

最近、セレブラスはニュースに登場しています。新しいAndromeda AIスーパーコンピュータについて教えてください。

Andromedaは、去年11月に発表しました。Andromedaは、史上最大かつ最も強力なAIスーパーコンピュータの1つです。Andromedaは、1エクサフロップのAIコンピューティングと120ペタフロップの密なコンピューティングを提供します。Andromedaには、16のCS-2システムにわたる1,350万コアがあり、近接線形スケーリングを実証した唯一のAIスーパーコンピュータです。また、使用も非常に簡単です。

Andromedaは、地球上で最大のスーパーコンピュータであるFrontierよりも、コア数で1.5倍以上大きいです。Andromedaは、近い将来、巨大なスーパーコンピュータを立ち上げるのに数年かかるのではなく、3日で立ち上げられ、すぐに近接線形スケーリングのAIを提供しました。

アーゴンネ国立研究所は、Andromedaの最初の顧客でした。Andromedaを使用して、2,000のGPUクラスタであるPolarisで実行できなかった問題に取り組みました。問題は、GPT-3XLジェネレーティブモデルを実行し、コビッドの全ゲノムをシーケンスウィンドウに配置することでした。Andromedaは、1、2、4、8、16ノードで、長いシーケンス長（MSL 10K）で、近接線形スケーリングを実現しました。Andromedaは、単一のCS-2システムと比較して、16ノードのCS-2システムで15.87倍のスループットを実現しました。

Jasperとのパートナーシップについて教えてください。

Jasperは、ジェネレーティブAIコンテンツのマーケティング分野でリーダーです。Jasperの製品は、100,000以上の顧客が使用しています。去年、ジェネレーティブAIの採用を加速し、精度を向上させるためのパートナーシップを発表しました。Jasperは、Andromedaスーパーコンピュータを使用して、計算コストの多いモデルを短時間でトレーニングできます。これにより、ジェネレーティブAIモデルを大規模に展開できます。

Andromedaスーパーコンピュータの力により、Jasperは、GPTネットワークをトレーニングして、AI出力をすべてのエンドユーザーの複雑さと粒度に合わせることができます。これにより、ジェネレーティブモデルの文脈的な精度が向上し、Jasperは、迅速かつ簡単に、さまざまな顧客クラスにコンテンツをパーソナライズできます。

パートナーシップにより、Jasperは、伝統的なインフラストラクチャでは実現不可能なこと、または実用的でないことを行うことで、ジェネレーティブAIの未来を発明できます。さらに、ジェネレーティブAIの潜在性を加速し、グローバルに急速に成長している顧客ベースに利点をもたらします。

最近のプレスリリースでは、National Energy Technology LaboratoryとPittsburgh Supercomputing Centerが、Cerebras (CBRS ) Wafer-Scale Engineで初めての計算流体力学シミュレーションを実現したと発表しました。Wafer-Scale Engineについて教えてください。

Wafer-Scale Engine (WSE)は、ディープラーニングコンピュータシステムであるCS-2の革命的なAIプロセッサです。WSEは、ディープラーニングを加速するために、スパーステンソル演算用に850,000のAI最適化コア、巨大な高帯域幅オンチップメモリ、伝統的なクラスタでは達成不可能なほど高速なインターコネクトを備えています。すべての要素が、ディープラーニングコンピューティングリソースを単一のデバイスで提供するように設計されています。

2世代目のWSE-2は、CS-2システムを動かしています。非常に高速に問題を解決できます。現実時間の、高忠実度のモデルを可能にするほど高速です。強スケーリングの成功例であり、並列性を使用して固定サイズの問題を解決する時間を短縮します。

これが、National Energy Technology LaboratoryとPittsburgh Supercomputing CenterがWSEを使用する理由です。200万セルの計算流体力学シミュレーションを、近接実時間で実行しました。 このビデオ は、レイリー・ベナール対流の高解像度シミュレーションを示しています。これは、流体層が下から加熱され、上から冷却されると発生します。熱的に駆動される流体流は、我々の周りにあります。風の日、湖の雪嵐、地球の核のマグマ流、太陽のプラズマの運動などです。ナレーターは、シミュレーションの視覚的な美しさだけが重要ではなく、計算するスピードも重要であると述べています。初めて、Wafer-Scale Engineを使用して、NETLは、ほぼ200万セルのグリッドを近接実時間で操作できます。

どのようなデータをシミュレートしていますか？

テストされたワークロードは、自然対流、または計算流体力学の応用です。流体流は、自然界にあります。風の日、湖の雪嵐、地殻のテクトニックプレートの運動などです。このシミュレーションは、レイリー・ベナール対流と呼ばれる現象に焦点を当てています。これは、流体が下から加熱され、上から冷却されると発生します。この現象は、ダウンバースト、マイクロバースト、デレチョなどの激しい天候イベントの原因となります。また、地球の核のマグマの運動や太陽のプラズマの運動も引き起こします。

2022年11月、NETLは、CS-2システムを使用した新しいフィールド方程式モデリングAPIを導入しました。これは、NETLのJouleスーパーコンピュータよりも470倍高速でした。これにより、CPUまたはGPUのクラスタが達成可能なスピードを超えることができます。WFAは、伝統的なコンピュータやスーパーコンピュータでは達成できないパフォーマンスと使いやすさの向上を提供します。実際、NETLのJoule 2.0スーパーコンピュータのOpenFOAMを2桁以上上回りました。

WFA APIのシンプルさにより、結果は数週間で達成され、NETL、PSC、Cerebras Systemsの密なコラボレーションを続けました。

WSEを使用して、計算流体力学のスピードを変えることで、リアルタイムの新しいユースケースを開拓できます。私たちの目標は、顧客がより多くの実験を実行し、より優れた科学を発明できるように、コンピューティングパワーを提供することです。NETLの研究所長、ブライアン・アンダーソンは、私たちに、WSEを使用することで、気候変動の緩和や安全なエネルギー将来のためのプロジェクトを大幅に加速および改善できることを伝えています。例えば、炭素捕獲や青色水素生産などのプロジェクトです。

ステート・オブ・ザ・アートのスーパーコンピュータを構築する際の課題について教えてください。

アイロニカルに、大きなAIの最大の課題はAIそのものではありません。分散コンピューティングです。

今日の最先端のニューラルネットワークをトレーニングするには、研究者はしばしば数百から数千のGPUを使用します。しかしそれは簡単ではありません。大きな言語モデルのトレーニングをGPUクラスタにわたってスケーリングするには、ワークロードを多くの小さなデバイスに分散し、デバイスのメモリサイズと帯域幅の制約を処理し、通信と同期のオーバーヘッドを慎重に管理する必要があります。

私たちは、Cerebras Wafer-Scale Clusterの開発とCerebras Weight Streaming実行モードを通じて、スーパーコンピュータを設計するためのまったく異なるアプローチを取りました。これらのテクノロジーにより、Cerebrasは、3つの重要な点に基づいてスケーリングの新しい方法に取り組んでいます。

1つ目は、Cerebras CS-2システムのようなウエハースケールアクセラレータによって、CPUとGPUの処理を置き換えることです。これにより、受け入れ可能なコンピューティングスピードを達成するために必要なコンピューティングユニットの数が削減されます。

2つ目は、モデルサイズの課題に対処するために、コンピューティングとモデルストレージを分離するシステムアーキテクチャを採用することです。CS-2システムのクラスタ（十分なコンピューティング帯域幅を提供）に密接に結合された、大容量のメモリを備えたメモリサービスが、コンピューティングクラスタに必要なモデルの一部を提供します。通常、データサービスは、コンピューティングサービスに必要なトレーニングデータのバッチを提供します。

3つ目は、CS-2クラスタ全体でトレーニングワークをスケジュールおよび調整するための革新的なモデルです。このモデルでは、データ並列性、レイヤーごとのトレーニング、オンデマンドでストリーミングされるスパースな重み、コンピューティングサービス内でのアクティベーションの保持を使用します。

モアの法則の終わりについて、どのくらいの期間、どのような種類のイノベーションが必要かについて教えてください。

私たちが直面している疑問は、モアの法則が死んだかどうかです。2年でより多くのトランジスターを得ることができなくなりました。4年または5年かかります。トランジスターは同じ価格で得られません。価格が大幅に上昇しています。したがって、質問は、モアが書いたモアの法則が死んでいるかどうかです。トランジスターが増えているのですが、同じ価格で得られません。解決策は、チップだけではありません。

Jack Dongarraは、先駆的なコンピューターアーキテクトであり、最近の講演で、「FLOPSとI/Oを改善することに成功しました」と述べました。私たちは、Cerebrasではその発言に賛同しました。私たちが大きなチップを作り、チップの外に出すデータを減らすことを決めたのは、その発言が正しいからです。また、システムのパフォーマンスを向上させるための将来の方法についても指針を提供します。FLOPSを絞り出すことだけでなく、データをチップ間、または大きなチップ間で移動するテクノロジーも必要です。

セレブラス・システムズについてさらに何か教えてください。

セレブラスは、大きなニューラルネットワークに対する魅力的なソリューションを提供することで、コンピューティングの分野で大きな波紋を起こしています。痛みを伴う分散コンピューティングの必要性を排除することができます。私たちが行っていることは、非常に興味深いです。私たちの顧客は私たちを愛しています。2023年の興味深い分野は、より高い精度で、大きなコンピューティングを、より少ないFLOPSで行う方法を見つけることです。

私たちのスパーシティに関する作業は、非常に興味深いアプローチを提供します。私たちは、ゼロに掛けることは悪い考えです。スパーシティに関する非常に興味深い論文を発表する予定です。私たちは、これらの効率的なポイントに到達する方法、そしてそれをより少ない電力で行う方法を見つけることに尽力しています。トレーニングだけでなく、推論でもコストと電力を最小限に抑える方法を見つける必要があります。スパーシティは、両方の面で役立つと思います。

これらの詳細な回答に感謝します。セレブラス・システムズについてさらに学びたい読者は、セレブラス・システムズを訪問してください。