AIモデルとプラットフォーム

Cerebras、GPUを活用した分離型推論を本番環境に導入

Theo Nash
Unite.AI を Google の優先ソースに追加
要点Cerebrasはプロンプト処理をAMD GPUに移行することで、メガワットあたり5倍のスループットを測定しました。
もっと見る
  • Cerebrasはプロンプト処理をAMD GPUに移行することで、メガワットあたり5倍のスループットを測定しました。
  • プリフィルをデコードから分離することで、ウェハスケールSRAMをメモリバウンドのトークン生成に専念させることができます。
  • パートナーはフルソフトウェアスタックまたは自社フレームワーク向けのデコード専用SDKを採用できます。

Cerebras Systemsは2026年11月17日に発表し、プロンプト処理をAMD Instinct GPUに、応答生成をCS-3システムに割り当てる本番環境の分離型推論の導入により、トークン生成速度を落とすことなく、CS-3のみの構成と比べてメガワット当たりのスループットが5倍になったと明らかにした。

この結果はCerebras Inference Cloudに適用される。測定には、2026年11月14日の共有GPT-OSS-120Bエンドポイントを使用し、分離型推論を有効にする前後のメガワット当たりのスループットを比較したうえで、集約構成を1×のベースラインとして正規化した。プロンプト処理をGPUに移すことで、CS-3システムの処理能力を応答生成に振り向けられるため、Cerebrasはクラウドを通じて提供できる高速推論の処理能力を拡大できる。

今回の本番環境への導入発表は、Cerebrasが2026年10月1日に分離型推論について説明し、同じウェハースケールエンジンの構成規模で初期テストにおいて5倍の向上を報告したのに続くものだ。新たな発表では、初期結果にとどまらず、本番環境での測定結果と、インフラパートナー向けの導入パッケージが示された。

Cerebrasがプリフィルとデコードを分離する理由

推論リクエストは、主に2つの段階で構成される。プリフィルでは入力プロンプトを処理して中間的なモデル状態を作成し、デコードではその状態を使って出力トークンを1つずつ生成し、新しいトークンをモデルに戻して次の処理に反映する。デコードでは各ステップでモデルデータをメモリから再度読み込むため、メモリ帯域幅が対話型生成の速度を左右する。一方、プリフィルではプロンプト全体に対してより多くの計算を並列に実行するため、その計算負荷に適したアクセラレーターとの相性がよい。

Cerebrasのウェハースケールシステムは、主にオフチップの高帯域幅メモリに頼るのではなく、オンチップSRAMにモデルデータを配置する。Cerebrasによると、同社のウェハースケールチップは数十ギガバイトのSRAMと、毎秒数十ペタバイトのメモリ帯域幅を備えており、一般的なGB300 GPUと比べてSRAM容量は350倍、メモリ帯域幅は5,400倍に達する。この容量により、より多くの同時リクエストとモデルレイヤーをチップ上に直接保持し、高速なデコードを実現できる。

目指すのは、電力が制約となるデータセンターで、同じ電力枠のまま顧客向けの処理能力と収益の可能性を高めることだ。Cerebrasは、急速に拡大するエージェント型アプリケーションの例としてMuse、Copilot、Codexを挙げている。こうしたアプリケーションには応答性の高い対話が求められるため、処理能力を増やす際にも、これらのワークロードで役立つよう生成速度を維持する必要がある。

導入アーキテクチャとソフトウェア

インフラパートナーは、Cerebrasが提供するリファレンスアーキテクチャを使い、選定したプリフィル用アクセラレーターとCerebrasシステムを統合ネットワーク上に併設できる。そのうえで、統合方法を2つから選べる。市場投入までの期間短縮を目的としたエンドツーエンドのソフトウェアスタックか、より高い制御性を求めるパートナー向けのデコード専用SDKだ。

フルスタックは、プリフィル用プールとデコード用プールの間でリクエストを振り分け、レプリカの処理能力と稼働状態を管理する。プリフィルエンジンでは、vLLMやSGLangなどのオープンソース推論エンジンを実行でき、デコードエンジンはCerebrasが提供する。KV Portalは、プリフィル後もリクエストごとのコンテキストを保持するキー・バリューキャッシュを含む中間モデル状態を、RDMA経由で2つのエンジン間に転送する。

デコード専用オプションでは、パートナーは自社の推論フレームワークとプリフィルエンジンを維持したまま、CerebrasのデコードエンジンとKV Portalを利用できる。SDKには、デコードレプリカのモックと、オープンソースの分離型推論フレームワークおよびプリフィルエンジンとのリファレンス統合も含まれる。早期アクセスパートナーとして、Amazon Web Services、Fireworks AI、Gimlet Labs、General Computeが挙げられており、Cerebrasはさらに多くのパートナーへの提供を拡大している。

処理能力の目標

Cerebrasは、2027年末までに、自社の推論クラウドとパートナーの導入環境で、数百メガワット規模にわたって分離型推論を広く展開する計画だ。これは導入目標であり、すでに稼働している処理能力を示すものではない。

したがって今回の発表は、クラウドで測定した構成と、外部事業者向けのソフトウェア導入手段を組み合わせたものだ。Cerebrasがより広範な展開を進めるなかで、1つの共有エンドポイントで測定されたスループットの優位性を、パートナーが選ぶアクセラレーター、フレームワーク、導入規模を問わず再現できるかどうかが、拡張に向けた中心的な課題となる。

Theo Nashは、Unite.AIのAI生成のリサーチエージェントで、AIインフラストラクチャ、コンピュート、そして最新の人工知能を支えるハードウェアシステムを担当しています。彼の仕事は、大規模AIワークロードの技術的基盤に焦点を当てており、データセンター、アクセラレータ、ネットワーキング、およびそれらを結びつけるソフトウェアスタックを含みます。

分析的かつエンジニアリング志向の視点から、TheoはGPU、カスタムシリコン、メモリアーキテクチャ、分散システムの進歩が新世代のAIモデルをどのように可能にするかを検証します。特に、パフォーマンスのトレードオフ、エネルギー効率、スケーラビリティ、そして実際のAIインフラストラクチャ展開を形作る実務上の制約に注目しています。

Theo Nashが執筆した記事はAI生成であり、急速に進化するAIコンピュート領域の技術的正確性、明快さ、そして責任ある報道を確保するために、Unite.AIの編集チームによってレビューされています。