Z.ai、100,000個の中国製チップ上に構築されたGLM-5.3-Flash推論の詳細

Z.aiは2026年9月17日に、技術レポートを公開し、100,000台以上の中国製AIアクセラレータのクラスター上で、GLM-5.3-Flashモデル向けの完全な本番グレードの推論サービスをゼロから構築した方法を説明した。同社によれば、作業の大半はGLM-5.3搭載のインフラエージェントによって実施され、インフラエンジニアだけに依存していない。また、GLM-5.3-Flashの全ての本番推論はこのシステム上で実行されている。

Z.aiは、これまでにこの規模の中国製アクセラレータのクラスターを運用した例はないと述べた。同社は、チップ上メモリ容量と帯域幅が比較的限られていること、新しいモデルアーキテクチャ、1Mトークンのコンテキストウィンドウ、マルチモーダルリクエストに加え、カーネルサポートが未成熟でドキュメント化されるべき挙動をエンジニアが推測しなければならない未成熟なエコシステムがあることを指摘した。

GLM-5.3-Flashは2026年8月26日にリリースされた、GLM-5シリーズ初のネイティブマルチモーダルモデルで、総パラメータ数は3200億、ハイブリッドアーキテクチャ（疎注意と線形注意の組み合わせ）に基づくアクティブパラメータは180億である。リリース前に、Z.aiはモデルをox-alphaという名でOpenCodeとOpenRouterで匿名テストし、同社はリリース後1週間で両プラットフォームで最も利用されたモデルとなり、6日間で62兆トークン以上を処理したと述べた。

密なフィードバック手法

このレポートの中心にはシステム上の課題がある。エンドツーエンド指標は結果が悪化したことはエージェントに伝えるが、原因は示さない。数値精度テストの失敗、トークン初回取得時間の30%増加、出力スループットの20%低下だけでは、どの層が原因か、次に何をテストすべきかは分からない。Z.aiの回答は「密なフィードバック」と呼ばれ、正確性テスト、ランタイムログ、実行トレース、ランタイムイベント、マイクロベンチマーク、エンドツーエンド指標を組み合わせた再現可能なワークフローに統合し、エージェントが変更ごとに完全なデプロイや負荷テストを待つことなく、ローカルで各仮説を検証できるようにする。

同社はこの種のフィードバックに対して3つの必須属性を定義している。まずローカルであること、可能な限り特定の起動パラメータ、コード変更、カーネル、入力条件、スレッド、実行間隔、またはコードパスに結び付けられること。次に取得コストが低く、タイムリーであること。さらに、参照実装や制御実験を通じた客観的な検証をサポートすることが必要である。観測された相関だけでは根本原因を特定できないためである。

レポートが記述する起動ループにおいて、エンジニアは目的とシステム境界を定義し、数値セマンティクス、並行性の挙動、そして本番リスクに関わる重要な変更をレビューした。一方、エージェントは分析、仮説立案、コード変更を担当した。彼らが共同で最適化したスタックは、線形注意とLMヘッドのためのノード内テンソル並列、ReplaySSM、W8A8量子化、混合精度INT8/FP8/BF16キャッシュ量子化、そしてレイヤー分割を組み合わせ、Encode-Prefill-Decodeという分散型アーキテクチャの下で構成された。

3つのエンジニアリング事例

最初の事例は数値的正確性に関するものである。分割済みと未分割のカーネル実行パスを比較検証した結果、KDAカーネルのコンテキスト並列パスで精度問題が明らかになった。tl.dot演算は入力がFP32であってもデフォルトでTF32計算を行っていたため、状態マージ時に誤差が蓄積し、コンテキスト長が増加するにつれて誤差が増幅した。修正では入力精度をtf32x3に明示的に設定し、3つのTF32テンソルコア演算を使用してより高精度な結果を得るようにした。

レポートによれば、これらの修正はFlash Linear Attentionに上流でマージされた。プルリクエストは2026年8月27日に作成・マージされ、状態更新および変換マージカーネルにtf32x3アフィンチェーンをオプトイン型の精度パスとして適用し、コンテキスト並列テストを追加し、tf32をサポートしないプラットフォーム（AMD、NPU、計算能力8.0未満のNVIDIA GPU）では明示的にIEEE精度にフォールバックするよう実装された。

2つ目の事例はKV転送の並行性ボトルネックに関するものである。レポートによれば、エンジニアは同一ワークロード下でPrefillとKV転送の合計がPrefill単独のベースラインの5%以内で実行されるべきという受け入れ基準を設定した。エージェントは一部のシナリオで20%以上のギャップを検出し、その原因をDeepEP v1.2.1に遡らせたが、そこでは intranode_dispatch でも intranode_combine 呼び出しはPython GILを明示的に解放した。これらの呼び出しがロックを保持している限り、同一プロセス内のMooncake Transfer PythonスレッドはタイミングよくGILを取得できず、転送タスクのスケジューリングと送信が遅れ、計算との重複が縮小した。レポートは、同バージョンのinternode_dispatchはすでにGILを解放しており、コードコメントにはCPUが待機している間に他スレッドのKV転送をブロックしないことが意図されていると記載されていると指摘している。修正により該当するC++実行区間でGILが解放された結果、同一テスト条件下でギャップは1%未満に減少したと報告されている。

3つ目のケースはカーネル性能に関するものです。Z.aiは、SGLang、Flash Linear Attention、DeepGEMM といったプロジェクトで手書きカーネルからエージェントが手法を抽出し、適用条件、変換手法、リソース制約、検証証拠を備えた再利用可能な最適化スケルトンにまとめました。代表的な KDA Decode カーネルにおいて、同社はエージェントの分割最適化により実行時間が 9.6% 短縮されたと報告しています。フィードバックで計算が主なボトルネックであることが判明した後、エージェントはカーネルの V 次元タイルを統合しました。これらのタイルは同じ FP32 正規化とゲーティング計算を 4 回繰り返していましたが、レジスタに常駐する中間結果と 1 つのワープレベル削減を用いた単一スレッドブロックにまとめ、従来バージョンに対して 1.71 倍の速度向上を実現したと同社は報告しています。

公表された結果と再帰的自己改善

Z.ai は、GLM-5.3-Flash が初期のモデル適応から本番環境への準備までを 2 週間未満で完了し、エンドツーエンドのスループットが最初のベースラインに比べて最終的に 3 倍に拡大したと報告しています。また、ハードウェア利用効率とトークンあたりのコストが主流の NVIDIA GPU と同等のレベルに達したとも述べています。

同社はこの取り組みを再帰的自己改善の初期例として位置付けており、モデル自体が実行される推論システムの最適化に参加したことを指摘しています。一方で、Z.ai はまだ再帰的自己改善には至っておらず、目的設定、境界設定、リスク評価は引き続き人間が担うべき責任であり、人間がそれらを保持すべきだと考えていると述べています。