Z.ai、100,000個の中国製チップ上で構築されたGLM-5.3-Flash推論の詳細

Z.aiは2026年9月17日に、技術的なレポートを公開し、100,000台以上の中国製AIアクセラレータのクラスター上で、GLM-5.3-Flashモデル向けの完全な本番グレード推論サービスをゼロから構築した方法を説明しています。同社によれば、作業の大部分はインフラエンジニアだけでなく、GLM-5.3を搭載したInfra Agentによって実施され、GLM-5.3-Flashのすべての本番推論はこのシステム上で実行されています。

Z.aiは、これまでに中国製アクセラレータのクラスターをこの規模で運用した例はないと述べました。同社は、チップ上のメモリ容量と帯域幅が比較的限られていること、新しいモデルアーキテクチャ、1Mトークンのコンテキストウィンドウ、マルチモーダルリクエスト、そしてカーネルサポートが不完全でエンジニアが文書化されるべき挙動を推測せざるを得なかった未成熟なエコシステムが併存していることを指摘しました。

GLM-5.3-Flash 2026年8月26日にリリースし、GLM-5シリーズ初のネイティブマルチモーダルモデルとなり、総パラメータ数は3200億、ハイブリッドアーキテクチャでスパースと線形アテンションを組み合わせたうちアクティブパラメータは180億です。リリース前に、Z.aiはモデルをox-alphaという匿名名でOpenCodeとOpenRouterでテストし、同社はリリース後1週間で両プラットフォームで最も利用されたモデルとなり、6日間で62兆トークン以上を処理したと述べています。

密なフィードバック手法

このレポートの中心はシステム的な課題です。エンドツーエンドの指標は結果が悪化したことは示せても、原因は示せません。数値精度テストの失敗、トークン取得までの時間が30%増加、出力スループットが20%低下した場合でも、どの層が原因か、次に何をテストすべきかは分かりません。Z.aiの回答である「密なフィードバック」では、正確性テスト、ランタイムログ、実行トレース、ランタイムイベント、マイクロベンチマーク、エンドツーエンド指標を繰り返し可能なワークフローに統合し、エージェントが各仮説をローカルで検証できるようにし、すべての変更後にフルデプロイや負荷テストを待つ必要がなくなります。

同社はこのようなフィードバックに必要な3つの特性を定義しています。まずローカルであること、可能な限り特定の起動パラメータ、コード変更、カーネル、入力条件、スレッド、実行間隔、またはコードパスに結びついていること。次に取得コストが低く、タイムリーであること。さらに、参照実装や制御実験による客観的な検証をサポートすることです。観測された相関だけでは根本原因は特定できません。

起動ループでの記述によれば、エンジニアは目標とシステム境界を定義し、数値セマンティクス、同時実行動作、プロダクションリスクに関わる重要な変更をレビューしました。一方、エージェントは分析、仮説立案、コード変更を担当しました。両者が共同で最適化したスタックは、線形アテンションとLMヘッドのためのノード内テンソル並列、ReplaySSM、W8A8量子化、混合精度INT8/FP8/BF16キャッシュ量子化、そしてレイヤースプリットを組み合わせ、Encode-Prefill-Decodeという分散アーキテクチャの下で動作しました。

3つのエンジニアリング事例

最初のケースは数値的正確性に関するものです。分割カーネルと非分割カーネルの実行パスを比較する検証により、KDAカーネルのコンテキスト並列パスで精度問題が明らかになりました。tl.dot演算は入力がFP32であってもデフォルトでTF32計算を行っていたため、状態マージ時に誤差が蓄積し、コンテキスト長が増加するにつれて誤差が増大しました。修正では入力精度をtf32x3に明示的に設定し、3つのTF32テンコア演算を使用してより高精度な結果を得るようにしました。

レポートによれば、これらの修正はFlash Linear Attentionに上流でマージされました。プルリクエストは2026年8月27日に開かれ、マージされ、状態更新および変換マージカーネルにtf32x3アフィンチェーンをオプトインの精度パスとして適用し、コンテキスト並列テストを追加し、tf32をサポートしないプラットフォーム（AMD、NPU、計算能力8.0未満のNVIDIA GPU）では明示的にIEEE精度にフォールバックするようにしました。

2番目のケースはKV転送の同時実行ボトルネックに関するものです。レポートによれば、エンジニアは同一ワークロード下でPrefillとKV転送の合計がPrefill単独のベースラインの5%以内であることを受け入れ基準としました。エージェントは一部シナリオで20%以上のギャップを検出し、その原因をDeepEP v1.2.1に遡りました。このバージョンでは、intranodeディスパッチもintranodeも結合呼び出しもPython GILを明示的に解放していませんでした。これらの呼び出しがロックを保持している間、同一プロセス内のMooncake Transfer PythonスレッドはGILをタイムリーに取得できず、転送タスクのスケジューリングと投入が遅れ、計算との重複が縮小しました。同バージョンのinternode_dispatchはすでにGILを解放しており、コードコメントにはCPUが待機中に他スレッドのKV転送をブロックしないことが意図されていると記されています。関連するC++実行間隔でGILが解放された後、同条件下のテストでギャップは1%未満に低減したとレポートされています。

3つ目のケースはカーネル性能に関するものです。Z.aiは、SGLang、Flash Linear Attention、DeepGEMM などのプロジェクトで手書きカーネルから抽出した手法を、適用条件、変換手法、リソース制約、検証証拠を備えた再利用可能な最適化スケルトンにまとめました。代表的な KDA Decode カーネルにおいて、同社はエージェントの分割最適化により実行時間が 9.6% 短縮されたと報告しています。フィードバックで計算が主なボトルネックであることが判明した後、エージェントはカーネルの V 次元タイルを統合しました。これらは同じ FP32 正規化とゲーティング計算を 4 回繰り返していたため、レジスタに常駐する中間結果と 1 つのワープレベル削減を持つ単一スレッドブロックにまとめ、従来バージョンに対して 1.71 倍の速度向上を実現したと同社は報告しています。

公表された結果と再帰的自己改善

Z.ai は、GLM-5.3-Flash が初期のモデル適応から本番稼働までわずか 2 週間未満で完了し、エンドツーエンドのスループットは最初のベースラインに比べて最終的に 3 倍に増加したと報告しています。また、ハードウェア利用効率とトークンあたりのコストは、主流の NVIDIA GPU と同等のレベルに達したとも述べています。

同社はこの取り組みを再帰的自己改善の初期例として位置付けており、モデル自体が実行される推論システムの最適化に参加したことを指摘しています。一方で、Z.ai はまだ再帰的自己改善には至っておらず、目的の選定、境界設定、リスク評価は引き続き人間が担うべき責任であると考えていると述べています。