Qwen3.8-Flash-Next が Qwen4 アーキテクチャを 6B アクティブパラメータでプレビュー

Qwen3.8-Flash-Next がハイブリッドアテンションと 6B アクティブパラメータを備えた Qwen4 アーキテクチャをプレビュー

Alibaba の Qwen チームは 2026 年 8 月 26 日に Qwen3.8-Flash-Next をリリースしました。これはオープンウェイトの実験モデルで、Qwen4 の基盤となることを想定したアーキテクチャを先行して示すものです。モデルは 125B パラメータを保持しますが、トークンごとにアクティブになるのは 6B のみで、同チームはこれを「究極のコスト効率」へのステップと位置付けています。

この Qwen3.8-Flash-Next モデルカードでは、因果言語モデルにビジョンエンコーダを組み合わせ、事前学習と事後学習の両方で訓練されたものと説明されています。また、ネイティブのコンテキスト長は 262,144 トークンで、最大 1 百万トークンまで拡張可能と記載されています。カードはこのモデルを「具体的な効率向上のステップ」と位置付け、機能フラッグシップではないと明言しています。チームの主張は、アーキテクチャの選択が大規模推論コストに与える影響、特に長いコンテキストを必要とするエージェントワークロードが主流になることへの懸念です。

ハイブリッドアテンション、ゲート付き残差、N グラム埋め込み

このアーキテクチャは、4 つの変更点に基づいています。最初は再設計されたハイブリッドアテンション方式です。従来の Qwen ハイブリッドモデルは Gated DeltaNet と Gated Attention を組み合わせていましたが、Qwen3.8-Flash-Next は後者を Qwen Sparse Attention（QSA）に置き換えました。QSA は個々のトークンを選択するのではなく、マイクロブロック単位で動作し、長コンテキスト時のレイテンシを大幅に削減するとカードは主張しています。モデルは 48 層を以下のパターンで配置します：3 つの Gated DeltaNet ブロックが Mixture-of-Experts 層に接続され、続いて 1 つの QSA ブロックが Mixture-of-Experts 層に接続される構造が 12 回繰り返されます。

二番目の変更は、拡張された残差ストリームを要素ごとにデータ依存的な読み取りゲートとブランチごとのスカラー書き込みゲートで制御するゲート付き残差機構です。カードは、これにより層間の表現力を細分化しつつ、学習の安定性を保ち、推論時のオーバーヘッドを低く抑えられると説明しています。

三番目は N グラム埋め込み層です。追加のエキスパートでパラメータを拡張する代わりに、モデルは第 2 層で短いバイグラムとトリグラムをインデックスとした別個の埋め込みに 51B パラメータを追加しています。チームはこれを、Mixture-of-Experts より計算コストが低く、メモリ制約のあるアクセラレータへのオフロードが容易なパラメータスケーリングの軸と位置付けています。また、カードは 4B パラメータのマルチトークン予測層がマルチステップで訓練されたことも記載しています。

四番目はトレーニングレシピそのものです。Muon と AdamW オプティマイザが特定の重みカテゴリに適用され、従来のバッチサイズウォームアップを廃止して、目標バッチサイズから直接開始するようにしています。これは再調整されたスケーリング則に基づくもので、オプティマイザステップ総数を大幅に削減しつつ、より大きな学習率をサポートします。

ベンダー報告ベンチマークと測定対象

カードは Qwen3.8-Flash-Next を Qwen3.8-27B、Qwen3.7-Plus、DeepSeek-V4-Flash-0731、Claude-Opus-4.6 (Max) と比較したベンチマーク結果を報告しています。これらはベンダーが独自に測定した数値であり、その点を踏まえて読む必要があります。エージェント型コーディングにおいては、DeepSWE 1.1 スコアが 58.7 と、Qwen3.8-27B の 42.2、DeepSeek-V4-Flash の 54.4 を上回っています。ただし、DeepSWE は 2 つのハーネス（Claude Code と mini-SWE-agent）で実行され、両方の最高スコアが報告されています。SWE-bench Pro では Qwen3.8-Flash-Next が 62.5 点で、Qwen3.8-27B の 61.7、Qwen3.7-Plus の 55.8 を上回っています。全モデルはベンチマークの改良版で再評価され、チームが「問題のあるタスク」を修正した後の結果です。

重要なのは個々の数値ではなく、効率性の主張です。カードは総パラメータ数 125B、アクティブパラメータ 6B と記載しており、対照的に Qwen3.7-Plus は総パラメータ 397B、アクティブ 17B です。一般知識タスクでは、GPQA Diamond スコアが 91.7、LiveCodeBench v6 が 91.9、HLE スコアが 35.9（評価は GPT-4o がデフォルトの採点者ではなく使用）と報告されています。これらの選択はベンダー側の判断であり、多くのリリースが提供しない透明性です。

提供状況と Qwen4 への道筋

Qwen3.8-Flash-Next は現在 Hugging Face で qwen-community-1.0 ライセンスの下で入手可能です。重みは BF16 形式で、言語モデル、N グラム埋め込み、マルチトークン予測層を合わせて約 180B パラメータに相当します。カードは SGLang、vLLM、TokenSpeed を通じたデプロイを推奨し、またこのプレビュー版の基盤上で構築された本番向けバージョン「Qwen3.8-Flash」（デフォルト 1M トークンコンテキストと公式ツールを備える）は Qwen Cloud の管理 API での利用を想定していると述べています。

「Next」というラベルが示す通り、チームはこれを Qwen4 の基盤となるアーキテクチャの実験的プレビューとして明確に位置付けています。これは、フラッグシップサイクルに入る前に設計方向をテストした過去の Qwen リリースと同じカテゴリに位置付けられます。この特定の設計が Qwen4 の基礎となるか、後にチームが放棄する枝枝になるかは未定ですが、本リリースは大手ラボが効率性に賭けている方向性を示す文書となっています。