Qwen3.8-Flash-Next gibt einen Vorgeschmack auf die Qwen4-Architektur mit 6B aktiven Parametern

Qwen3.8-Flash-Next gibt einen Vorgeschmack auf die Qwen4-Architektur mit Hybridaufmerksamkeit und 6B aktiven Parametern

Das Qwen‑Team von Alibaba veröffentlichte am 26. August 2026 Qwen3.8-Flash-Next, ein Open‑Weight‑Experimentiermodell, das die für Qwen4 vorgesehene Architektur vorab demonstriert. Das Modell verfügt über 125 B Parameter, aktiviert jedoch pro Token nur 6 B, eine Konfiguration, die das Team als Schritt zu dem bezeichnet, was es als ultimative Kosteneffizienz bezeichnet.

Die Veröffentlichung ist das erste öffentliche Modell, das auf diesem Design basiert. Die Qwen3.8-Flash-Next Model Card beschreibt es als ein kausales Sprachmodell mit einem Vision‑Encoder, das sowohl im Vor‑ als auch im Nachtraining trainiert wurde, und gibt eine native Kontextlänge von 262 144 Token an, erweiterbar auf 1 Million. Die Karte positioniert das Modell als konkreten Effizienzschritt statt als Fähigkeits‑Flaggschiff: Das Team betont, dass die architektonischen Entscheidungen die Inferenzkosten im großen Maßstab beeinflussen, insbesondere da agentische Workloads mit langen Kontexten zum dominierenden Anwendungsfall werden.

Hybridaufmerksamkeit, gesteuerte Residuen und N‑Gram‑Einbettungen

Die Architektur beruht auf vier genannten Änderungen. Die erste ist ein überarbeitetes Hybrid‑Aufmerksamkeits‑Schema. Frühere Qwen‑Hybrid‑Modelle kombinierten Gated DeltaNet mit Gated Attention; Qwen3.8-Flash-Next ersetzt Letzteres durch Qwen Sparse Attention (QSA), das auf Mikro‑Block‑Ebene arbeitet, anstatt einzelne Token auszuwählen. Die Karte behauptet, dass dies die Latenz bei langen Kontexten erheblich reduziert. Das Modell ordnet seine 48 Schichten in einem wiederholenden Muster an: drei Blöcke Gated DeltaNet, die in eine Mixture‑of‑Experts‑Schicht einspeisen, gefolgt von einem QSA‑Block, der ebenfalls in eine Mixture‑of‑Experts‑Schicht einspeist, insgesamt zwölfmal wiederholt.

Die zweite Änderung ist ein gesteuerter Residual‑Mechanismus, der den Informationsfluss durch erweiterte Residual‑Ströme mittels eines elementweisen, datenabhängigen Lese‑Gates und eines skalaren Schreib‑Gates pro Zweig moduliert. Die Karte stellt dies als Mittel dar, um eine feinkörnigere Ausdrucksfähigkeit über die Schichten hinweg zu erreichen, während Trainingsstabilität erhalten und der Inferenz‑Overhead niedrig gehalten wird.

Die dritte ist eine N‑Gram‑Einbettungsschicht. Anstatt Parameter durch zusätzliche Experten zu skalieren, fügt das Modell in Schicht 2 51 B Parameter in einer separaten Einbettung hinzu, die nach kurzen Bigrammen und Trigrammen indiziert ist. Das Team beschreibt dies als eine Achse für die Parametrierung, die weniger Rechenaufwand als Mixture‑of‑Experts erfordert und sich besser auf speicherbeschränkte Beschleuniger auslagern lässt. Die Karte weist zudem auf eine 4 B‑Parameter‑Multi‑Token‑Vorhersageschicht hin, die mit Mehrfachschritten trainiert wurde.

Die vierte ist das eigentliche Trainingsrezept. Die Optimierer Muon und AdamW werden auf bestimmte Gewichtskategorien angewendet, und das Team gibt an, dass traditionelle Warm‑ups der Batch‑Größe eliminiert wurden, zugunsten eines direkten Starts mit der Ziel‑Batch‑Größe, gesteuert durch neu angepasste Skalierungsgesetze. Laut Karte reduziert dies die Gesamtzahl der Optimierungsschritte erheblich, während gleichzeitig höhere Lernraten unterstützt werden.

Von Anbietern gemeldete Benchmarks und ihre Messgrößen

Die Karte berichtet Benchmark‑Ergebnisse, die Qwen3.8-Flash-Next mit Qwen3.8-27B, Qwen3.7-Plus, DeepSeek-V4-Flash-0731 und Claude-Opus-4.6 (Max) vergleichen. Dabei handelt es sich um von den Anbietern gemeldete Zahlen, die mit den eigenen Test‑Frameworks des Teams evaluiert wurden und entsprechend zu verstehen sind. Beim agentischen Programmieren gibt die Karte einen DeepSWE 1.1‑Score von 58,7 an, verglichen mit 42,2 für Qwen3.8-27B und 54,4 für DeepSeek-V4-Flash, mit dem Hinweis, dass DeepSWE mit zwei Frameworks (Claude Code und mini‑SWE‑agent) ausgeführt wurde und der höchste Wert beider gemeldet wurde. Auf SWE‑bench Pro erzielt Qwen3.8-Flash-Next 62,5 Punkte, vor Qwen3.8-27B mit 61,7 und Qwen3.7-Plus mit 55,8, wobei alle Modelle nach einer Korrektur problematischer Aufgaben vom Team auf einer verfeinerten Benchmark‑Version erneut evaluiert wurden.

Das entscheidende Muster ist die Effizienzbehauptung, nicht eine einzelne Zahl. Die Karte führt 125 B Gesamtparameter mit 6 B aktivierten auf, gegenüber 397 B Gesamt und 17 B aktivierten bei Qwen3.7-Plus. Im Bereich des Allgemeinwissens erzielt das Modell einen GPQA‑Diamond‑Score von 91,7, einen LiveCodeBench v6‑Score von 91,9 und einen HLE‑Score von 35,9, bewertet von GPT‑4o statt vom Standard‑Bewertungsprogramm des Benchmarks. Die Karte ist transparent bezüglich dieser Entscheidungen, was mehr ist als bei vielen Veröffentlichungen, bleibt jedoch eine vom Anbieter getroffene Wahl.

Verfügbarkeit und der Weg zu Qwen4

Qwen3.8-Flash-Next ist jetzt auf Hugging Face unter der Lizenz qwen-community-1.0 verfügbar, wobei die Gewichte in BF16 insgesamt etwa 180 B Parameter über das Sprachmodell, die N‑Gram‑Einbettung und die Multi‑Token‑Vorhersageschicht umfassen. Die Karte empfiehlt die Bereitstellung über SGLang, vLLM oder TokenSpeed und weist darauf hin, dass Qwen3.8-Flash — das produktionsorientierte Gegenstück, das auf dieser Vorschau basiert und einen Standard‑Kontext von 1 M Token sowie offizielle integrierte Werkzeuge bietet — die für die verwaltete API‑Nutzung über Qwen Cloud vorgesehene Version ist.

Das Etikett „Next“ ist das Hinweiswort. Das Team positioniert dies ausdrücklich als experimentelle Vorschau der Architektur, die Qwen4 zugrunde liegen wird, und ordnet es damit in dieselbe Kategorie ein wie frühere Qwen‑Veröffentlichungen, die Design‑Richtungen vor einem Flaggschiff‑Zyklus testeten. Ob dieses spezielle Design zur Grundlage von Qwen4 wird oder später vom Team verworfen wird, die Veröffentlichung dokumentiert, wo ein bedeutendes Labor seine Effizienz‑Wetten platziert.