Qwen3.8-Flash-Next anteprima dell’architettura Qwen4 con 6 Miliardi di parametri attivi

Qwen3.8-Flash-Next anteprima dell’architettura Qwen4 con Attenzione Ibrida e 6 Miliardi di parametri attivi

Il team Qwen di Alibaba ha rilasciato Qwen3.8-Flash-Next il 26 agosto 2026, un modello sperimentale a peso aperto che anticipa l’architettura destinata a sostenere Qwen4. Il modello ha 125 miliardi di parametri ma ne attiva solo 6 miliardi per token, una configurazione che il team descrive come un passo verso quella che definiscono l’efficienza dei costi definitiva.

Il rilascio è il primo modello pubblico costruito su questo design. La scheda modello Qwen3.8-Flash-Next lo descrive come un modello linguistico causale con un encoder visivo, addestrato sia in pre‑training che in post‑training, e indica una lunghezza di contesto nativa di 262.144 token, estendibile a 1 milione. La scheda presenta il modello come un passo concreto verso l’efficienza, piuttosto che un modello di punta per le capacità: la preoccupazione dichiarata del team è come le scelte architetturali influenzino il costo di inferenza su larga scala, soprattutto man mano che i carichi di lavoro agentici con contesti lunghi diventano l’uso dominante.

Attenzione Ibrida, Residui Gated e Incorporamenti N‑Gram

L’architettura si basa su quattro cambiamenti dichiarati. Il primo è uno schema di attenzione ibrida rivisto. I precedenti modelli ibridi Qwen accoppiavano Gated DeltaNet con Gated Attention; Qwen3.8-Flash-Next sostituisce quest’ultimo con Qwen Sparse Attention, o QSA, che opera a livello di micro‑blocco anziché selezionare token individuali. La scheda afferma che ciò riduce in modo significativo la latenza nei contesti lunghi. Il modello organizza le sue 48 layer in uno schema ricorrente: tre blocchi di Gated DeltaNet che alimentano uno strato mixture‑of‑experts, seguiti da un blocco QSA che alimenta uno strato mixture‑of‑experts, ripetuto dodici volte.

Il secondo cambiamento è un meccanismo di residuo gated che modula le informazioni che fluiscono attraverso flussi residui ampliati usando un gate di lettura element‑wise e dipendente dai dati e un gate di scrittura scalare per ramo. La scheda lo presenta come un modo per ottenere una espressività più fine tra i layer, preservando la stabilità dell’addestramento e mantenendo basso l’overhead di inferenza.

Il terzo è uno strato di incorporamento n‑gram. Invece di aumentare i parametri tramite esperti aggiuntivi, il modello aggiunge 51 miliardi di parametri in un incorporamento separato indicizzato da brevi bigrammi e trigrammi al layer 2. Il team lo descrive come un asse per la scalatura dei parametri che richiede meno calcolo rispetto al mixture‑of‑experts ed è più adatto allo scaricamento su acceleratori con memoria limitata. La scheda segnala anche uno strato di previsione multi‑token da 4 miliardi di parametri, addestrato con più passaggi.

Il quarto è la ricetta di addestramento stessa. Gli ottimizzatori Muon e AdamW sono applicati a categorie di peso specifiche, e il team afferma di aver eliminato i tradizionali warm‑up della dimensione del batch, iniziando direttamente dalla dimensione target del batch, guidati da leggi di scaling ricalibrate. Questo, secondo la scheda, riduce sostanzialmente il numero totale di passi dell’ottimizzatore, consentendo tassi di apprendimento più elevati.

Benchmark segnalati dal fornitore e cosa misurano

La scheda riporta i risultati dei benchmark confrontando Qwen3.8-Flash-Next con Qwen3.8-27B, Qwen3.7-Plus, DeepSeek-V4-Flash-0731 e Claude-Opus-4.6 (Max). Si tratta di cifre segnalate dal fornitore, valutate sui propri harness, e vanno interpretate di conseguenza. Per il coding agentico, la scheda indica un punteggio DeepSWE 1.1 di 58,7 contro 42,2 per Qwen3.8-27B e 54,4 per DeepSeek-V4-Flash, con la precisazione che DeepSWE è stato eseguito con due harness (Claude Code e mini‑SWE‑agent) e il punteggio più alto tra i due è stato riportato. Su SWE‑bench Pro, Qwen3.8-Flash-Next ottiene 62,5, davanti a Qwen3.8-27B con 61,7 e Qwen3.7-Plus con 55,8, con tutti i modelli rivalutati su una versione raffinata del benchmark dopo che il team ha corretto quello che definiscono task problematici.

Il modello che conta è la dichiarazione di efficienza, non un singolo numero. La scheda elenca 125 miliardi di parametri totali con 6 miliardi attivati, rispetto a 397 miliardi totali e 17 miliardi attivati per Qwen3.7-Plus. Sul fronte della conoscenza generale, il modello ottiene un punteggio GPQA Diamond di 91,7, un punteggio LiveCodeBench v6 di 91,9 e un punteggio HLE di 35,9 valutato da GPT‑4o anziché dal valutatore predefinito del benchmark. La scheda è trasparente su queste scelte, più di quanto offrano molte altre uscite, ma rimangono decisioni del fornitore.

Disponibilità e il percorso verso Qwen4

Qwen3.8-Flash-Next è disponibile ora su Hugging Face sotto licenza qwen-community-1.0, con pesi in BF16 che ammontano a circa 180 miliardi di parametri tra il modello linguistico, l’incorporamento n‑gram e lo strato di previsione multi‑token. La scheda raccomanda il deployment tramite SGLang, vLLM o TokenSpeed, e osserva che Qwen3.8-Flash — la controparte orientata alla produzione costruita su questa anteprima con un contesto predefinito di 1 milione di token e strumenti integrati ufficiali — è la versione destinata all’uso API gestito tramite Qwen Cloud.

L’etichetta “Next” è il segnale. Il team inquadra esplicitamente questo come una anteprima sperimentale dell’architettura che supporterà Qwen4, collocandola nella stessa categoria delle precedenti versioni Qwen che hanno testato direzioni di design prima di un ciclo di punta. Che questo design specifico diventi la base di Qwen4 o un ramo che il team abbandonerà in futuro, il rilascio documenta dove un grande laboratorio sta puntando le proprie scommesse sull’efficienza.