Qwen3.8-Flash-Next esittelee Qwen4-arkkitehtuurin 6 B aktiivisella parametrilla

Qwen3.8-Flash-Next esittelee Qwen4-arkkitehtuurin hybriditarkennuksella ja 6 B aktiivisella parametrilla

Alibaban Qwen-tiimi julkaisi Qwen3.8-Flash-Nextin 26. elokuuta 2026, avoimen painotuksen kokeellisen mallin, joka esittelee Qwen4:n pohjana suunnitellun arkkitehtuurin. Mallissa on 125 B parametria, mutta se aktivoi vain 6 B parametria tokenia kohden, ja tiimi kuvaa tätä konfiguraatiota askeleena kohti sitä, mitä se kutsuu äärimmäiseksi kustannustehokkuudeksi.

Julkaisu on ensimmäinen julkinen malli, joka on rakennettu tämän suunnittelun pohjalta. Qwen3.8-Flash-Next -mallikortti kuvaa sen syykkisenä kielimallina, jossa on näkökooderi, koulutettuna sekä esikoulutuksen että jälkikoulutuksen kautta, ja ilmoittaa natiivin kontekstipituuden olevan 262 144 tokenia, laajennettavissa miljoonaan. Kortti asettaa mallin konkreettiseksi tehokkuusaskeleeksi eikä kyvykkyyden lippulaivaksi: tiimin huolenaiheena on, miten arkkitehtuurivalinnat vaikuttavat inferenssikustannuksiin mittakaavassa, erityisesti kun pitkien kontekstien agenttipainotteiset työkuormat nousevat hallitsevaksi käyttötapaukseksi.

Hybriditarkennus, porttisolmut ja n‑grammi‑upotus

Arkkitehtuuri perustuu neljään ilmoitettuun muutokseen. Ensimmäinen on uudistettu hybriditarkennusmalli. Aikaisemmat Qwen-hybridimallit yhdistivät Gated DeltaNetin Gated Attentioniin; Qwen3.8-Flash-Next korvaa jälkimmäisen Qwen Sparse Attentionilla (QSA), joka toimii mikrolohkotasolla sen sijaan, että valitsisi yksittäisiä tokenia. Kortti väittää, että tämä vähentää pitkän kontekstin viivettä merkittävästi. Malli järjestää 48 kerrostaan toistuvaksi malliksi: kolme Gated DeltaNet -lohkoa syöttävät tietoa mixture‑of‑experts‑kerrokseen, jonka jälkeen yksi QSA‑lohko syöttää tietoa toiseen mixture‑of‑experts‑kerrokseen, toistettuna kaksitoista kertaa.

Toinen muutos on porttisolmuinen residualimekanismi, joka säätää laajennettujen residualivirtojen läpi kulkevaa tietoa elementtikohtaisen, data‑riippuvaisen lukuportin ja haarakohtaisen skalaari‑kirjoitusportin avulla. Kortti esittelee tämän keinona saavuttaa hienojakoisempaa ilmaisukykyä kerrosten välillä säilyttäen koulutuksen vakauden ja pitämällä inferenssikulut alhaisina.

Kolmas on n‑grammi‑upotuskerros. Sen sijaan, että parametreja skaalattaisiin lisä‑ekspertien avulla, malli lisää 51 B parametria erilliseen upotukseen, joka indeksoi lyhyitä bigrammeja ja trigrammeja kerroksessa 2. Tiimi kuvaa tätä parametrien skaalausakseliksi, joka vaatii vähemmän laskentaa kuin mixture‑of‑experts ja on helpommin siirrettävissä muistirajoitteisille kiihdyttimille. Kortti mainitsee myös 4 B parametrin monen tokenin ennustuskerroksen, joka on koulutettu monivaiheisesti.

Neljäs on itse koulutusresepti. Muon‑ ja AdamW‑optimointialgoritmeja sovelletaan tiettyihin painokategorioihin, ja tiimi toteaa, että perinteiset eräkoon lämmittelyvaiheet on poistettu, aloitus tapahtuu suoraan kohde‑eräkoolla, ohjattuna uudelleenkalibroiduilla skaalauslaitteilla. Kortin mukaan tämä vähentää merkittävästi optimoijien kokonaisaskelia samalla kun se tukee suurempia oppimisnopeuksia.

Toimittajien raportoimat vertailuarvot ja mitä ne mittaavat

Kortti raportoi vertailutuloksia, joissa Qwen3.8-Flash-Nextia verrataan Qwen3.8-27B:hen, Qwen3.7-Plus:iin, DeepSeek-V4-Flash-0731:een ja Claude‑Opus-4.6 (Max):iin. Nämä ovat toimittajien raportoimia lukuja, jotka on arvioitu tiimin omilla testausympäristöillä, ja ne tulee lukea sellaisina. Agenttipainotteisessa koodauksessa kortti ilmoittaa DeepSWE 1.1 -pisteen 58,7 verrattuna 42,2:een Qwen3.8-27B:ssä ja 54,4:een DeepSeek-V4-Flashissa, lisäten huomautuksen, että DeepSWE suoritettiin kahdella testausympäristöllä (Claude Code ja mini‑SWE‑agent) ja raportoitiin molempien paras tulos. SWE‑bench Pro -testissä Qwen3.8-Flash-Next saavuttaa 62,5 pistettä, ylittäen Qwen3.8-27B:n 61,7 pistettä ja Qwen3.7‑Plus:n 55,8 pistettä, ja kaikki mallit on arvioitu uudelleen tarkennetulla benchmark-versiolla sen jälkeen, kun tiimi korjasi niin sanotut ongelmalliset tehtävät.

Oleellinen on tehokkuusväite, ei yksittäinen luku. Kortti ilmoittaa 125 B kokonaisparametria, joista 6 B on aktivoitu, verrattuna 397 B kokonaisparametreihin ja 17 B aktivoituun Qwen3.7‑Plusissa. Yleissivistyksen osalta malli saavuttaa GPQA Diamond -pisteen 91,7, LiveCodeBench v6 -pisteen 91,9 ja HLE‑pisteen 35,9, jonka on arvioinut GPT‑4o eikä benchmarkin oletusarvioija. Kortti on avoin näistä valinnoista, mikä on enemmän kuin monissa julkaisuissa tarjotaan, mutta ne ovat edelleen toimittajan tekemiä valintoja.

Saatavuus ja tie Qwen4:een

Qwen3.8-Flash-Next on nyt saatavilla Hugging Facessa qwen‑community‑1.0 -lisenssin alla, ja sen painot BF16‑muodossa kattavat noin 180 B parametria kielimallissa, n‑grammi‑upotuksessa ja monen tokenin ennustuskerroksessa. Kortti suosittelee käyttöönottoa SGLangin, vLLM:n tai TokenSpeed:n kautta, ja huomauttaa, että Qwen3.8‑Flash — tuotantoon suunniteltu vastine, joka on rakennettu tästä esikatselusta oletus‑1 M‑token kontekstilla ja virallisilla sisäänrakennetuilla työkaluilla — on versio, joka on tarkoitettu hallitun API‑käytön kautta Qwen Cloudissa.

“Next”-merkintä kertoo kaiken. Tiimi asettaa tämän nimenomaan kokeelliseksi esikatseluksi arkkitehtuurille, joka tulee tukemaan Qwen4:ää, mikä asettaa sen samaan luokkaan kuin aikaisemmat Qwen-julkaisut, jotka testasivat suunnittelusuuntia ennen lippulaivasykliä. Riippumatta siitä, toteutuuko tämä erityinen suunnittelu Qwen4:n perustaksi vai hylkääkö tiimi sen myöhemmin, julkaisu dokumentoi, mihin yksi suuri laboratorio asettaa tehokkuuspanoksensa.