Qwen3.8-Flash-Next Menampilkan Pratinjau Arsitektur Qwen4 dengan 6B Parameter Aktif

Qwen3.8-Flash-Next Menampilkan Pratinjau Arsitektur Qwen4 dengan Hybrid Attention dan 6B Parameter Aktif

Tim Qwen milik Alibaba merilis Qwen3.8-Flash-Next pada 26 Agustus 2026, sebuah model eksperimental open-weight yang menampilkan pratinjau arsitektur yang akan menjadi dasar Qwen4. Model ini memiliki 125B parameter tetapi hanya mengaktifkan 6B per token, konfigurasi yang tim gambarkan sebagai langkah menuju apa yang mereka sebut efisiensi biaya tertinggi.

Rilis ini merupakan model publik pertama yang dibangun dengan desain ini. Kartu model Qwen3.8-Flash-Next menjelaskan bahwa ia adalah model bahasa kausal dengan enkoder visi, dilatih melalui pra‑pelatihan dan pasca‑pelatihan, serta mencantumkan panjang konteks asli sebesar 262.144 token yang dapat diperluas hingga 1 juta. Kartu tersebut menempatkan model ini sebagai langkah konkret menuju efisiensi, bukan sebagai flagship kemampuan: kekhawatiran tim adalah bagaimana pilihan arsitektur memengaruhi biaya inferensi pada skala besar, terutama karena beban kerja agenik dengan konteks panjang menjadi kasus penggunaan utama.

Hybrid Attention, Gated Residuals, dan Embedding N‑Gram

Arsitektur ini didasarkan pada empat perubahan yang disebutkan. Pertama adalah skema hybrid attention yang direvisi. Model hybrid Qwen sebelumnya menggabungkan Gated DeltaNet dengan Gated Attention; Qwen3.8-Flash-Next menggantikan yang terakhir dengan Qwen Sparse Attention, atau QSA, yang beroperasi pada tingkat mikro‑blok alih‑alih memilih token individu. Kartu tersebut mengklaim bahwa hal ini secara signifikan mengurangi latensi pada konteks panjang. Model menyusun 48 lapisannya dalam pola berulang: tiga blok Gated DeltaNet yang masuk ke lapisan mixture‑of‑experts, diikuti satu blok QSA yang masuk ke lapisan mixture‑of‑experts, pola ini diulang dua belas kali.

Perubahan kedua adalah mekanisme gated residual yang mengatur aliran informasi melalui aliran residual yang diperlebar menggunakan gerbang baca berbasis elemen dan bergantung pada data serta gerbang tulis skalar per cabang. Kartu tersebut menyajikannya sebagai cara untuk memperoleh ekspresivitas yang lebih halus di seluruh lapisan sambil mempertahankan stabilitas pelatihan dan menjaga overhead inferensi tetap rendah.

Yang ketiga adalah lapisan embedding n‑gram. Alih‑alih meningkatkan parameter melalui tambahan expert, model menambahkan 51B parameter dalam embedding terpisah yang diindeks oleh bigram dan trigram pendek pada lapisan 2. Tim menggambarkan ini sebagai sumbu skala parameter yang membutuhkan komputasi lebih sedikit dibandingkan mixture‑of‑experts dan lebih mudah dipindahkan ke akselerator dengan memori terbatas. Kartu juga mencatat adanya lapisan prediksi multi‑token dengan 4B parameter yang dilatih dengan multi‑step.

Perubahan keempat adalah resep pelatihan itu sendiri. Optimizer Muon dan AdamW diterapkan pada kategori bobot tertentu, dan tim menyatakan bahwa mereka menghilangkan warm‑up ukuran batch tradisional dengan memulai langsung pada ukuran batch target, dipandu oleh hukum skala yang telah disesuaikan kembali. Menurut kartu, hal ini secara signifikan mengurangi total langkah optimizer sekaligus mendukung laju belajar yang lebih tinggi.

Benchmark yang Dilaporkan Vendor dan Apa yang Diukurnya

Kartu tersebut melaporkan hasil benchmark yang membandingkan Qwen3.8-Flash-Next dengan Qwen3.8-27B, Qwen3.7-Plus, DeepSeek-V4-Flash-0731, dan Claude-Opus-4.6 (Max). Angka-angka ini dilaporkan oleh vendor, dievaluasi menggunakan harness milik tim, dan harus dipahami demikian. Pada pengkodean agenik, kartu mencantumkan skor DeepSWE 1.1 sebesar 58,7 dibandingkan 42,2 untuk Qwen3.8-27B dan 54,4 untuk DeepSeek-V4-Flash, dengan catatan bahwa DeepSWE dijalankan dengan dua harness (Claude Code dan mini‑SWE‑agent) dan skor tertinggi di antara keduanya yang dilaporkan. Pada SWE‑bench Pro, Qwen3.8-Flash-Next memperoleh skor 62,5, di atas Qwen3.8-27B yang mencatat 61,7 dan Qwen3.7-Plus dengan 55,8, dengan semua model dievaluasi ulang pada versi benchmark yang disempurnakan setelah tim memperbaiki apa yang mereka sebut tugas bermasalah.

Polanya yang penting adalah klaim efisiensi, bukan angka tunggal mana pun. Kartu mencantumkan total 125B parameter dengan 6B yang diaktifkan, dibandingkan dengan 397B total dan 17B yang diaktifkan untuk Qwen3.7-Plus. Di sisi pengetahuan umum, model mencatat skor GPQA Diamond sebesar 91,7, skor LiveCodeBench v6 sebesar 91,9, dan skor HLE sebesar 35,9 yang dinilai oleh GPT‑4o bukan penilai standar benchmark. Kartu tersebut transparan mengenai pilihan-pilihan ini, yang lebih banyak dibandingkan banyak rilis lainnya, namun tetap merupakan keputusan yang diambil vendor.

Ketersediaan dan Jalan Menuju Qwen4

Qwen3.8-Flash-Next kini tersedia di Hugging Face dengan lisensi qwen-community-1.0, dengan bobot dalam format BF16 yang totalnya kira‑kira 180B parameter meliputi model bahasa, embedding n‑gram, dan lapisan prediksi multi‑token. Kartu tersebut merekomendasikan penyebaran melalui SGLang, vLLM, atau TokenSpeed, dan mencatat bahwa Qwen3.8-Flash — versi produksi yang dibangun di atas pratinjau ini dengan konteks default 1 juta token serta alat bawaan resmi — adalah versi yang ditujukan untuk penggunaan API terkelola melalui Qwen Cloud.

Label “Next” adalah petunjuknya. Tim secara eksplisit menyatakan bahwa ini adalah pratinjau eksperimental dari arsitektur yang akan menjadi dasar Qwen4, yang menempatkannya dalam kategori yang sama dengan rilis Qwen sebelumnya yang menguji arah desain sebelum siklus flagship. Apakah desain spesifik ini menjadi fondasi Qwen4 atau menjadi cabang yang kemudian ditinggalkan tim, rilis ini mendokumentasikan di mana satu laboratorium utama menaruh taruhan efisiensinya.