Z.ai Rincian Inference GLM-5.3-Flash Dibangun pada 100.000 Chip Buatan China

Z.ai pada 17 September 2026 menerbitkan sebuah laporan teknis yang menjelaskan bagaimana mereka membangun layanan inference kelas produksi lengkap untuk model GLM-5.3-Flash dari awal pada klaster lebih dari 100.000 akselerator AI buatan China. Menurut perusahaan, sebagian besar pekerjaan dilakukan oleh Infra Agent yang didukung oleh GLM-5.3 bukan hanya oleh insinyur infrastruktur, dan semua inference produksi untuk GLM-5.3-Flash berjalan pada sistem tersebut.

Z.ai mengatakan tidak ada yang sebelumnya mengoperasikan klaster akselerator buatan China pada skala ini. Perusahaan menyebut kapasitas memori pada chip yang relatif terbatas dan bandwidth, arsitektur model baru, jendela konteks 1 juta token, serta permintaan multimodal, bersama dengan ekosistem yang belum matang di mana dukungan kernel belum lengkap dan insinyur harus menebak perilaku yang seharusnya didokumentasikan.

GLM-5.3-Flash diluncurkan pada 26 Agustus 2026 sebagai model multimodal pertama secara native dalam seri GLM-5, dengan total 320 miliar parameter dan 18 miliar parameter aktif di bawah arsitektur hibrida yang menggabungkan perhatian sparse dan linear. Sebelum rilis, Z.ai menguji model tersebut secara anonim sebagai ox-alpha di OpenCode dan OpenRouter, dan perusahaan mengatakan model itu menjadi model paling banyak digunakan di kedua platform dalam waktu seminggu setelah peluncuran, memproses lebih dari 62 triliun token dalam enam hari.

Metode Umpan Balik Padat

Di inti laporan terdapat masalah sistem: metrik end-to-end dapat memberi tahu agen bahwa hasil memburuk, namun tidak menjelaskan penyebabnya. Tes akurasi numerik yang gagal, peningkatan 30% pada waktu token pertama, atau penurunan 20% pada throughput output tidak menunjukkan lapisan mana yang bertanggung jawab atau apa yang harus diuji selanjutnya. Jawaban Z.ai, yang disebutnya umpan balik padat, menggabungkan tes kebenaran, log runtime, jejak eksekusi, peristiwa runtime, mikrobenchmark, dan metrik end-to-end ke dalam alur kerja berulang yang memungkinkan agen memvalidasi setiap hipotesis secara lokal alih-alih menunggu penyebaran penuh dan uji beban setelah setiap perubahan.

Perusahaan mendefinisikan tiga properti yang diperlukan untuk umpan balik semacam itu. Umpan balik harus bersifat lokal, terhubung bila memungkinkan dengan parameter peluncuran spesifik, perubahan kode, kernel, kondisi input, thread, interval eksekusi, atau jalur kode. Umpan balik harus murah dan dapat diperoleh dengan cepat. Selain itu, umpan balik harus mendukung verifikasi objektif melalui implementasi referensi dan eksperimen terkontrol, karena korelasi yang diamati saja tidak menetapkan penyebab utama.

Dalam siklus peluncuran yang dijelaskan dalam laporan, insinyur menetapkan tujuan dan batasan sistem serta meninjau perubahan kritis yang melibatkan semantik numerik, perilaku konkruensi, dan risiko produksi, sementara agen menangani analisis, hipotesis, dan perubahan kode. Tumpukan yang mereka optimalkan bersama menggabungkan paralelisme tensor intra-node untuk perhatian linear dan LM Head, ReplaySSM, kuantisasi W8A8, kuantisasi cache campuran presisi INT8/FP8/BF16, serta Layer Split, di bawah arsitektur terpisah Encode-Prefill-Decode.

Tiga Kasus Rekayasa

Kasus pertama berkaitan dengan kebenaran numerik. Validasi yang membandingkan jalur eksekusi kernel terpartisi dan tidak terpartisi mengungkapkan masalah akurasi pada jalur Context Parallelism kernel KDA: operasi tl.dot secara default menggunakan komputasi TF32 bahkan ketika masukan berupa FP32, sehingga kesalahan terakumulasi selama penggabungan status dan bertambah seiring panjang konteks meningkat. Perbaikan secara eksplisit menetapkan presisi masukan menjadi tf32x3, yang menggunakan tiga operasi Tensor Core TF32 untuk menghasilkan hasil dengan presisi lebih tinggi.

Menurut laporan, perbaikan tersebut digabungkan ke dalam Flash Linear Attention. permintaan tarik, yang dibuka dan digabungkan pada 27 Agustus 2026, menerapkan rantai afine tf32x3 dalam kernel pembaruan status dan penggabungan transformasi sebagai jalur akurasi opsional, menambahkan tes Context Parallelism, dan secara eksplisit kembali ke presisi ieee pada platform tanpa dukungan tf32 (AMD, NPU, dan GPU NVIDIA di bawah kemampuan komputasi 8.0).

Kasus kedua berkaitan dengan bottleneck konkruensi KV Transfer. Menurut laporan, insinyur menetapkan kriteria penerimaan bahwa, dengan beban kerja yang sama, Prefill plus KV Transfer harus berjalan dalam selisih 5% dari baseline Prefill saja. Agen menemukan kesenjangan lebih dari 20% dalam beberapa skenario dan menelusurnya ke DeepEP v1.2.1, di mana baik intranodepengiriman maupun intranodemenggabungkan panggilan tidak secara eksplisit melepaskan GIL Python. Selama panggilan tersebut memegang kunci, thread Python Mooncake Transfer dalam proses yang sama tidak dapat memperoleh GIL tepat waktu, sehingga penjadwalan dan pengajuan tugas transfer terganggu dan tumpang tindih dengan komputasi menyusut. Laporan mencatat bahwa internode_dispatch pada versi yang sama sudah melepaskan GIL, dengan komentar kode yang menyatakan maksudnya untuk menghindari pemblokiran KV Transfer di thread lain sementara CPU menunggu. Setelah perbaikan melepaskan GIL selama interval eksekusi C++ yang relevan, laporan mencatat bahwa kesenjangan turun di bawah 1% pada kondisi uji yang sama.

Kasus ketiga menyangkut kinerja kernel. Z.ai memiliki agen yang menyaring teknik dari kernel buatan tangan dalam proyek-proyek termasuk SGLang, Flash Linear Attention, dan DeepGEMM menjadi rangka kerja optimisasi yang dapat digunakan kembali, yang memuat kondisi penerapan, metode transformasi, batasan sumber daya, dan bukti validasi. Pada kernel KDA Decode yang representatif, perusahaan melaporkan bahwa optimisasi pembagian agen mengurangi waktu eksekusi sebesar 9,6 %. Setelah umpan balik mengidentifikasi komputasi sebagai kendala utama, agen tersebut menggabungkan ubin dimensi V kernel, yang sebelumnya mengulangi normalisasi FP32 dan perhitungan gating yang sama empat kali, menjadi satu blok utas dengan hasil perantara yang disimpan di register dan satu reduksi tingkat warp, menghasilkan percepatan 1,71× dibandingkan versi sebelumnya, menurut laporan perusahaan.

Hasil yang Dinyatakan dan Peningkatan Diri Rekursif

Z.ai melaporkan bahwa GLM-5.3-Flash beralih dari adaptasi model awal ke kesiapan produksi dalam waktu kurang dari dua minggu, dengan throughput end-to-end pada akhirnya meningkat tiga kali lipat dibandingkan baseline awal. Perusahaan juga menyatakan bahwa efisiensi pemanfaatan perangkat keras dan biaya per token mencapai tingkat yang sebanding dengan GPU NVIDIA mainstream.

Perusahaan menggambarkan upaya ini sebagai contoh awal peningkatan diri rekursif, dengan mencatat bahwa model tersebut berpartisipasi dalam mengoptimalkan sistem inferensi tempat ia dijalankan. Pada saat yang sama, Z.ai menyatakan bahwa mereka belum mencapai peningkatan diri rekursif, dan bahwa pemilihan tujuan, penetapan batas, serta penilaian risiko tetap menjadi tanggung jawab manusia yang mereka yakini harus terus dipegang oleh manusia.