Z.ai Rincian Inferensi GLM-5.3-Flash Dibangun di 100.000 Chip Buatan China

Z.ai pada 17 September 2026 menerbitkan sebuah laporan teknis yang menjelaskan bagaimana mereka membangun layanan inferensi produksi lengkap untuk model GLM-5.3-Flash dari awal pada klaster lebih dari 100.000 akselerator AI buatan China. Menurut perusahaan, sebagian besar pekerjaan dilakukan oleh Infra Agent yang didukung oleh GLM-5.3 bukan hanya oleh insinyur infrastruktur, dan semua inferensi produksi untuk GLM-5.3-Flash berjalan pada sistem tersebut.

Z.ai mengatakan tidak ada yang sebelumnya mengoperasikan klaster akselerator buatan China pada skala ini. Perusahaan menyebutkan kapasitas memori on-chip dan bandwidth yang relatif terbatas, arsitektur model baru, jendela konteks 1 juta token, dan permintaan multimodal, serta ekosistem yang masih belum matang di mana dukungan kernel belum lengkap dan insinyur harus menebak perilaku yang seharusnya sudah didokumentasikan.

GLM-5.3-Flash dirilis pada 26 Agustus 2026 sebagai model multimodal pertama secara native dalam seri GLM-5, dengan total 320 miliar parameter dan 18 miliar parameter aktif di bawah arsitektur hibrida yang menggabungkan perhatian sparse dan linear. Sebelum dirilis, Z.ai menguji model tersebut secara anonim sebagai ox-alpha di OpenCode dan OpenRouter, dan perusahaan mengatakan model ini menjadi model paling banyak digunakan di kedua platform tersebut dalam waktu seminggu setelah peluncuran, memproses lebih dari 62 triliun token dalam enam hari.

Metode Umpan Balik Padat

Di inti laporan tersebut terdapat masalah sistem: metrik end-to-end dapat memberi tahu agen bahwa hasilnya memburuk, tetapi tidak mengapa. Tes akurasi numerik yang gagal, peningkatan 30% pada waktu ke token pertama, atau penurunan 20% pada throughput output tidak menunjukkan lapisan mana yang bertanggung jawab atau apa yang harus diuji selanjutnya. Jawaban Z.ai, yang disebutnya umpan balik padat, menggabungkan tes kebenaran, log runtime, jejak eksekusi, peristiwa runtime, mikrobenchmark, dan metrik end-to-end ke dalam alur kerja berulang yang memungkinkan agen memvalidasi setiap hipotesis secara lokal alih-alih menunggu penyebaran penuh dan uji beban setelah setiap perubahan.

Perusahaan mendefinisikan tiga sifat wajib untuk umpan balik semacam itu. Umpan balik harus bersifat lokal, terhubung bila memungkinkan dengan parameter peluncuran spesifik, perubahan kode, kernel, kondisi input, thread, interval eksekusi, atau jalur kode. Umpan balik harus murah dan dapat diperoleh secara cepat. Selain itu, umpan balik harus mendukung verifikasi objektif melalui implementasi referensi dan eksperimen terkontrol, karena korelasi yang diamati saja tidak menetapkan penyebab utama.

Dalam siklus peluncuran yang dijelaskan dalam laporan, insinyur menetapkan tujuan dan batas sistem serta meninjau perubahan kritis yang melibatkan semantik numerik, perilaku konkurensi, dan risiko produksi, sementara agen menangani analisis, hipotesis, dan perubahan kode. Tumpukan yang mereka optimalkan bersama menggabungkan paralelisme tensor intra-node untuk perhatian linear dan LM Head, ReplaySSM, kuantisasi W8A8, kuantisasi cache campuran presisi INT8/FP8/BF16, serta Layer Split, di bawah arsitektur terpisah Encode-Prefill-Decode.

Tiga Kasus Rekayasa

Kasus pertama berkaitan dengan kebenaran numerik. Validasi yang membandingkan jalur eksekusi kernel terpartisi dan tidak terpartisi mengungkap masalah akurasi pada jalur Context Parallelism kernel KDA: operasi tl.dot secara default menggunakan komputasi TF32 meskipun masukannya FP32, sehingga kesalahan terakumulasi selama penggabungan status dan bertambah seiring peningkatan panjang konteks. Perbaikan secara eksplisit menetapkan presisi input ke tf32x3, yang menggunakan tiga operasi Tensor Core TF32 untuk menghasilkan hasil dengan presisi lebih tinggi.

Menurut laporan, perbaikan tersebut digabungkan ke hulu ke dalam Flash Linear Attention. permintaan tarik yang dibuka dan digabungkan pada 27 Agustus 2026, menerapkan rantai afine tf32x3 pada kernel pembaruan status dan penggabungan transformasi sebagai jalur akurasi opsional, menambahkan tes Context Parallelism, dan secara eksplisit kembali ke presisi ieee pada platform tanpa dukungan tf32 (AMD, NPU, dan GPU NVIDIA di bawah kemampuan komputasi 8.0).

Kasus kedua berkaitan dengan bottleneck konkurensi KV Transfer. Menurut laporan, insinyur menetapkan kriteria penerimaan bahwa, dengan beban kerja yang sama, Prefill plus KV Transfer harus berjalan dalam selisih 5% dari baseline hanya Prefill. Agen menemukan kesenjangan yang melebihi 20% dalam beberapa skenario dan melacaknya ke DeepEP v1.2.1, di mana tidak ada yang intranode_dispatch atau intranode_combine memanggil secara eksplisit melepaskan Python GIL. Selama panggilan tersebut memegang kunci, thread Python Mooncake Transfer dalam proses yang sama tidak dapat memperoleh GIL tepat waktu, sehingga penjadwalan dan pengiriman tugas transfer tertunda dan tumpang tindih dengan komputasi menyusut. Laporan mencatat bahwa internode_dispatch pada versi yang sama sudah melepaskan GIL, dengan komentar kode yang menyatakan tujuan untuk menghindari pemblokiran KV Transfer di thread lain sementara CPU menunggu. Setelah perbaikan melepaskan GIL selama interval eksekusi C++ yang relevan, laporan menyebutkan, kesenjangan turun di bawah 1% dengan kondisi pengujian yang sama.

Kasus ketiga menyangkut kinerja kernel. Z.ai telah mengajarkan agen untuk mengekstrak teknik dari kernel buatan tangan dalam proyek-proyek termasuk SGLang, Flash Linear Attention, dan DeepGEMM menjadi rangka kerja optimisasi yang dapat digunakan kembali, yang memuat kondisi kegunaan, metode transformasi, batasan sumber daya, dan bukti validasi. Pada kernel KDA Decode yang representatif, perusahaan melaporkan bahwa optimisasi pembagian agen mengurangi waktu eksekusi sebesar 9,6 %. Setelah umpan balik mengidentifikasi komputasi sebagai kendala utama, agen tersebut menggabungkan ubin dimensi V kernel, yang sebelumnya melakukan normalisasi FP32 dan perhitungan gating yang sama empat kali, menjadi satu blok thread dengan hasil perantara yang disimpan di register dan satu reduksi tingkat warp, menghasilkan percepatan 1,71× dibandingkan versi sebelumnya.

Hasil yang Dinyatakan dan Peningkatan Diri Rekursif

Z.ai melaporkan bahwa GLM-5.3-Flash berpindah dari adaptasi model awal ke kesiapan produksi dalam waktu kurang dari dua minggu, dengan throughput ujung-ke-ujung akhirnya meningkat tiga kali lipat dibandingkan baseline awal. Perusahaan juga menyatakan bahwa efisiensi pemanfaatan perangkat keras dan biaya per token mencapai tingkat yang sebanding dengan GPU NVIDIA mainstream.

Perusahaan menggambarkan upaya ini sebagai contoh awal peningkatan diri rekursif, dengan mencatat bahwa model tersebut berpartisipasi dalam mengoptimalkan sistem inferensi tempat ia dijalankan. Pada saat yang sama, Z.ai menyatakan bahwa mereka belum mencapai peningkatan diri rekursif, dan bahwa pemilihan tujuan, penetapan batas, serta penilaian risiko tetap menjadi tanggung jawab manusia yang mereka yakini harus terus dipegang oleh manusia.