Z.ai, 100.000 Çin yapımı çip üzerinde GLM-5.3-Flash Çıkarımını Detaylandırıyor

Z.ai 17 Eylül 2026’da, 100.000’den fazla Çin yapımı AI hızlandırıcısından oluşan bir kümede sıfırdan GLM-5.3-Flash modeline yönelik tam üretim kalitesinde bir çıkarım hizmeti nasıl inşa ettiğini açıklayan bir teknik rapor yayınladı. Şirkete göre, çalışmaların büyük bir kısmı yalnızca altyapı mühendisleri yerine GLM-5.3 destekli bir Infra Agent tarafından yürütüldü ve GLM-5.3-Flash için tüm üretim çıkarımları sistem üzerinde çalışıyor.

Z.ai, daha önce hiç kimsenin bu ölçekte Çin yapımı hızlandırıcı kümesi çalıştırmadığını belirtti. Şirket, görece sınırlı çip içi bellek kapasitesi ve bant genişliği, yeni bir model mimarisi, 1M tokenlık bağlam penceresi ve çok modlu isteklerin yanı sıra, çekirdek desteğinin eksik olduğu ve mühendislerin belgelenmesi gereken davranışları tahmin etmek zorunda kaldığı olgunlaşmamış bir ekosistemi de işaret etti.

GLM-5.3-Flash 26 Ağustos 2026’da piyasaya sürüldü ve GLM-5 serisindeki ilk yerel çok modlu model olarak 320 milyar toplam parametre ve seyrek ve lineer dikkat birleştiren hibrit bir mimari altında 18 milyar aktif parametreye sahip. Yayına önceden, Z.ai modeli OpenCode ve OpenRouter üzerinde anonim olarak ox-alpha adıyla test etti ve şirket, lansmandan bir hafta içinde her iki platformda da en çok kullanılan model haline geldiğini, altı günde 62 trilyondan fazla token işlediğini belirtti.

Yoğun Geri Bildirim Yöntemi

Hikayenin merkezinde bir sistem sorunu var: uçtan uca metrikler bir ajanı sonuçların kötüleştiğini söyleyebilir, ancak nedenini açıklamaz. Başarısız bir sayısal doğruluk testi, ilk token süresinde %30 artış veya çıktı veriminde %20 düşüş, hangi katmanın sorumlu olduğunu veya bir sonraki testin ne olması gerektiğini göstermez. Z.ai’nin, yoğun geri bildirim olarak adlandırdığı yanıtı, doğruluk testlerini, çalışma zamanı günlüklerini, yürütme izlerini, çalışma zamanı olaylarını, mikro ölçümleri ve uçtan uca metrikleri tekrarlanabilir iş akışlarına entegre eder; bu sayede ajan her hipotezi yerel olarak doğrulayabilir ve her değişiklikten sonra tam bir dağıtım ve yük testi beklemek zorunda kalmaz.

Şirket, bu tür geri bildirim için üç zorunlu özelliği tanımlıyor. Geri bildirim yerel olmalı, mümkün olduğunca belirli başlatma parametreleri, kod değişiklikleri, çekirdekler, giriş koşulları, iş parçacıkları, yürütme aralıkları veya kod yollarına bağlanmalıdır. Ucuz ve zamanında elde edilebilir olmalı. Ayrıca, gözlemlenen korelasyonların tek başına bir temel nedeni kanıtlamadığı için referans uygulamalar ve kontrollü deneyler aracılığıyla nesnel doğrulamayı desteklemelidir.

Hikayenin tanımladığı başlatma döngüsünde, mühendisler hedefleri ve sistem sınırlarını belirledi, sayısal semantik, eşzamanlılık davranışı ve üretim riskiyle ilgili kritik değişiklikleri gözden geçirdi; bu sırada ajan analiz, hipotezler ve kod değişikliklerini yönetti. Ortak olarak optimize ettikleri yığın, lineer dikkat ve LM Head için düğüm içi tensör paralelliği, ReplaySSM, W8A8 kuantizasyonu, karışık hassasiyetli INT8/FP8/BF16 önbellek kuantizasyonu ve Katman Bölmesi’ni, Encode-Prefill-Decode ayrık mimarisi altında birleştirdi.

Üç Mühendislik Vakası

İlk vaka sayısal doğrulukla ilgilidir. Bölünmüş ve bölünmemiş çekirdek yürütme yollarının karşılaştırılmasıyla KDA çekirdeğinin Bağlam Paralelliği yolunda bir doğruluk sorunu ortaya çıktı: tl.dot işlemi, girdileri FP32 olsa bile varsayılan olarak TF32 hesaplamasını kullanıyordu, bu da durum birleştirme sırasında hataların birikmesine ve bağlam uzunluğu arttıkça artmasına neden oldu. Düzeltme, girdi hassasiyetini tf32x3 olarak açıkça ayarladı; bu, daha yüksek hassasiyetli bir sonuç elde etmek için üç TF32 Tensor Core işlemi kullanır.

Hikayeye göre, düzeltmeler Flash Linear Attention’a yukarı akışta birleştirildi. çekme isteği, 27 Ağustos 2026’da açıldı ve birleştirildi, tf32x3 affine zincirini durum güncelleme ve dönüşüm birleştirme çekirdeklerinde isteğe bağlı bir doğruluk yolu olarak uygular, Bağlam Paralelliği testlerini ekler ve tf32 desteği olmayan platformlarda (AMD, NPU’lar ve hesaplama yeteneği 8.0’ın altında NVIDIA GPU’ları) açıkça ieee hassasiyetine geri döner.

İkinci vaka KV Transfer eşzamanlılık darboğazıyla ilgilidir. Hikayeye göre, mühendisler aynı iş yükü altında Prefill ve KV Transfer’in Prefill yalnızca temel durumunun %5’i içinde çalışması gerektiği bir kabul kriteri belirledi. Ajan, bazı senaryolarda %20’yi aşan boşluklar buldu ve bunları DeepEP v1.2.1’e, içinde ne intranode_dispatch ne de intranode_combine çağrı açıkça Python GIL’ini serbest bıraktı. Bu çağrılar kilidi tuttuğu sürece, aynı süreçteki Mooncake Transfer Python iş parçacığı zamanında GIL’i elde edemedi, bu yüzden transfer görevlerinin zamanlaması ve gönderimi gecikti ve hesaplama ile çakışma azaldı. Hikaye, aynı sürümdeki internode_dispatch’in zaten GIL’i serbest bıraktığını, kod yorumunda amacın CPU beklerken diğer iş parçacıklarındaki KV Transfer’in engellenmesini önlemek olduğunu belirtiyor. İlgili C++ yürütme aralıklarında GIL’i serbest bırakan düzeltmeden sonra, aynı test koşulları altında boşluğun %1’in altına düştüğünü rapor ediyor.

Üçüncü durum çekirdek performansını ilgilendirir. Z.ai, SGLang, Flash Linear Attention ve DeepGEMM gibi projelerde el yazısı çekirdeklerinden elde edilen teknikleri, uygulanabilirlik koşulları, dönüşüm yöntemleri, kaynak kısıtlamaları ve doğrulama kanıtları içeren yeniden kullanılabilir optimizasyon iskeletlerine dönüştürdü. Temsilci bir KDA Decode çekirdeğinde, şirket, temsilcinin bölüm optimizasyonunun yürütme süresini %9,6 azalttığını rapor etti. Geri bildirim, hesaplamayı birincil darboğaz olarak belirledikten sonra, temsilci çekirdeğin V-boyutlu döşemelerini birleştirdi; bu döşemeler aynı FP32 normalizasyon ve geçit hesaplamasını dört kez tekrarlıyordu ve bunlar tek bir iş parçacığı bloğunda, kayıt‑rezident ara sonuçlar ve bir warp‑seviyesi indirgeme ile birleştirildi ve şirketin önceki sürüme göre %1,71 hız artışı sağladığını bildirdi.

Belirtilen Sonuçlar ve Özyinelemeli Kendini Geliştirme

Z.ai, GLM-5.3-Flash’in ilk model uyarlamasından üretim hazır hale gelmesine iki haftadan daha kısa bir sürede ulaştığını ve uçtan uca verimliliğin başlangıçtaki temel seviyeye göre üç katına çıktığını rapor ediyor. Şirket ayrıca donanım kullanım verimliliği ve token başına maliyetin, ana akım NVIDIA GPU’larıyla karşılaştırılabilir seviyelere ulaştığını belirtti.

Şirket, bu çabayı, modelin çalıştığı çıkarım sisteminin optimizasyonuna katıldığı erken bir özyinelemeli kendini geliştirme örneği olarak çerçeveliyor. Aynı zamanda Z.ai, henüz özyinelemeli kendini geliştirmeye ulaşmadığını ve hedeflerin seçilmesi, sınırların belirlenmesi ve risk değerlendirmesinin hâlâ insanlar tarafından üstlenilmesi gereken sorumluluklar olduğunu, bu sorumlulukların insanlarda kalması gerektiğine inandığını ifade ediyor.