Z.ai podrobnosti o inferenci GLM-5.3-Flash postavené na 100 000 čínských čipech

Z.ai 17. září 2026 zveřejnil technický popis, který popisuje, jak postavil kompletní inferenční službu produkční úrovně pro svůj model GLM-5.3-Flash od základů na klastru více než 100 000 čínských AI akcelerátorů. Podle společnosti velká část práce byla provedena Infra Agentem poháněným GLM-5.3 spíše než samotnými infrastrukturálními inženýry a veškerá produkční inference pro GLM-5.3-Flash běží na tomto systému.

Z.ai uvedl, že dosud nikdo neprovozoval klastr čínských akcelerátorů v takovém měřítku. Společnost poukázala na relativně omezenou kapacitu paměti na čipu a šířku pásma, novou architekturu modelu, okno kontextu o velikosti 1 M tokenů a multimodální požadavky, spolu s nedostatečně vyspělým ekosystémem, ve kterém podpora kernelů nebyla kompletní a inženýři museli hádat chování, které mělo být zdokumentováno.

GLM-5.3-Flash spuštěn 26. srpna 2026 jako první nativně multimodální model v sérii GLM-5, s celkovým počtem 320 miliard parametrů a 18 miliardami aktivních parametrů pod hybridní architekturou kombinující řídkou a lineární pozornost. Před vydáním Z.ai testoval model anonymně jako ox-alpha na OpenCode a OpenRouter a společnost uvedla, že se během týdne od spuštění stal nejpoužívanějším modelem na obou platformách, zpracoval více než 62 bilionů tokenů během šesti dnů.

Metoda husté zpětné vazby

V jádru popisu je problém se systémy: metriky end-to-end mohou agentovi říci, že výsledky se zhoršily, ale ne proč. Selhání testu numerické přesnosti, 30 % nárůst doby do prvního tokenu nebo 20 % pokles propustnosti výstupu neukazují, která vrstva je odpovědná ani co testovat dál. Odpovědí Z.ai, kterou nazývá hustou zpětnou vazbou, je sloučení testů správnosti, protokolů běhu, výkonnostních stop, událostí během běhu, mikrobenchmarků a end-to-end metrik do opakovatelných pracovních postupů, které umožňují agentovi lokálně ověřovat každou hypotézu místo čekání na úplné nasazení a zátěžový test po každé změně.

Společnost definuje tři požadované vlastnosti takové zpětné vazby. Musí být lokální, kde je to možné svázána se specifickými parametry spuštění, změnami kódu, kernely, vstupními podmínkami, vlákny, intervaly vykonávání nebo cestami kódu. Musí být levná a rychle získatelná. A musí podporovat objektivní ověření pomocí referenčních implementací a kontrolovaných experimentů, protože pozorované korelace samy o sobě nestanovují příčinu.

V popisu spouštěcí smyčky inženýři definovali cíle a systémové hranice a přezkoumali kritické změny týkající se numerické sémantiky, chování souběžnosti a rizika produkce, zatímco agent zpracovával analýzu, hypotézy a změny kódu. Stack, který společně optimalizovali, kombinoval intra-uzlový tensorový paralelismus pro lineární pozornost a LM Head, ReplaySSM, kvantizaci W8A8, smíšenou kvantizaci INT8/FP8/BF16 v cache a rozdělení vrstev, pod architekturou disagregované Encode-Prefill-Decode.

Tři inženýrské případy

První případ se týká numerické správnosti. Validace porovnávající rozdělené a nerozdělené cesty vykonávání kernelu odhalila problém s přesností v cestě Context Parallelism kernelu KDA: operace tl.dot výchozím nastavením používala výpočet TF32 i když její vstupy byly FP32, takže se během slučování stavů hromadily chyby a zhoršovaly se s rostoucí délkou kontextu. Oprava explicitně nastavila vstupní přesnost na tf32x3, která využívá tři TF32 Tensor Core operace k dosažení vyšší přesnosti.

Podle popisu byly opravy sloučeny do hlavní větve Flash Linear Attention. žádost o sloučení, otevřená a sloučená 27. srpna 2026, aplikuje řetězec tf32x3 affine v jádrech aktualizace stavu a sloučení transformací jako volitelnou cestu přesnosti, přidává testy Context Parallelism a explicitně přepíná na přesnost ieee na platformách bez podpory tf32 (AMD, NPU a grafické karty NVIDIA pod výpočetní kapacitou 8.0).

Druhý případ se týká úzkého místa souběžnosti KV Transfer. Podle popisu inženýři stanovili akceptační kritérium, že při stejném zatížení by Prefill plus KV Transfer měly běžet do 5 % od základní linie Prefill-only. Agent našel mezery přesahující 20 % v některých scénářích a vysledoval je k DeepEP v1.2.1, ve kterém ani intranode_dispatch ani intranode_combine volání explicitně uvolnilo Python GIL. Dokud tato volání držela zámek, Python vlákno Mooncake Transfer ve stejném procesu nemohlo GIL včas získat, takže plánování a odesílání úloh přenosu se zpozdily a překrytí s výpočtem se zmenšilo. Popis uvádí, že internode_dispatch ve stejné verzi již uvolnil GIL, s komentářem v kódu, který uvádí, že cílem bylo zabránit blokování KV Transfer v jiných vláknech, zatímco CPU čeká. Po tom, co oprava uvolnila GIL během relevantních C++ intervalů vykonávání, popis uvádí, že mezera klesla pod 1 % za stejných testovacích podmínek.

Třetí případ se týká výkonu jádra. Z.ai nechala agenta odvodit techniky z ručně psaných jader v projektech, mezi které patří SGLang, Flash Linear Attention a DeepGEMM, a vytvořit znovupoužitelné optimalizační kostry obsahující podmínky použitelnosti, transformační metody, omezení zdrojů a důkazy o validaci. Na reprezentativním jádru KDA Decode společnost uvádí, že optimalizace dělení agenta zkrátila dobu provádění o 9,6 %. Po zpětné vazbě, která identifikovala výpočet jako hlavní úzké místo, agent sloučil dlaždice V‑rozměru jádra, které čtyřikrát opakovaly stejné výpočty FP32 normalizace a řízení, do jednoho blokového vlákna s mezivýsledky uloženými v registrech a jednou redukcí na úrovni warp, což podle společnosti představuje zrychlení 1,71× oproti předchozí verzi.

Uvedené výsledky a rekurzivní samoučící se zlepšování

Z.ai uvádí, že GLM-5.3-Flash přešel z počáteční adaptace modelu do připravenosti pro produkci za méně než dva týdny, přičemž celková propustnost se nakonec ztrojnásobila oproti počátečnímu výchozímu stavu. Společnost také uvedla, že efektivita využití hardwaru a náklady na token dosáhly úrovně srovnatelné s běžnými GPU od NVIDIA.

Společnost rámuje tento projekt jako raný příklad rekurzivního samoučícího se zlepšování a poznamenává, že model se podílel na optimalizaci inference systému, na kterém běží. Zároveň Z.ai uvádí, že ještě nedosáhla rekurzivního samoučícího se zlepšování a že výběr cílů, stanovení hranic a hodnocení rizik zůstávají lidskými odpovědnostmi, které by lidé měli nadále vykonávat.