Modely a platformy AI
Z.ai podrobnosti o inferenci GLM-5.3-Flash postavené na 100 000 čínských čipech
Přidejte Unite.AI mezi své preferované zdroje na Google
Z.ai 17. září 2026 zveřejnila technický popis, který popisuje, jak od nuly postavila kompletní produkční inferenční službu pro svůj model GLM-5.3-Flash na clusteru více než 100 000 čínských AI akcelerátorů. Podle společnosti byla většina práce prováděna Infra Agentem poháněným GLM-5.3 spíše než samotnými infrastrukturálními inženýry a veškerá produkční inference pro GLM-5.3-Flash běží na tomto systému.
Z.ai uvedla, že dosud nikdo neprovozoval cluster čínských akcelerátorů v takovém měřítku. Společnost poukázala na relativně omezenou kapacitu paměti na čipu a šířku pásma, novou architekturu modelu, kontextové okno o velikosti 1 M tokenů a multimodální požadavky, spolu s nedostatečně vyspělým ekosystémem, ve kterém podpora kernelů byla neúplná a inženýři museli hádat chování, které mělo být zdokumentováno.
GLM-5.3-Flash spuštěn 26. srpna 2026 jako první nativně multimodální model v sérii GLM-5, s celkovým počtem 320 miliard parametrů a 18 miliard aktivních parametrů pod hybridní architekturou kombinující řídkou a lineární pozornost. Před vydáním Z.ai testovala model anonymně jako ox-alpha na OpenCode a OpenRouter a společnost uvedla, že se během týdne od spuštění stal nejpoužívanějším modelem na obou platformách, zpracoval více než 62 trilionů tokenů během šesti dnů.
Metoda husté zpětné vazby
V jádru tohoto popisu je systémový problém: metriky end-to-end mohou agentovi říci, že výsledky se zhoršily, ale ne proč. Selhání testu numerické přesnosti, 30 % nárůst doby do prvního tokenu nebo 20 % pokles propustnosti výstupu neukazují, která vrstva je odpovědná ani co testovat dál. Odpovědí Z.ai, kterou nazývá hustou zpětnou vazbou, je sloučení testů správnosti, protokolů běhu, výkonnostních stop, událostí během běhu, mikrobenchmarků a end-to-end metrik do opakovatelných pracovních postupů, které umožňují agentovi ověřovat každou hypotézu lokálně místo čekání na úplné nasazení a zátěžový test po každé změně.
Společnost definuje tři požadované vlastnosti takové zpětné vazby. Musí být lokální, kde je to možné svázána se specifickými parametry spuštění, změnami kódu, kernely, vstupními podmínkami, vlákny, intervaly vykonávání nebo cestami kódu. Musí být levná a rychle získatelná. A musí podporovat objektivní ověření prostřednictvím referenčních implementací a kontrolovaných experimentů, protože pouhé pozorované korelace samy o sobě nestanovují příčinu.
V popisu spouštěcí smyčky inženýři definovali cíle a systémové hranice a přezkoumali kritické změny týkající se numerické sémantiky, chování souběžnosti a rizika produkce, zatímco agent zajišťoval analýzu, hypotézy a změny kódu. Stack, který společně optimalizovali, kombinoval intra-uzlový tensorový paralelismus pro lineární pozornost a LM Head, ReplaySSM, kvantizaci W8A8, smíšenou kvantizaci INT8/FP8/BF16 v cache a rozdělení vrstev, pod architekturou rozdělenou na Encode‑Prefill‑Decode.
Tři inženýrské případy
První případ se týká numerické správnosti. Validace porovnávající rozdělené a nerozdělené cesty vykonávání kernelu odhalila problém s přesností v cestě Context Parallelism kernelu KDA: operace tl.dot výchozí nastavením používala výpočet TF32 i když vstupy byly FP32, takže se během slučování stavů hromadily chyby a zhoršovaly se s rostoucí délkou kontextu. Oprava explicitně nastavila vstupní přesnost na tf32x3, která využívá tři TF32 Tensor Core operace k dosažení vyšší přesnosti.
Podle popisu byly opravy sloučeny do hlavní větve Flash Linear Attention. žádost o začlenění, otevřená a sloučená 27. srpna 2026, uplatňuje řetězec tf32x3 affine v jádrech aktualizace stavu a sloučení transformací jako volitelnou cestu přesnosti, přidává testy Context Parallelism a explicitně přechází na přesnost IEEE na platformách bez podpory tf32 (AMD, NPU a grafické karty NVIDIA pod výpočetní schopností 8.0).
Druhý případ se týká úzkého místa souběžnosti KV Transfer. Podle popisu inženýři stanovili akceptační kritérium, že při stejném zatížení by mělo Prefill plus KV Transfer běžet do 5 % od základní linie pouze Prefill. Agent našel mezery přesahující 20 % v některých scénářích a vysledoval je na DeepEP v1.2.1, kde ani intranodedispatch ani intranodecombine volání explicitně neuvolňovaly Python GIL. Dokud tyto volání držely zámek, vlákno Mooncake Transfer Python ve stejném procesu nemohlo získat GIL včas, takže plánování a odesílání úkolů přenosu sklouzlo a překrytí s výpočtem se zmenšilo. Popis uvádí, že internode_dispatch ve stejné verzi již uvolňoval GIL, s komentářem v kódu, že záměrem bylo zabránit blokování KV Transfer v jiných vláknech, zatímco CPU čeká. Po uvolnění GIL během relevantních C++ intervalů vykonávání, popis uvádí, že mezera klesla pod 1 % za stejných testovacích podmínek.
Třetí případ se týká výkonu kernelu. Z.ai nechala agenta zestručnit techniky z ručně psaných kernelů v projektech, mezi které patří SGLang, Flash Linear Attention a DeepGEMM, do znovupoužitelných optimalizačních kostry, které obsahují podmínky použitelnosti, transformační metody, omezení zdrojů a validační důkazy. Na reprezentativním kernelu KDA Decode společnost uvádí, že optimalizace dělení agenta zkrátila dobu provádění o 9,6 %. Po zpětné vazbě, která identifikovala výpočet jako hlavní úzké místo, agent sloučil dlaždice V‑dimenze kernelu, které čtyřikrát opakovaly stejné FP32 normalizační a řídící výpočty, do jediného blokového vlákna s mezivýsledky uloženými v registrech a jednou warp‑úrovňovou redukcí, což podle společnosti přineslo zrychlení 1,71× oproti předchozí verzi.
Uvedené výsledky a rekurzivní sebezdokonalování
Z.ai uvádí, že GLM-5.3-Flash přešel z počáteční adaptace modelu na připravenost pro produkci za méně než dva týdny, přičemž konečná propustnost se nakonec ztrojnásobila oproti počátečnímu výchozímu bodu. Společnost také uvedla, že efektivita využití hardwaru a cena za token dosáhly úrovně srovnatelné s běžnými GPU od NVIDIA.
Společnost prezentuje tuto snahu jako raný příklad rekurzivního sebezdokonalování a upozorňuje, že model se podílel na optimalizaci inference systému, na kterém běží. Současně Z.ai uvádí, že ještě nedosáhla rekurzivního sebezdokonalování, a že výběr cílů, stanovení hranic a hodnocení rizik zůstávají lidskými odpovědnostmi, které by podle ní měly nadále zůstávat v rukou lidí.
