Z.ai Details GLM-5.3-Flash Inference‑opbouw op 100.000 Chinese chips

Z.ai publiceerde op 17 september 2026 een technisch verslag waarin wordt beschreven hoe het een volledige productieklare inference‑service voor zijn GLM-5.3-Flash‑model vanaf nul heeft gebouwd op een cluster van meer dan 100.000 in China vervaardigde AI‑versnellers. Volgens het bedrijf werd een groot deel van het werk uitgevoerd door een Infra‑Agent aangedreven door GLM-5.3 in plaats van alleen door infrastructuur‑ingenieurs, en alle productie‑inference voor GLM-5.3-Flash draait op het systeem.

Z.ai stelde dat nog niemand eerder een cluster van in China vervaardigde versnellers op deze schaal had geëxploiteerd. Het bedrijf verwees naar relatief beperkte on-chip geheugen‑capaciteit en bandbreedte, een nieuwe modelarchitectuur, een contextvenster van 1 miljoen tokens en multimodale verzoeken, naast een onvolgroeid ecosysteem waarin kernelondersteuning onvolledig was en ingenieurs moesten raden naar gedrag dat gedocumenteerd had moeten zijn.

GLM-5.3-Flash gelanceerd op 26 augustus 2026 als het eerste native multimodale model in de GLM‑5‑reeks, met in totaal 320 miljard parameters en 18 miljard actieve parameters onder een hybride architectuur die sparse‑ en lineaire aandacht combineert. Voor de release testte Z.ai het model anoniem als ox‑alpha op OpenCode en OpenRouter, en het bedrijf meldde dat het binnen een week na de lancering het meest gebruikte model op beide platforms werd, waarbij meer dan 62 triljoen tokens in zes dagen werden verwerkt.

De Dichte Feedback‑methode

Centraal in het verslag staat een systeemprobleem: end‑to‑end‑metriek kan een agent vertellen dat de resultaten verslechterd zijn, maar niet waarom. Een mislukte numerieke‑nauwkeurigheidstest, een stijging van 30 % in time‑to‑first‑token, of een daling van 20 % in output‑throughput laat niet zien welke laag verantwoordelijk is of wat vervolgens getest moet worden. Het antwoord van Z.ai, dat het ‘dense feedback’ noemt, combineert correctheidstesten, runtime‑logboeken, uitvoeringstracés, runtime‑gebeurtenissen, microbenchmarks en end‑to‑end‑metriek in herhaalbare workflows die de agent in staat stellen elke hypothese lokaal te valideren in plaats van te wachten op een volledige uitrol en load‑test na elke wijziging.

Het bedrijf definieert drie vereiste eigenschappen voor dergelijke feedback. Deze moet lokaal zijn, waar mogelijk gekoppeld aan specifieke launch‑parameters, code‑wijzigingen, kernels, invoercondities, threads, uitvoeringstijdstippen of code‑paden. Ze moet goedkoop en tijdig verkregen kunnen worden. En ze moet objectieve verificatie ondersteunen via referentie‑implementaties en gecontroleerde experimenten, omdat geobserveerde correlaties op zichzelf geen oorzakelijke verklaring bieden.

In de launch‑loop die in het verslag wordt beschreven, definieerden ingenieurs doelstellingen en systeemgrenzen en beoordeelden kritieke wijzigingen met betrekking tot numerieke semantiek, concurrency‑gedrag en productierisico, terwijl de agent analyse, hypothesen en code‑wijzigingen afhandelde. De stack die ze gezamenlijk optimaliseerden combineerde intra‑node tensor‑parallelisme voor lineaire aandacht en de LM‑Head, ReplaySSM, W8A8‑kwantisatie, mixed‑precision INT8/FP8/BF16 cache‑kwantisatie en Layer‑Split, onder een Encode‑Prefill‑Decode‑gedisaggregeerde architectuur.

Drie Engineering‑cases

De eerste case betreft numerieke correctheid. Validatie waarbij de gepartitioneerde en niet‑gepartitioneerde kernel‑uitvoeringspaden werden vergeleken, bracht een nauwkeurigheidsprobleem aan het licht in het Context‑Parallelisme‑pad van de KDA‑kernel: de tl.dot‑operatie viel standaard terug op TF32‑computatie, zelfs wanneer de invoer FP32 was, waardoor fouten zich ophoopten tijdens het samenvoegen van de status en verergerden naarmate de contextlengte toenam. De oplossing stelde de invoerprecisie expliciet in op tf32x3, wat drie TF32 Tensor‑Core‑operaties gebruikt om een resultaat met hogere precisie te leveren.

Volgens het verslag werden de oplossingen upstream samengevoegd in Flash Linear Attention. De pull‑request, geopend en samengevoegd op 27 augustus 2026, past de tf32x3‑affine‑keten toe in de state‑update‑ en transformation‑merge‑kernels als een opt‑in‑nauwkeurigheidspad, voegt Context‑Parallelisme‑tests toe en valt expliciet terug op ieee‑precisie op platforms zonder tf32‑ondersteuning (AMD, NPU’s en NVIDIA‑GPU’s onder compute‑capability 8.0).

De tweede case betreft een KV‑Transfer‑concurrency‑knelpunt. Volgens het verslag stelden ingenieurs een acceptatie‑criterium in dat, onder dezelfde werkbelasting, Prefill plus KV‑Transfer binnen 5 % van de Prefill‑only‑baseline moet draaien. De agent vond in sommige scenario’s gaten van meer dan 20 % en traceerde deze terug naar DeepEP v1.2.1, waarin geen van de intranode_dispatch noch de intranode_combine de oproep gaf expliciet de Python‑GIL vrij. Zolang die oproepen de lock vasthielden, kon de Mooncake‑Transfer‑Python‑thread in hetzelfde proces de GIL niet tijdig verkrijgen, waardoor de planning en indiening van transfer‑taken vertraagde en de overlap met berekening afnam. Het verslag merkt op dat internode_dispatch in dezelfde versie de GIL al vrijgaf, met een code‑commentaar waarin staat dat de bedoeling was om KV‑Transfer in andere threads niet te blokkeren terwijl de CPU wachtte. Nadat de oplossing de GIL vrijgaf tijdens de relevante C++‑uitvoeringsintervallen, meldt het verslag dat de kloof onder 1 % daalde onder dezelfde testcondities.

Het derde geval betreft kernelprestaties. Z.ai liet de agent technieken uit handgeschreven kernels destilleren in projecten waaronder SGLang, Flash Linear Attention en DeepGEMM tot herbruikbare optimalisatieskeletoren die toepassingsvoorwaarden, transformatiemethoden, resourcebeperkingen en validatie‑bewijs bevatten. Op een representatieve KDA Decode‑kernel meldt het bedrijf dat de delingsoptimalisatie van de agent de uitvoeringstijd met 9,6 % verkortte. Nadat feedback had aangetoond dat berekening de belangrijkste bottleneck was, combineerde de agent de V‑dimensietegels van de kernel, die dezelfde FP32‑normalisatie‑ en gating‑berekeningen vier keer herhaalden, tot één thread‑block met register‑residentiële tussenresultaten en één warp‑niveau reductie, wat volgens het bedrijf resulteerde in een snelheidswinst van 1,71× ten opzichte van de vorige versie.

Vermelde resultaten en recursieve zelfverbetering

Z.ai meldt dat GLM-5.3-Flash van de eerste modelaanpassing naar productieklaarheid in minder dan twee weken ging, waarbij de end‑to‑end‑doorvoer uiteindelijk verdrievoudigde ten opzichte van de initiële basislijn. Het bedrijf zei ook dat de efficiëntie van hardware‑gebruik en de kosten per token niveaus bereikten die vergelijkbaar zijn met die van gangbare NVIDIA‑GPU’s.

Het bedrijf positioneert de inspanning als een vroeg voorbeeld van recursieve zelfverbetering, waarbij wordt opgemerkt dat het model deelnam aan het optimaliseren van het inferentiesysteem waarop het draait. Tegelijkertijd stelt Z.ai dat het nog geen recursieve zelfverbetering heeft bereikt, en dat het kiezen van doelstellingen, het stellen van grenzen en het beoordelen van risico’s menselijke verantwoordelijkheden blijven die, volgens het bedrijf, mensen moeten blijven dragen.