Z.ai presenterar GLM-5.3-Flash Inferens byggd på 100 000 kinesiska chip

Z.ai publicerade den 17 september 2026 en teknisk redogörelse som beskriver hur de byggde en komplett produktionsklassad inferenstjänst för sin GLM-5.3-Flash-modell från grunden på ett kluster med mer än 100 000 kinesiskt tillverkade AI‑acceleratorer. Enligt företaget utfördes en stor del av arbetet av en Infra‑Agent som drivs av GLM-5.3 snarare än av enbart infrastrukturingenjörer, och all produktionsinferens för GLM-5.3-Flash körs på systemet.

Z.ai uppgav att ingen tidigare hade drivit ett kluster av kinesiskt tillverkade acceleratorer i denna skala. Företaget pekade på den relativt begränsade minneskapaciteten och bandbredden på chipet, en ny modellarkitektur, ett 1 M‑token kontextfönster och multimodala förfrågningar, samt ett omoget ekosystem där kernelstöd var ofullständigt och ingenjörerna fick gissa sig till beteenden som borde ha dokumenterats.

GLM-5.3-Flash lanserades den 26 augusti 2026 som den första nativt multimodala modellen i GLM-5-serien, med totalt 320 miljarder parametrar och 18 miljarder aktiva parametrar under en hybridarkitektur som kombinerar gles och linjär uppmärksamhet. Före lanseringen testade Z.ai modellen anonymt som ox-alpha på OpenCode och OpenRouter, och företaget sade att den blev den mest använda modellen på båda plattformarna inom en vecka efter lanseringen, och bearbetade mer än 62 biljoner token under sex dagar.

Den täta återkopplingsmetoden

I centrum av redogörelsen står ett systemproblem: slut‑till‑slut‑metrik kan tala om för en agent att resultaten försämrats, men inte varför. Ett misslyckat numeriskt noggrannhetstest, en 30 % ökning av tiden till första token, eller en 20 % minskning av genomströmning visar inte vilken lager som är ansvarigt eller vad som ska testas härnäst. Z.ai:s svar, som de kallar tät återkoppling, samlar korrekthetstester, körloggar, exekveringsspår, körhändelser, mikrobenchmarkar och slut‑till‑slut‑metrik i repeterbara arbetsflöden som låter agenten validera varje hypotes lokalt i stället för att vänta på en fullständig driftsättning och belastningstest efter varje förändring.

Företaget definierar tre nödvändiga egenskaper för sådan återkoppling. Den måste vara lokal, så långt som möjligt knuten till specifika lanseringsparametrar, kodändringar, kärnor, indataförhållanden, trådar, exekveringsintervall eller kodvägar. Den måste vara billig och snabb att erhålla. Och den måste stödja objektiv verifiering genom referensimplementationer och kontrollerade experiment, eftersom observerade korrelationer i sig inte fastställer en grundorsak.

I den lanseringsloop som redogörelsen beskriver definierade ingenjörerna mål och systemgränser samt granskade kritiska förändringar som rörde numerisk semantik, samtidighetsbeteende och produktionsrisk, medan agenten hanterade analys, hypoteser och kodändringar. Den stack de gemensamt optimerade kombinerade intra-node tensor‑parallellism för linjär uppmärksamhet och LM‑Head, ReplaySSM, W8A8‑kvantisering, blandad‑precision INT8/FP8/BF16‑cache‑kvantisering och Layer Split, under en Encode‑Prefill‑Decode‑disaggregated‑arkitektur.

Tre ingenjörsfall

Det första fallet rör numerisk korrekthet. Validering som jämförde partitionerade och opartitionerade kernel‑exekveringsvägar avslöjade ett noggrannhetsproblem i KDA‑kernelnas Context Parallelism‑väg: tl.dot‑operationen föredrog TF32‑beräkning även när dess indata var FP32, så fel ackumulerades under tillståndssammanslagning och förvärrades när kontextlängden ökade. Lösningen satte explicit indata‑precisionen till tf32x3, vilket använder tre TF32 Tensor‑Core‑operationer för att ge ett resultat med högre precision.

Enligt redogörelsen slogs korrigeringarna in i huvudgrenen av Flash Linear Attention. pull‑begäran, som öppnades och slogs samman den 27 augusti 2026, tillämpar tf32x3‑affinkedjan i tillståndsuppdaterings‑ och transformations‑sammanfognings‑kernlarna som en valfri noggrannhetssökväg, lägger till Context Parallelism‑tester och faller explicit tillbaka till ieee‑precision på plattformar utan tf32‑stöd (AMD, NPU:er och NVIDIA‑GPU:er under beräkningskapacitet 8.0).

Det andra fallet handlar om en flaskhals i samtidigheten för KV‑överföring. Enligt rapporten satte ingenjörerna ett godkännandekriterium att, under samma arbetsbelastning, Prefill plus KV‑Transfer ska köra inom 5 % av Prefill‑endast‑baslinjen. Agenten fann avvikelser som översteg 20 % i vissa scenarier och spårade dem till DeepEP v1.2.1, där varken intranodedispatch eller intranodecombine‑anropet uttryckligen släppte Python‑GIL. Så länge dessa anrop behöll låset kunde Mooncake‑Transfer‑Python‑tråden i samma process inte ta emot GIL i tid, vilket gjorde att schemaläggning och inskickning av överföringsuppgifter försenades och överlappningen med beräkningarna minskade. Rapporten noterar att internode_dispatch i samma version redan släppte GIL, med en kodkommentar som angav att avsikten var att undvika att blockera KV‑Transfer i andra trådar medan CPU:n väntade. Efter att korrigeringen släppte GIL under de relevanta C++‑exekveringsintervallen, rapporterar rapporten, föll avvikelsen under 1 % under samma testförhållanden.

Det tredje fallet handlar om kernelprestanda. Z.ai hade agenten destillera tekniker från handskrivna kernels i projekt inklusive SGLang, Flash Linear Attention och DeepGEMM till återanvändbara optimerings‑skelett som innehåller tillämpningsvillkor, transformationsmetoder, resursbegränsningar och valideringsbevis. På en representativ KDA Decode‑kernel rapporterar företaget att agentens divisionsoptimering minskade exekveringstiden med 9,6 %. Efter att återkoppling identifierade beräkning som den primära flaskhalsen, sammanslog agenten kernelns V-dimension‑brickor, som hade upprepat samma FP32‑normalisering och styrningsberäkningar fyra gånger, till ett enda trådblock med register‑residenta mellanresultat och en warp‑nivåreduktion, vilket enligt företaget ger en hastighetsökning på 1,71 × jämfört med den tidigare versionen.

Angivna resultat och rekursiv självförbättring

Z.ai rapporterar att GLM-5.3-Flash gick från initial modellanpassning till produktionsklarhet på mindre än två veckor, med en total genomströmning som slutligen tredubblades jämfört med den ursprungliga baslinjen. Företaget uppgav också att hårdvaruutnyttjandets effektivitet och kostnaden per token nådde nivåer som är jämförbara med vanliga NVIDIA‑GPU:er.

Företaget presenterar insatsen som ett tidigt exempel på rekursiv självförbättring och påpekar att modellen deltog i optimeringen av inferenssystemet den körs på. Samtidigt säger Z.ai att de ännu inte har uppnått rekursiv självförbättring, och att val av mål, fastställande av gränser och riskbedömning förblir mänskliga ansvarsområden som de anser att människor bör fortsätta att ha.