Z.ai detaljerer GLM-5.3-Flash inferens bygget på 100.000 kinesiske chips

Z.ai offentliggjorde den 17. september 2026 en teknisk redegørelse, der beskriver, hvordan de byggede en komplet produktionsklar inferenstjeneste for deres GLM-5.3-Flash-model fra bunden på et klynge af mere end 100.000 kinesisk fremstillede AI‑acceleratorer. Ifølge virksomheden blev størstedelen af arbejdet udført af en Infra Agent drevet af GLM-5.3 frem for kun infrastruktur‑ingeniører, og al produktionsinferens for GLM-5.3-Flash kører på systemet.

Z.ai sagde, at ingen tidligere havde drevet en klynge af kinesisk fremstillede acceleratorer i denne skala. Virksomheden pegede på relativt begrænset on‑chip hukommelseskapacitet og båndbredde, en ny modelarkitektur, et 1 M‑token kontekstvindue og multimodale forespørgsler, samt et umodent økosystem hvor kernel‑support var ufuldstændig, og ingeniører måtte gætte på adfærd, der burde have været dokumenteret.

GLM-5.3-Flash blev lanceret den 26. august 2026 som den første indfødt multimodale model i GLM-5‑serien, med 320 milliarder samlede parametre og 18 milliarder aktive parametre under en hybridarkitektur, der kombinerer sparsom og lineær opmærksomhed. Før udgivelsen testede Z.ai modellen anonymt som ox-alpha på OpenCode og OpenRouter, og virksomheden sagde, at den blev den mest anvendte model på begge platforme inden for en uge efter lanceringen og behandlede mere end 62 billioner tokens på seks dage.

Den tætte feedback‑metode

Kernen i redegørelsen er et systemproblem: end‑to‑end‑målinger kan fortælle en agent, at resultaterne er forværret, men ikke hvorfor. En mislykket numerisk nøjagtighedstest, en 30 % stigning i tid‑til‑første‑token eller et 20 % fald i output‑gennemløb viser ikke, hvilket lag der er ansvarligt, eller hvad der skal testes næste gang. Z.ai’s svar, som de kalder tæt feedback, samler korrekthedstests, køretidslogfiler, eksekveringsspor, køretidshændelser, mikro‑benchmarks og end‑to‑end‑målinger i gentagelige arbejdsgange, så agenten kan validere hver hypotese lokalt i stedet for at vente på en fuld implementering og belastningstest efter hver ændring.

Virksomheden definerer tre nødvendige egenskaber for sådan feedback. Den skal være lokal, så vidt muligt knyttet til specifikke lanceringsparametre, kodeændringer, kerner, input‑betingelser, tråde, eksekveringsintervaller eller kodeveje. Den skal være billig og hurtig at indhente. Og den skal understøtte objektiv verifikation gennem referenceimplementeringer og kontrollerede eksperimenter, fordi observerede korrelationer alene ikke fastslår en grundårsag.

I den lanceringssløjfe, som redegørelsen beskriver, fastsatte ingeniørerne mål og systemgrænser og gennemgik kritiske ændringer, der involverede numerisk semantik, samtidighedsadfærd og produktionsrisiko, mens agenten håndterede analyse, hypoteser og kodeændringer. Den stak, de i fællesskab optimerede, kombinerede intra‑node tensor‑parallelisme for lineær opmærksomhed og LM‑Head, ReplaySSM, W8A8‑kvantisering, blandet‑præcision INT8/FP8/BF16‑cache‑kvantisering og Layer Split under en Encode‑Prefill‑Decode‑disaggregated‑arkitektur.

Tre ingeniørtilfælde

Den første case omhandler numerisk korrekthed. Validering, der sammenlignede partitionerede og upartitionerede kernel‑eksekveringsveje, afslørede et nøjagtighedsproblem i KDA‑kernelens Context Parallelism‑sti: tl.dot‑operationen faldt tilbage på TF32‑beregning, selv når dens input var FP32, så fejl akkumuleredes under tilstandssammenlægning og forværredes, efterhånden som kontekstlængden voksede. Rettelsen satte eksplicit inputpræcisionen til tf32x3, som bruger tre TF32 Tensor Core‑operationer for at give et resultat med højere præcision.

Ifølge redegørelsen blev rettelserne flettet opstrøms ind i Flash Linear Attention. pull‑anmodningen, der blev åbnet og flettet den 27. august 2026, anvender tf32x3‑affine‑kæden i state‑update‑ og transformation‑merge‑kernerne som en valgfri nøjagtighedssti, tilføjer Context Parallelism‑tests og falder eksplicit tilbage til ieee‑præcision på platforme uden tf32‑understøttelse (AMD, NPU‑er og NVIDIA‑GPU‑er under compute‑capability 8.0).

Den anden case omhandler en KV‑Transfer‑konkurrencenæglestop. Ifølge redegørelsen fastsatte ingeniørerne et acceptkriterium om, at under samme arbejdsbyrde skulle Prefill plus KV Transfer køre inden for 5 % af Prefill‑kun‑baseline. Agenten fandt huller, der oversteg 20 % i nogle scenarier, og sporede dem til DeepEP v1.2.1, hvor hverken den intranode_dispatch eller den intranode_combine kaldet eksplicit frigav Python‑GIL. Så længe disse kald holdt låsen, kunne Mooncake Transfer‑Python‑tråden i samme proces ikke erhverve GIL i tide, så planlægning og indsendelse af overførselsopgaver gled, og overlappet med beregning blev mindre. Redegørelsen bemærker, at internode_dispatch i samme version allerede frigav GIL, med en kodekommentar der angiver, at hensigten var at undgå blokering af KV Transfer i andre tråde, mens CPU’en ventede. Efter at rettelsen frigav GIL under de relevante C++‑eksekveringsintervaller, rapporterer redegørelsen, at hullet faldt til under 1 % under de samme testbetingelser.

Det tredje tilfælde vedrører kernel‑ydelse. Z.ai har ladet agenten destillere teknikker fra håndskrevne kerner i projekter som SGLang, Flash Linear Attention og DeepGEMM til genanvendelige optimerings‑skeletter, som indeholder anvendelsesbetingelser, transformationsmetoder, ressourcebegrænsninger og valideringsbeviser. På en repræsentativ KDA Decode‑kernel rapporterer virksomheden, at agentens divisionsoptimering reducerede køretiden med 9,6 %. Efter feedback identificerede beregning som den primære flaskehals, sammensluttede agenten kernelens V‑dimension‑fliser, som fire gange gentog den samme FP32‑normalisering og gating‑beregning, til en enkelt trådblok med register‑resident mellemliggende resultater og en warp‑niveau reduktion, hvilket ifølge virksomheden giver en hastighedsforøgelse på 1,71 × i forhold til den tidligere version.

Angivne resultater og rekursiv selvforbedring

Z.ai rapporterer, at GLM-5.3-Flash gik fra den første modeltilpasning til produktionsklarhed på under to uger, og at den samlede gennemløbshastighed i sidste ende tredoblede sig i forhold til den oprindelige baseline. Virksomheden oplyser også, at hardware‑udnyttelses‑effektiviteten og omkostningerne pr. token nåede niveauer, der kan sammenlignes med almindelige NVIDIA‑GPU’er.

Virksomheden beskriver indsatsen som et tidligt eksempel på rekursiv selvforbedring og bemærker, at modellen deltog i optimeringen af det inferenssystem, den kører på. Samtidig understreger Z.ai, at de endnu ikke har opnået rekursiv selvforbedring, og at valg af mål, fastsættelse af grænser og risikovurdering fortsat er menneskelige ansvarsområder, som de mener, mennesker bør beholde.