Z.ai detaljerer GLM-5.3-Flash inferensbygning på 100.000 kinesiske chips

Z.ai offentliggjorde den 17. september 2026 en teknisk beretning, der beskriver, hvordan de byggede en komplet produktionsklar inferenstjeneste til deres GLM-5.3-Flash‑model fra bunden på et klynge af mere end 100.000 kinesiskproducerede AI‑acceleratorer. Ifølge virksomheden blev størstedelen af arbejdet udført af en Infra Agent drevet af GLM-5.3 i stedet for kun af infrastruktur‑ingeniører, og al produktionsinferens for GLM-5.3-Flash kører på systemet.

Z.ai sagde, at ingen tidligere havde drevet en klynge af kinesiskproducerede acceleratorer i denne skala. Virksomheden påpegede den relativt begrænsede hukommelseskapacitet og båndbredde på chippen, en ny modelarkitektur, et 1M‑token kontekstvindue og multimodale forespørgsler, samt et umodent økosystem, hvor kernel‑support var ufuldstændig, og ingeniører måtte gætte på adfærd, der burde have været dokumenteret.

GLM-5.3-Flash blev lanceret den 26. august 2026 som den første indfødte multimodale model i GLM-5‑serien, med 320 milliarder samlede parametre og 18 milliarder aktive parametre under en hybridarkitektur, der kombinerer spredt og lineær opmærksomhed. Før udgivelsen testede Z.ai modellen anonymt som ox-alpha på OpenCode og OpenRouter, og virksomheden oplyste, at den blev den mest anvendte model på begge platforme inden for en uge efter lanceringen og behandlede mere end 62 billion tokens i løbet af seks dage.

Den tætte feedback‑metode

I centrum af beretningen er et systemproblem: ende‑til‑ende‑målinger kan fortælle en agent, at resultaterne er blevet dårligere, men ikke hvorfor. En mislykket numerisk nøjagtighedstest, en 30 % stigning i tid‑til‑første‑token eller et 20 % fald i output‑gennemstrømning viser ikke, hvilket lag der er ansvarligt, eller hvad der skal testes næste gang. Z.ai’s svar, som de kalder tætte feedback, samler korrekthedstests, køretidslogfiler, eksekveringstraces, køretidshændelser, mikro‑benchmarks og ende‑til‑ende‑målinger i gentagelige arbejdsgange, der lader agenten validere hver hypotese lokalt i stedet for at vente på en fuld implementering og belastningstest efter hver ændring.

Virksomheden definerer tre påkrævede egenskaber for sådan feedback. Den skal være lokal, så vidt muligt knyttet til specifikke lanceringsparametre, kodeændringer, kerner, indgangsbetingelser, tråde, eksekveringsintervaller eller kodeveje. Den skal være billig at indhente og leveres hurtigt. Endvidere skal den understøtte objektiv verifikation gennem referenceimplementeringer og kontrollerede eksperimenter, fordi observerede korrelationer alene ikke fastslår en grundårsag.

I den lanceringssløjfe, som beretningen beskriver, fastsatte ingeniørerne mål og systemgrænser og gennemgik kritiske ændringer, der involverede numerisk semantik, samtidighedsadfærd og produktionsrisiko, mens agenten håndterede analyse, hypoteser og kodeændringer. Stakken, de i fællesskab optimerede, kombinerede intra‑node tensor‑parallelisme for lineær opmærksomhed og LM‑Head, ReplaySSM, W8A8‑kvantisering, blandet‑præcision INT8/FP8/BF16 cache‑kvantisering og Layer Split under en Encode‑Prefill‑Decode‑disaggregated arkitektur.

Tre ingeniørtilfælde

Det første tilfælde vedrører numerisk korrekthed. Validering, der sammenlignede partitionerede og upartitionerede kernel‑eksekveringsveje, afslørede et nøjagtighedsproblem i KDA‑kernelens Context Parallelism‑sti: tl.dot‑operationen brugte som standard TF32‑beregning, selvom dens input var FP32, så fejl akkumuleredes under tilstands‑sammenlægning og forværredes, efterhånden som kontekstlængden voksede. Løsningen satte eksplicit input‑præcisionen til tf32x3, hvilket bruger tre TF32 Tensor‑Core‑operationer for at levere et resultat med højere præcision.

Ifølge beretningen blev rettelserne flettet opstrøms ind i Flash Linear Attention. pull‑anmodningen, der blev åbnet og flettet den 27. august 2026, anvender den tf32x3‑affine kæde i tilstands‑opdaterings‑ og transformations‑sammenlægningskernerne som en valgfri nøjagtighedsvej, tilføjer Context Parallelism‑tests og falder eksplicit tilbage til ieee‑præcision på platforme uden tf32‑understøttelse (AMD, NPU’er og NVIDIA‑GPU’er under compute capability 8.0).

Det andet tilfælde vedrører en KV‑Transfer‑samtidighedsflaskehals. Ifølge beretningen satte ingeniørerne et acceptkriterium om, at under samme arbejdsbyrde skulle Prefill plus KV Transfer køre inden for 5 % af Prefill‑kun‑baseline. Agenten fandt huller på over 20 % i nogle scenarier og sporede dem til DeepEP v1.2.1, hvor hverken intranode‑afsendelse eller intranode‑kombination‑kaldet eksplicit frigav Python‑GIL’en. Så længe disse kald holdt låsen, kunne Mooncake‑Transfer‑Python‑tråden i samme proces ikke erhverve GIL’en i tide, så planlægning og indsendelse af overførselsopgaver gled, og overlap med beregning blev reduceret. Beretningen bemærker, at internode_dispatch i samme version allerede frigav GIL’en, med en kodekommentar der angav, at formålet var at undgå blokering af KV Transfer i andre tråde, mens CPU’en ventede. Efter at rettelsen frigav GIL’en under de relevante C++‑eksekveringsintervaller, rapporterer beretningen, at hullet faldt til under 1 % under de samme testbetingelser.

Det tredje tilfælde vedrører kernel‑ydelse. Z.ai fik agenten til at destillere teknikker fra håndskrevne kerner i projekter som SGLang, Flash Linear Attention og DeepGEMM til genanvendelige optimerings‑skeletter, der indeholder anvendelsesbetingelser, transformationsmetoder, ressourcebegrænsninger og valideringsbeviser. På en repræsentativ KDA Decode‑kernel rapporterer virksomheden, at agentens divisionsoptimering reducerede køretiden med 9,6 %. Efter at feedback havde identificeret beregning som den primære flaskehals, samlede agenten kernelens V‑dimension‑fliser, som fire gange gentog den samme FP32‑normalisering og gating‑beregning, til en enkelt trådblok med register‑resident mellemliggende resultater og én warp‑niveau reduktion, hvilket ifølge virksomheden giver en hastighedsforøgelse på 1,71× i forhold til den tidligere version.

Angivne resultater og rekursiv selvforbedring

Z.ai rapporterer, at GLM-5.3-Flash gik fra den indledende modeltilpasning til produktionsklarhed på under to uger, med en samlet gennemstrømning, der til sidst tredoblede sig i forhold til den oprindelige baseline. Virksomheden oplyser også, at hardware‑udnyttelses‑effektiviteten og omkostningen pr. token nåede niveauer, der kan sammenlignes med almindelige NVIDIA‑GPU’er.

Virksomheden beskriver indsatsen som et tidligt eksempel på rekursiv selvforbedring og bemærker, at modellen deltog i optimeringen af det inferenssystem, den kører på. Samtidig fastslår Z.ai, at de endnu ikke har opnået rekursiv selvforbedring, og at valg af mål, fastsættelse af grænser og risikovurdering fortsat er menneskelige ansvarsområder, som de mener, mennesker bør beholde.