Z.ai detaljerer GLM-5.3-Flash inferens bygget på 100 000 kinesiske brikker

Z.ai publiserte den 17. september 2026 en teknisk redegjørelse som beskriver hvordan de bygde en komplett produksjonsklar inferenstjeneste for sin GLM-5.3-Flash-modell fra bunnen av på en klynge med mer enn 100 000 kinesiskproduserte AI‑akseleratorer. Ifølge selskapet ble mesteparten av arbeidet utført av en Infra Agent drevet av GLM-5.3 snarere enn av kun infrastruktur‑ingeniører, og all produksjonsinferens for GLM-5.3-Flash kjører på systemet.

Z.ai oppga at ingen tidligere hadde operert en klynge av kinesiskproduserte akseleratorer i denne skalaen. Selskapet pekte på relativt begrenset minnekapasitet og båndbredde på chippen, en ny modellarkitektur, et kontekstvindu på 1 M‑token, og multimodale forespørsler, samt et umodent økosystem der kernel‑støtte var ufullstendig og ingeniører måtte gjette på atferd som burde vært dokumentert.

GLM-5.3-Flash lansert 26. august 2026 som den første innebygde multimodale modellen i GLM‑5‑serien, med 320 milliarder totale parametere og 18 milliarder aktive parametere under en hybridarkitektur som kombinerer spredt og lineær oppmerksomhet. Før lanseringen testet Z.ai modellen anonymt som ox-alpha på OpenCode og OpenRouter, og selskapet oppga at den ble den mest brukte modellen på begge plattformene innen en uke etter lanseringen, og behandlet mer enn 62 billioner token i seks dager.

Den tette tilbakemeldingsmetoden

I sentrum av redegjørelsen ligger et systemproblem: ende‑til‑ende‑målinger kan fortelle en agent at resultatene har blitt dårligere, men ikke hvorfor. En mislykket numerisk nøyaktighetstest, en 30 % økning i tid‑til‑første‑token, eller et 20 % fall i utdata‑gjennomstrømning viser ikke hvilken lag som er ansvarlig eller hva som skal testes neste. Z.ai sitt svar, som de kaller tett tilbakemelding, samler korrekthetstester, kjøretidslogger, eksekusjonstråder, kjøretidshendelser, mikro‑benchmarker og ende‑til‑ende‑målinger i repeterbare arbeidsflyter som lar agenten validere hver hypotese lokalt i stedet for å vente på en full utrulling og belastningstest etter hver endring.

Selskapet definerer tre nødvendige egenskaper for slik tilbakemelding. Den må være lokal, knyttet der det er mulig til spesifikke lanseringsparametere, kodeendringer, kerner, inndataforhold, tråder, eksekusjonsintervaller eller kodeveier. Den må være rimelig og rask å innhente. Og den må støtte objektiv verifisering gjennom referanseimplementasjoner og kontrollerte eksperimenter, fordi observerte korrelasjoner alene ikke fastslår en rotårsak.

I lanseringsløkken som redegjørelsen beskriver, definerte ingeniørene mål og systemgrenser og gjennomgikk kritiske endringer som involverte numerisk semantikk, samtidighetsatferd og produksjonsrisiko, mens agenten håndterte analyser, hypoteser og kodeendringer. Stakken de optimaliserte sammen kombinerte intra‑node tensor‑parallellisme for lineær oppmerksomhet og LM‑hodet, ReplaySSM, W8A8‑kvantisering, blandet presisjon INT8/FP8/BF16‑cache‑kvantisering, og Layer Split, under en Encode‑Prefill‑Decode‑disaggregert arkitektur.

Tre ingeniørtilfeller

Det første tilfellet gjelder numerisk korrekthet. Validering som sammenlignet partisjonerte og upartisjonerte kernel‑eksekusjonsveier avdekket et nøyaktighetsproblem i KDA‑kernelens kontekst‑parallellisme‑vei: tl.dot‑operasjonen brukte som standard TF32‑beregning selv når inngangene var FP32, slik at feil akkumulerte under tilstandssammenslåing og forsterket seg etter hvert som kontekstens lengde økte. Løsningen satte eksplisitt inndatapresisjonen til tf32x3, som bruker tre TF32 Tensor‑Core‑operasjoner for å gi et resultat med høyere presisjon.

I henhold til redegjørelsen ble rettelsene flettet inn oppstrøms i Flash Linear Attention. pull‑forespørselen, åpnet og flettet inn 27. august 2026, anvender tf32x3‑affinkjeden i tilstands‑oppdaterings‑ og transformasjons‑sammenslåings‑kernelene som en valgfri nøyaktighetsvei, legger til tester for kontekst‑parallellisme, og faller eksplisitt tilbake til IEEE‑presisjon på plattformer uten tf32‑støtte (AMD, NPU‑er og NVIDIA‑GPU‑er under beregningskapasitet 8.0).

Det andre tilfellet gjelder en KV‑overførings‑samtidighetsflaskehals. I henhold til redegjørelsen satte ingeniørene et akseptkriterium om at, under samme arbeidsbelastning, skal Prefill pluss KV‑Transfer kjøre innen 5 % av Prefill‑kun‑grunnlinjen. Agenten fant hull som oversteg 20 % i noen scenarier og sporet dem til DeepEP v1.2.1, der verken intranode_dispatch eller intranode_combine kallet eksplisitt frigjorde Python‑GIL. Så lenge disse kallene holdt låsen, kunne ikke Mooncake‑Transfer‑Python‑tråden i samme prosess skaffe GIL i tide, slik at planlegging og innlevering av overføringsoppgaver ble forsinket og overlapp med beregning krympet. Redegjørelsen bemerker at internode_dispatch i samme versjon allerede frigjorde GIL, med en kodekommentar som sier at hensikten var å unngå å blokkere KV‑Transfer i andre tråder mens CPU‑en ventet. Etter at rettelsen frigjorde GIL i de relevante C++‑eksekusjonsintervallene, rapporterer redegjørelsen at gapet falt under 1 % under de samme testforholdene.

Det tredje tilfellet gjelder kernel-ytelse. Z.ai hadde agenten destillere teknikker fra håndskrevne kjerner i prosjekter inkludert SGLang, Flash Linear Attention og DeepGEMM til gjenbrukbare optimaliseringsskjeletter som inneholder anvendelsesbetingelser, transformasjonsmetoder, ressursbegrensninger og valideringsbevis. På en representativ KDA Decode‑kernel rapporterer selskapet at agentens divisjonsoptimalisering reduserte kjøretiden med 9,6 %. Etter at tilbakemeldinger identifiserte beregning som den primære flaskehalsen, flettet agenten sammen kernelens V‑dimensjonsfliser, som hadde gjentatt den samme FP32‑normaliseringen og gating‑beregningene fire ganger, til en enkelt tråblokk med registerresident mellomresultat og én warp‑nivåreduksjon, og produserte det selskapet rapporterer som en 1,71× hastighetsøkning over den forrige versjonen.

Angitte resultater og rekursiv selvforbedring

Z.ai rapporterer at GLM-5.3-Flash gikk fra første modelltilpasning til produksjonsklarhet på under to uker, med ende‑til‑ende‑gjennomstrømning som til slutt tredoblet seg i forhold til den opprinnelige basislinjen. Selskapet sa også at maskinvareutnyttelsesgrad og kostnad per token nådde nivåer som er sammenlignbare med vanlige NVIDIA‑GPUer.

Selskapet presenterer innsatsen som et tidlig eksempel på rekursiv selvforbedring, og påpeker at modellen deltok i optimaliseringen av inferansesystemet den kjører på. Samtidig uttaler Z.ai at de ennå ikke har oppnådd rekursiv selvforbedring, og at valg av mål, fastsettelse av grenser og risikovurdering fortsatt er menneskelige ansvar som de mener mennesker bør fortsette å ha.