Z.ai detaljerer GLM-5.3-Flash-inferens bygget på 100 000 kinesiske chips

Z.ai publiserte 17. september 2026 en teknisk redegjørelse som beskriver hvordan de bygde en komplett produksjonsklar inferens‑tjeneste for sin GLM-5.3-Flash‑modell fra bunnen av på en klynge med mer enn 100 000 kinesiskproduserte AI‑akseleratorer. Ifølge selskapet ble mesteparten av arbeidet utført av en Infra‑Agent drevet av GLM-5.3 i stedet for kun infrastruktur‑ingeniører, og all produksjons‑inferens for GLM-5.3-Flash kjører på systemet.

Z.ai opplyser at ingen tidligere hadde drevet en klynge av kinesiskproduserte akseleratorer i denne skalaen. Selskapet påpeker relativt begrenset minnekapasitet og båndbredde på chippen, en ny modellarkitektur, et kontekstvindu på 1 million token, og multimodale forespørsler, i tillegg til et umodent økosystem der kernel‑støtte var ufullstendig og ingeniører måtte gjette på atferd som burde vært dokumentert.

GLM-5.3-Flash lansert 26. august 2026 som den første innebygde multimodale modellen i GLM-5‑serien, med 320 milliarder totale parametere og 18 milliarder aktive parametere under en hybridarkitektur som kombinerer sparsom og lineær oppmerksomhet. Før lanseringen testet Z.ai modellen anonymt som ox-alpha på OpenCode og OpenRouter, og selskapet opplyser at den ble den mest brukte modellen på begge plattformene innen en uke etter lanseringen, og behandlet mer enn 62 billioner token i løpet av seks dager.

Den tette tilbakemeldingsmetoden

I kjernen av redegjørelsen ligger et systemproblem: ende‑til‑ende‑målinger kan fortelle en agent at resultatene har blitt dårligere, men ikke hvorfor. En mislykket numerisk nøyaktighetstest, en 30 % økning i tid‑til‑første‑token, eller et 20 % fall i gjennomstrømning av output viser ikke hvilken lag som er ansvarlig eller hva som bør testes neste. Z.ai sitt svar, som de kaller tett tilbakemelding, samler korrekthetstester, kjøretidslogger, eksekusjonstråder, kjøretidshendelser, mikrobanchmarker og ende‑til‑ende‑målinger i repeterbare arbeidsflyter som lar agenten validere hver hypotese lokalt i stedet for å vente på en full utrulling og belastningstest etter hver endring.

Selskapet definerer tre nødvendige egenskaper for slik tilbakemelding. Den må være lokal, knyttet der det er mulig til spesifikke lanseringsparametere, kodeendringer, kernels, inndataforhold, tråder, eksekusjonsintervaller eller kodeveier. Den må være rimelig og rask å innhente. Og den må støtte objektiv verifisering gjennom referanseimplementasjoner og kontrollerte eksperimenter, fordi observerte korrelasjoner alene ikke fastslår en rotårsak.

I lanseringsløkken som redegjørelsen beskriver, definerte ingeniørene mål og systemgrenser og gjennomgikk kritiske endringer som involverte numerisk semantikk, samtidighetsadferd og produksjonsrisiko, mens agenten håndterte analyse, hypoteser og kodeendringer. Stakken de optimaliserte sammen kombinerte intra‑node tensor‑parallellisme for lineær oppmerksomhet og LM‑Head, ReplaySSM, W8A8‑kvantisering, blandet presisjon INT8/FP8/BF16‑cache‑kvantisering, og Layer Split, under en Encode‑Prefill‑Decode‑disaggregert arkitektur.

Tre ingeniørtilfeller

Det første tilfellet gjelder numerisk korrekthet. Validering som sammenlignet partisjonerte og upartisjonerte kernel‑eksekusjonsveier avdekket et nøyaktighetsproblem i KDA‑kernelens Context Parallelism‑vei: tl.dot‑operasjonen brukte som standard TF32‑beregning selv når inngangene var FP32, slik at feil akkumulerte under tilstandssammenslåing og forsterket seg etter hvert som kontekstens lengde økte. Løsningen satte eksplisitt inndatapresisjonen til tf32x3, som bruker tre TF32 Tensor Core‑operasjoner for å gi et resultat med høyere presisjon.

Ifølge redegjørelsen ble rettelsene slått sammen oppstrøms i Flash Linear Attention. pull‑forespørselen, åpnet og slått sammen 27. august 2026, anvender tf32x3‑affinkjeden i tilstands‑oppdaterings‑ og transformasjons‑sammenslåings‑kernels som en valgfri nøyaktighetsvei, legger til Context Parallelism‑tester, og faller eksplisitt tilbake til ieee‑presisjon på plattformer uten tf32‑støtte (AMD, NPU‑er og NVIDIA‑GPU‑er under beregningskapasitet 8.0).

Det andre tilfellet gjelder en samtidighetsflaskehals i KV‑Transfer. Ifølge redegjørelsen satte ingeniørene et akseptkriterium om at, under samme arbeidsbelastning, skulle Prefill pluss KV‑Transfer kjøre innen 5 % av Prefill‑kun‑baseline. Agenten fant avvik på over 20 % i noen scenarier og sporet dem til DeepEP v1.2.1, der verken intranodehverken dispatch eller intranodecombine‑kallet eksplisitt frigjorde Python‑GIL. Så lenge disse kallene holdt låsen, kunne ikke Mooncake‑Transfer‑Python‑tråden i samme prosess skaffe GIL i tide, så planlegging og innsending av overføringsoppgaver gled og overlapp med beregning ble redusert. Redegjørelsen bemerker at internode_dispatch i samme versjon allerede frigjorde GIL, med en kodekommentar som sier at intensjonen var å unngå blokkering av KV‑Transfer i andre tråder mens CPU‑en ventet. Etter at rettelsen frigjorde GIL i de relevante C++‑eksekusjonsintervallene, rapporterer redegjørelsen at avviket falt under 1 % under de samme testforholdene.

Det tredje tilfellet gjelder kernel-ytelse. Z.ai fikk agenten til å destillere teknikker fra håndskrevne kerner i prosjekter som SGLang, Flash Linear Attention og DeepGEMM til gjenbrukbare optimaliserings‑skjeletter som inneholder anvendelsesbetingelser, transformasjonsmetoder, ressursbegrensninger og valideringsbevis. På en representativ KDA Decode‑kernel rapporterer selskapet at agentens divisjonsoptimalisering reduserte kjøretiden med 9,6 %. Etter at tilbakemeldinger identifiserte beregning som den primære flaskehalsen, samlet agenten kernelens V-dimensjons‑fliser, som fire ganger gjentok samme FP32‑normalisering og gating‑beregninger, inn i en enkelt trådblokk med register‑resident mellomresultater og én warp‑nivåreduksjon, noe som ga det selskapet rapporterer som en 1,71× hastighetsøkning sammenlignet med den tidligere versjonen.

Angitte resultater og rekursiv selvforbedring

Z.ai rapporterer at GLM-5.3-Flash gikk fra første modelltilpasning til produksjonsklarhet på under to uker, med ende‑til‑ende‑gjennomstrømning som til slutt tredoblet seg i forhold til den opprinnelige basislinjen. Selskapet oppga også at maskinvareutnyttelses‑effektiviteten og kostnaden per token nådde nivåer som kan sammenlignes med vanlige NVIDIA‑GPU‑er.

Selskapet presenterer innsatsen som et tidlig eksempel på rekursiv selvforbedring, og påpeker at modellen deltok i optimaliseringen av inferansesystemet den kjører på. Samtidig sier Z.ai at de ennå ikke har oppnådd rekursiv selvforbedring, og at valg av mål, fastsetting av grenser og risikovurdering fortsatt er menneskelige ansvarsområder som de mener mennesker bør beholde.