Z.ai esittelee GLM-5.3-Flash-inferenssin, rakennettu 100 000 kiinalaiselle sirulle

Z.ai julkaisi 17. syyskuuta 2026 tekninen selvitys, jossa kuvataan, miten se rakensi alusta alkaen täydellisen tuotantotason inferenssipalvelun GLM-5.3-Flash-mallille yli 100 000 kiinalaisella AI-kiihdyttimellä varustetulle klusterille. Yrityksen mukaan suuri osa työstä toteutettiin GLM-5.3:lla toimivan Infra Agentin avulla, eikä pelkästään infrastruktuuri‑insinöörien toimesta, ja kaikki GLM-5.3-Flash‑tuotantoinferenssi ajetaan järjestelmässä.

Z.ai totesi, ettei kukaan ollut aiemmin käyttänyt näin suurta klusteria kiinalaisilla kiihdyttimillä. Yritys mainitsi suhteellisen rajoitetun sirun sisäisen muistin kapasiteetin ja kaistanleveyden, uuden mallirakenteen, 1 miljoonaa tokenia kattavan kontekstin ikkunan ja multimodaaliset pyynnöt, sekä epäkypsän ekosysteemin, jossa ytimen tuki oli puutteellinen ja insinöörien piti arvata käyttäytymistä, jonka olisi pitänyt olla dokumentoitua.

GLM-5.3-Flash julkaistiin 26. elokuuta 2026 ensimmäisenä natiivimultimodaalisena mallina GLM-5-sarjassa, 320 miljardilla kokonaisparametrilla ja 18 miljardilla aktiivisella parametrilla, hybridirakenteessa, joka yhdistää harvan ja lineaarisen huomion. Ennen julkaisua Z.ai testasi mallia nimellä ox-alpha anonyymisti OpenCode- ja OpenRouter-alustoilla, ja yrityksen mukaan siitä tuli molemmilla alustoilla viikon sisällä eniten käytetty malli, käsitellen yli 62 biljoonaa tokenia kuudessa päivässä.

Tiheä palaute -menetelmä

Kertomuksen ytimessä on järjestelmäongelma: päästä‑päähän‑mittarit voivat kertoa agentille, että tulokset heikentyivät, mutta eivät miksi. Epäonnistunut numeerisen tarkkuuden testi, 30 %:n kasvu ensimmäisen tokenin saamiseen kuluvassa ajassa tai 20 %:n lasku lähtönopeudessa eivät näytä, mikä kerros on vastuussa tai mitä seuraavaksi tulisi testata. Z.ai:n vastaus, jota se kutsuu tiheäksi palautteeksi, yhdistää oikeellisuustestit, suorituslokit, suorituksen jäljitykset, ajotapahtumat, mikrotestit ja päästä‑päähän‑mittarit toistettaviksi työnkuluiksi, jotka antavat agentille mahdollisuuden validoida jokaisen hypoteesin paikallisesti sen sijaan, että odotettaisiin täyttä käyttöönottoa ja kuormitustestiä jokaisen muutoksen jälkeen.

Yritys määrittelee tällaiselle palautteelle kolme vaadittua ominaisuutta. Sen on oltava paikallinen, mahdollisuuksien mukaan sidottu tiettyihin käynnistysparametreihin, koodimuutoksiin, ytimiin, syöteolosuhteisiin, säikeisiin, suoritusaikaväleihin tai koodipolkuihin. Sen on oltava edullinen ja ajoissa saatavilla. Lisäksi sen on tuettava objektiivista vahvistusta referenssimplementaatioiden ja kontrolloitujen kokeiden avulla, koska pelkät havainnot korrelaatioista eivät itsessään osoita perimmäistä syytä.

Käynnistys‑silmukassa, jonka kertomus kuvaa, insinöörit määrittivät tavoitteet ja järjestelmän rajat sekä tarkastelivat kriittisiä muutoksia, jotka koskivat numeerista semantiikkaa, samanaikaisuuskäyttäytymistä ja tuotantoriskiä, kun taas agentti hoiti analyysin, hypoteesit ja koodimuutokset. Yhdessä optimoitu pino yhdisti solmun sisäisen tensoriparalleelisuuden lineaariseen huomioon ja LM‑päähän, ReplaySSM:ään, W8A8‑kvantisointiin, sekoitetun tarkkuuden INT8/FP8/BF16‑välimuistikvantisointiin sekä kerrospaloon, Encode‑Prefill‑Decode‑disaggregoidussa arkkitehtuurissa.

Kolme insinööritapausta

Ensimmäinen tapaus koskee numeerista tarkkuutta. Validointi, jossa verrattiin jaettua ja jakamatonta ytimen suorituspolkua, paljasti tarkkuusongelman KDA-ytimen Context Parallelism -polussa: tl.dot‑operaatio oletuksena käytti TF32‑laskentaa, vaikka sen syötteet olivat FP32, jolloin virheitä kertyi tilan yhdistämisen aikana ja ne pahenivat kontekstin pituuden kasvaessa. Korjaus asetti syötteen tarkkuuden eksplisiittisesti tf32x3:ksi, mikä käyttää kolmea TF32‑Tensor‑Core‑operaatiota tuottaakseen tarkemman tuloksen.

Kertomuksen mukaan korjaukset yhdistettiin upstreamiin Flash Linear Attention -projektiin. vetopyyntö, joka avattiin ja yhdistettiin 27. elokuuta 2026, soveltaa tf32x3‑affiiniketjua tilapäivitys‑ ja transformaatio‑yhdistysytimissä optio‑tarkkuuspolkuna, lisää Context Parallelism -testit ja palauttaa eksplisiittisesti ieee‑tarkkuuden alustoilla, joilla ei ole tf32‑tukea (AMD, NPU:t ja NVIDIA‑GPU:t, joiden laskentakyky on alle 8.0).

Toinen tapaus koskee KV‑siirron samanaikaisuuspullonkaulaa. Kertomuksen mukaan insinöörit asettivat hyväksymiskriteerin, jonka mukaan saman työkuorman alla Prefill‑plus‑KV‑Transferin tulisi toimia 5 %:n sisällä Prefill‑vain‑peruslinjan suorituskyvystä. Agentti löysi joissakin skenaarioissa yli 20 %:n poikkeamat ja jäljitti ne DeepEP v1.2.1:een, jossa kumpikaan intranode_dispatch eikä intranode_combine kutsu ei vapauttanut Python‑GIL:iä eksplisiittisesti. Niin kauan kuin nämä kutsut pitivät lukon, samassa prosessissa oleva Mooncake Transfer -Python‑säie ei voinut hankkia GIL:iä ajoissa, jolloin siirtotehtävien ajoitus ja lähetys viivästyivät ja päällekkäisyys laskennan kanssa supistui. Kertomus huomauttaa, että internode_dispatch samassa versiossa vapautti jo GIL:n, koodikommentissa todeten, että tarkoituksena oli estää KV‑siirron tukkeutuminen muissa säikeissä CPU:n odotellessa. Kun korjaus vapautti GIL:n asianomaisten C++‑suoritusväleiden aikana, kertomuksen mukaan ero laski alle 1 % saman testin olosuhteissa.

Kolmas tapaus koskee ytimen suorituskykyä. Z.ai:n agentti tiivisti käsin kirjoitettujen ytimien tekniikat projekteissa, kuten SGLang, Flash Linear Attention ja DeepGEMM, uudelleenkäytettäviin optimointirunkoihin, jotka sisältävät sovellettavuusehdot, muunnosmenetelmät, resurssirajoitukset ja validointitodisteet. Edustavassa KDA Decode -ytimessä yritys raportoi, että agentin jakautuneen optimoinnin ansiosta suoritusaika lyheni 9,6 %. Kun palautteessa tunnistettiin laskenta pääasiallisena pullonkaulana, agentti yhdisti ytimen V-dimensionaaliset lohkot, jotka toistivat saman FP32‑normalisointi- ja porttitoiminnon neljä kertaa, yhdeksi säikeen lohkoksi, jossa välitulokset säilyvät rekistereissä, ja yhdellä warp‑tasoisella reduktiolla, mikä tuotti yrityksen mukaan 1,71× nopeamman suorituksen verrattuna edelliseen versioon.

Ilmoitetut tulokset ja rekursiivinen itseparannus

Z.ai raportoi, että GLM-5.3-Flash siirtyi alkuperäisestä mallin sovituksesta tuotantovalmiuteen alle kahdessa viikossa, ja että loppuun asti ulottuva läpimeno kolminkertaistui alkuperäiseen peruslinjaan verrattuna. Yritys totesi myös, että laitteiston käyttötehokkuus ja token-kohtainen kustannus saavuttivat tasot, jotka ovat verrattavissa tavallisiin NVIDIA‑GPU:iin.

Yritys esittelee työn varhaisena esimerkkinä rekursiivisesta itseparannuksesta, huomauttaen, että malli osallistui sen suoritusympäristön optimointiin. Samalla Z.ai toteaa, ettei se ole vielä saavuttanut rekursiivista itseparannusta, ja että tavoitteiden valinta, rajojen asettaminen ja riskien arviointi pysyvät ihmisten vastuulla, jonka yritys uskoo ihmisten tulisi jatkossakin pitää hallussaan.