AI-modeller och plattformar
Z.ai presenterar GLM-5.3-Flash Inferens byggt på 100 000 kinesiska chips
Lägg till Unite.AI bland dina föredragna källor på Google
Z.ai publicerade den 17 september 2026 en teknisk redogörelse som beskriver hur de byggde en komplett produktionsklassad inferenstjänst för sin GLM-5.3-Flash-modell från grunden på ett kluster med mer än 100 000 kinesiskt tillverkade AI‑acceleratorer. Enligt företaget utfördes en stor del av arbetet av en Infra‑Agent som drivs av GLM-5.3 snarare än av enbart infrastrukturingenjörer, och all produktionsinferens för GLM-5.3-Flash körs på systemet.
Z.ai uppgav att ingen tidigare hade drivit ett kluster av kinesiskt tillverkade acceleratorer i denna skala. Företaget pekade på relativt begränsad on-chip minneskapacitet och bandbredd, en ny modellarkitektur, ett 1 M‑token kontextfönster och multimodala förfrågningar, samt ett omoget ekosystem där kernelstöd var ofullständigt och ingenjörer var tvungna att gissa beteenden som borde ha dokumenterats.
GLM-5.3-Flash lanserades den 26 augusti 2026 som den första inbyggt multimodala modellen i GLM-5-serien, med 320 miljarder totala parametrar och 18 miljarder aktiva parametrar under en hybridarkitektur som kombinerar gles och linjär uppmärksamhet. Före lanseringen testade Z.ai modellen anonymt som ox-alpha på OpenCode och OpenRouter, och företaget uppgav att den blev den mest använda modellen på båda plattformarna inom en vecka efter lanseringen, och bearbetade mer än 62 biljoner token under sex dagar.
Den täta återkopplingsmetoden
I centrum av redogörelsen ligger ett systemproblem: slut‑till‑slut‑mätvärden kan tala om för en agent att resultaten försämrats, men inte varför. Ett misslyckat numeriskt noggrannhetstest, en 30 % ökning av tiden till första token, eller en 20 % minskning av utdata‑genomströmning visar inte vilken lager som är ansvarigt eller vad som ska testas härnäst. Z.ai:s svar, som de kallar tät återkoppling, integrerar korrekthetstester, körloggar, exekveringsspår, körhändelser, mikrobänkmarkeringar och slut‑till‑slut‑mätvärden i repeterbara arbetsflöden som låter agenten validera varje hypotes lokalt i stället för att vänta på en fullständig driftsättning och belastningstest efter varje förändring.
Företaget definierar tre nödvändiga egenskaper för sådan återkoppling. Den måste vara lokal, så långt som möjligt knuten till specifika lanseringsparametrar, kodändringar, kernels, indataförhållanden, trådar, exekveringsintervall eller kodvägar. Den måste vara kostnadseffektiv och snabb att erhålla. Dessutom måste den stödja objektiv verifiering genom referensimplementationer och kontrollerade experiment, eftersom observerade korrelationer i sig inte fastställer en grundorsak.
I den lanseringsloop som redogörelsen beskriver definierade ingenjörer mål och systemgränser samt granskade kritiska förändringar som rörde numerisk semantik, samtidighetsbeteende och produktionsrisk, medan agenten hanterade analyser, hypoteser och kodändringar. Den stack de gemensamt optimerade kombinerade intra‑nod tensor‑parallellism för linjär uppmärksamhet och LM‑Head, ReplaySSM, W8A8‑kvantisering, blandad precision INT8/FP8/BF16‑cache‑kvantisering och Layer Split, under en Encode‑Prefill‑Decode‑disaggregated‑arkitektur.
Tre ingenjörsfall
Det första fallet rör numerisk korrekthet. Validering som jämförde partitionerade och opartitionerade kernel‑exekveringsvägar avslöjade ett noggrannhetsproblem i KDA‑kernelnas Context Parallelism‑väg: tl.dot‑operationen använde som standard TF32‑beräkning även när dess indata var FP32, vilket ledde till att fel ackumulerades under tillståndssammanslagning och förvärrades när kontextlängden ökade. Lösningen satte explicit inmatningsprecisionen till tf32x3, vilket använder tre TF32 Tensor‑Core‑operationer för att ge ett resultat med högre precision.
Enligt redogörelsen slogs fixarna in i huvudkoden för Flash Linear Attention. pull‑förfrågan, som öppnades och slogs ihop den 27 augusti 2026, tillämpar tf32x3‑affinkedjan i state‑update‑ och transformation‑merge‑kernlarna som en valfri noggrannhetssökväg, lägger till Context Parallelism‑tester och faller explicit tillbaka till IEEE‑precision på plattformar utan tf32‑stöd (AMD, NPU:er och NVIDIA‑GPU:er under beräkningskapacitet 8.0).
Det andra fallet rör en KV‑Transfer‑konkurrensflaskhals. Enligt redogörelsen satte ingenjörer ett accepteringskriterium att, under samma arbetsbelastning, Prefill plus KV Transfer skulle köras inom 5 % av Prefill‑endast‑baslinjen. Agenten fann gap som översteg 20 % i vissa scenarier och spårade dem till DeepEP v1.2.1, i vilken varken den intranode_dispatch eller den intranode_combine anropet släppte uttryckligen Python‑GIL. Så länge dessa anrop behöll låset kunde Mooncake Transfer‑Python‑tråden i samma process inte erhålla GIL i tid, vilket gjorde att schemaläggning och inskickning av överföringsuppgifter försenades och överlappningen med beräkning minskade. Redogörelsen noterar att internod‑dispatch i samma version redan släppte GIL, med en kodkommentar som angav att avsikten var att undvika att blockera KV Transfer i andra trådar medan CPU:n väntade. Efter att fixen släppte GIL under de relevanta C++‑exekveringsintervallen rapporterar redogörelsen att gapet föll under 1 % under samma testförhållanden.
Det tredje fallet gäller kärnprestanda. Z.ai hade agenten destillera tekniker från handskrivna kärnor i projekt som SGLang, Flash Linear Attention och DeepGEMM till återanvändbara optimerings‑skelett som innehåller tillämpningsvillkor, transformationsmetoder, resursbegränsningar och valideringsbevis. På en representativ KDA Decode‑kärna rapporterar företaget att agentens divisionsoptimering minskade exekveringstiden med 9,6 %. Efter att återkoppling identifierade beräkning som den primära flaskhalsen, sammanslog agenten kärnans V-dimensionstilets, som hade upprepat samma FP32‑normalisering och styrningsberäkningar fyra gånger, till ett enda trådblock med register‑residente mellansteg och en warp‑nivåreduktion, vilket enligt företaget gav en 1,71‑faldig hastighetsökning jämfört med den tidigare versionen.
Angivna resultat och rekursiv självförbättring
Z.ai rapporterar att GLM-5.3-Flash gick från initial modellanpassning till produktionsklarhet på mindre än två veckor, med en slutgiltig end‑to‑end‑genomströmning som tredubblades jämfört med den ursprungliga baslinjen. Företaget uppgav också att hårdvaruutnyttjandets effektivitet och kostnad per token nådde nivåer som är jämförbara med vanliga NVIDIA‑GPU:er.
Företaget presenterar insatsen som ett tidigt exempel på rekursiv självförbättring och påpekar att modellen deltog i optimeringen av inferenssystemet den körs på. Samtidigt säger Z.ai att de ännu inte har nått rekursiv självförbättring, och att val av mål, fastställande av gränser och riskbedömning fortfarande är mänskliga ansvarsområden som de anser att människor bör fortsätta att ha.
