Z.ai detaliază inferența GLM-5.3-Flash construită pe 100.000 de cipuri chinezești

Z.ai a publicat pe 17 septembrie 2026 un raport tehnic care descrie cum a construit de la zero un serviciu de inferență de nivel producție complet pentru modelul său GLM-5.3-Flash, pe un cluster de peste 100.000 de acceleratoare AI fabricate în China. Conform companiei, o mare parte a lucrărilor a fost realizată de un Agent Infra alimentat de GLM-5.3, mai degrabă decât de inginerii de infrastructură singuri, și toate inferențele de producție pentru GLM-5.3-Flash rulează pe sistem.

Z.ai a afirmat că nimeni nu operase anterior un cluster de acceleratoare fabricate în China la această scară. Compania a menționat capacitatea și lățimea de bandă relativ limitate ale memoriei de pe cip, o nouă arhitectură de model, o fereastră de context de 1 milion de tokeni și cereri multimodale, alături de un ecosistem imatur în care suportul pentru kernel-uri era incomplet și inginerii trebuiau să ghicească comportamente care ar fi trebuit documentate.

GLM-5.3-Flash lansat pe 26 august 2026 ca primul model nativ multimodal din seria GLM-5, cu 320 de miliarde de parametri în total și 18 miliarde de parametri activi, sub o arhitectură hibridă ce combină atenție spărtă și liniară. Înainte de lansare, Z.ai a testat modelul anonim ca ox-alpha pe OpenCode și OpenRouter, iar compania a declarat că a devenit cel mai utilizat model pe ambele platforme în decurs de o săptămână de la lansare, procesând peste 62 de trilioane de tokeni în șase zile.

Metoda de Feedback Dens

În centrul raportului se află o problemă de sistem: metricile end-to-end pot indica unui agent că rezultatele s-au înrăutățit, dar nu de ce. Un test de acuratețe numerică eșuat, o creștere cu 30 % a timpului până la primul token sau o scădere cu 20 % a debitului de ieșire nu arată care strat este responsabil sau ce să se testeze în continuare. Răspunsul Z.ai, pe care îl numește feedback dens, integrează teste de corectitudine, jurnale de rulare, urme de execuție, evenimente de runtime, microbenchmark-uri și metrici end-to-end în fluxuri de lucru repetabile care permit agentului să valideze fiecare ipoteză local, în loc să aștepte o implementare completă și un test de încărcare după fiecare modificare.

Compania definește trei proprietăți necesare pentru un astfel de feedback. Acesta trebuie să fie local, legat, ori de câte ori este posibil, de parametri specifici de lansare, modificări de cod, kernel-uri, condiții de intrare, fire de execuție, intervale de execuție sau căi de cod. Trebuie să fie ieftin și rapid de obținut. Și trebuie să susțină verificarea obiectivă prin implementări de referință și experimente controlate, deoarece corelațiile observate nu stabilesc de la sine o cauză rădăcină.

În bucla de lansare descrisă în raport, inginerii au definit obiective și limitele sistemului și au revizuit modificările critice ce implicau semantica numerică, comportamentul concurenței și riscul de producție, în timp ce agentul a gestionat analiza, ipotezele și modificările de cod. Stiva pe care au optimizat-o împreună a combinat paralelismul tensorial intra-nod pentru atenția liniară și LM Head, ReplaySSM, cuantizarea W8A8, cuantizarea cache cu precizie mixtă INT8/FP8/BF16 și Layer Split, sub o arhitectură dezagregată Encode-Prefill-Decode.

Trei cazuri de inginerie

Primul caz se referă la corectitudinea numerică. Validarea care compara căile de execuție ale kernel-ului partiționat și nepartiționat a expus o problemă de acuratețe în calea de paralelism de context a kernel-ului KDA: operația tl.dot se întorcea implicit la calcul TF32 chiar și când intrările erau FP32, astfel încât erorile s-au acumulat în timpul combinării stărilor și s-au amplificat pe măsură ce lungimea contextului creștea. Remediul a setat explicit precizia intrării la tf32x3, care folosește trei operații TF32 Tensor Core pentru a produce un rezultat cu precizie mai mare.

Conform raportului, remedierile au fost integrate în fluxul principal al Flash Linear Attention. cererea de extragere, deschisă și integrată pe 27 august 2026, aplică lanțul afin tf32x3 în kernel-urile de actualizare a stării și de combinare a transformărilor ca o cale de acuratețe opțională, adaugă teste de paralelism de context și revine explicit la precizia ieee pe platformele fără suport tf32 (AMD, NPU-uri și GPU-uri NVIDIA cu capacitate de calcul sub 8.0).

Al doilea caz se referă la un blocaj de concurență al transferului KV. Conform raportului, inginerii au stabilit un criteriu de acceptare conform căruia, sub aceeași sarcină, Prefill plus transfer KV ar trebui să ruleze în limita a 5 % față de referința doar Prefill. Agentul a găsit diferențe care depășeau 20 % în unele scenarii și le-a atribuit lui DeepEP v1.2.1, în care nici intranode_dispatch nici intranode_combine apelul a eliberat explicit GIL-ul Python. Atâta timp cât acele apeluri dețineau blocajul, firul Python Mooncake Transfer din același proces nu putea prelua GIL-ul la timp, astfel că programarea și trimiterea sarcinilor de transfer s-au întârziat și suprapunerea cu calculul s-a redus. Raportul menționează că internode_dispatch din aceeași versiune elibera deja GIL-ul, cu un comentariu în cod care indica că scopul era de a evita blocarea transferului KV în alte fire în timp ce CPU-ul aștepta. După ce remediul a eliberat GIL-ul în intervalele relevante de execuție C++, raportul indică că diferența a scăzut sub 1 % în aceleași condiții de testare.

Al treilea caz se referă la performanța nucleului. Z.ai a făcut ca agentul să extragă tehnici din nucleele scrise manual în proiecte precum SGLang, Flash Linear Attention și DeepGEMM, transformându-le în schelete de optimizare reutilizabile care includ condiții de aplicabilitate, metode de transformare, constrângeri de resurse și dovezi de validare. Pe un nucleu KDA Decode reprezentativ, compania raportează că optimizarea divizionară a agentului a redus timpul de execuție cu 9,6 %. După ce feedback‑ul a identificat calculul ca principalul blocaj, agentul a fuzionat plăcile din dimensiunea V a nucleului, care repetau aceeași normalizare FP32 și calcule de gating de patru ori, într-un singur bloc de fire cu rezultate intermediare rezidente în registre și o reducere la nivel de warp, producând ceea ce compania raportează ca o accelerare de 1,71× față de versiunea anterioară.

Rezultate declarate și auto‑îmbunătățire recursivă

Z.ai raportează că GLM-5.3-Flash a trecut de la adaptarea inițială a modelului la pregătirea pentru producție în mai puțin de două săptămâni, cu debitul de la cap la cap triplând în cele din urmă față de linia de bază inițială. Compania a mai declarat că eficiența utilizării hardware‑ului și costul per token au atins niveluri comparabile cu GPU‑urile NVIDIA de larg consum.

Compania prezintă efortul ca un prim exemplu de auto‑îmbunătățire recursivă, menționând că modelul a participat la optimizarea sistemului de inferență pe care rulează. În același timp, Z.ai afirmă că nu a atins încă auto‑îmbunătățirea recursivă și că alegerea obiectivelor, stabilirea limitelor și evaluarea riscurilor rămân responsabilități umane pe care consideră că oamenii ar trebui să le păstreze.