Z.ai Details GLM-5.3-Flash Inferenzaufbau auf 100.000 chinesischen Chips

Z.ai veröffentlichte am 17. September 2026 einen technischen Bericht, in dem beschrieben wird, wie es von Grund auf einen vollständigen produktionsreifen Inferenzdienst für sein GLM-5.3-Flash‑Modell auf einem Cluster von mehr als 100.000 in China hergestellten KI‑Beschleunigern aufgebaut hat. Laut dem Unternehmen wurde ein Großteil der Arbeit von einem Infra‑Agent, der von GLM-5.3 angetrieben wird, und nicht ausschließlich von Infrastruktur‑Ingenieuren durchgeführt, und die gesamte Produktionsinferenz für GLM-5.3-Flash läuft auf diesem System.

Z.ai erklärte, dass zuvor niemand einen Cluster chinesischer Beschleuniger in diesem Umfang betrieben habe. Das Unternehmen verwies auf die relativ begrenzte Speicherkapazität und Bandbreite pro Chip, eine neue Modellarchitektur, ein Kontextfenster von 1 M‑Token und multimodale Anfragen sowie auf ein unreifes Ökosystem, in dem die Kernel‑Unterstützung unvollständig war und Ingenieure das Verhalten erraten mussten, das eigentlich dokumentiert sein sollte.

GLM-5.3-Flash am 26. August 2026 gestartet als das erste nativ multimodale Modell der GLM‑5‑Serie, mit insgesamt 320 Milliarden Parametern und 18 Milliarden aktiven Parametern in einer hybriden Architektur, die spärliche und lineare Aufmerksamkeit kombiniert. Vor der Veröffentlichung testete Z.ai das Modell anonym unter dem Namen ox-alpha auf OpenCode und OpenRouter, und das Unternehmen sagte, es sei innerhalb einer Woche nach dem Start das am häufigsten genutzte Modell auf beiden Plattformen geworden und habe in sechs Tagen mehr als 62 Billionen Token verarbeitet.

Die dichte Feedback‑Methode

Im Mittelpunkt des Berichts steht ein Systemproblem: End‑to‑End‑Metriken können einem Agenten mitteilen, dass die Ergebnisse schlechter geworden sind, jedoch nicht warum. Ein fehlgeschlagener Genauigkeitstest, ein Anstieg der Zeit bis zum ersten Token um 30 % oder ein Rückgang des Durchsatzes um 20 % zeigen nicht, welche Schicht verantwortlich ist oder was als Nächstes zu testen ist. Z.ai’s Antwort, die es dichte Feedback nennt, integriert Korrektheitstests, Laufzeit‑Logs, Ausführungsspuren, Laufzeit‑Ereignisse, Mikrobenchmarks und End‑to‑End‑Metriken in wiederholbare Workflows, die es dem Agenten ermöglichen, jede Hypothese lokal zu validieren, anstatt nach jeder Änderung auf eine vollständige Bereitstellung und Belastungsprüfung zu warten.

Das Unternehmen definiert drei notwendige Eigenschaften für ein solches Feedback. Es muss lokal sein und, wo immer möglich, an spezifische Startparameter, Code‑Änderungen, Kernel, Eingabebedingungen, Threads, Ausführungsintervalle oder Code‑Pfade gebunden sein. Es muss kostengünstig und zeitnah zu erhalten sein. Und es muss eine objektive Verifizierung durch Referenzimplementierungen und kontrollierte Experimente ermöglichen, da beobachtete Korrelationen allein keine Ursache nachweisen.

Im im Bericht beschriebenen Start‑Loop definierten die Ingenieure Ziele und Systemgrenzen und prüften kritische Änderungen, die numerische Semantik, Parallelitätsverhalten und Produktionsrisiken betrafen, während der Agent Analyse, Hypothesen und Code‑Änderungen übernahm. Der von ihnen gemeinsam optimierte Stack kombinierte intra‑Node‑Tensor‑Parallelismus für lineare Aufmerksamkeit und den LM‑Head, ReplaySSM, W8A8‑Quantisierung, Mixed‑Precision‑INT8/FP8/BF16‑Cache‑Quantisierung und Layer‑Split in einer disaggregierten Encode‑Prefill‑Decode‑Architektur.

Drei technische Fälle

Der erste Fall betrifft die numerische Korrektheit. Die Validierung, die partitionierte und unpartitionierte Kernel‑Ausführungspfade verglich, deckte ein Genauigkeitsproblem im Context‑Parallelismus‑Pfad des KDA‑Kernels auf: Die tl.dot‑Operation nutzte standardmäßig TF32‑Berechnungen, selbst wenn ihre Eingaben FP32 waren, sodass Fehler beim Zustands‑Merging akkumulierten und sich mit zunehmender Kontextlänge verstärkten. Die Korrektur setzte die Eingabepräzision explizit auf tf32x3, wobei drei TF32‑Tensor‑Core‑Operationen verwendet werden, um ein präziseres Ergebnis zu erzielen.

Laut dem Bericht wurden die Korrekturen upstream in Flash Linear Attention integriert. Der Pull‑Anfrage, die am 27. August 2026 eröffnet und zusammengeführt wurde, wendet die tf32x3‑Affine‑Kette in den Zustands‑Update‑ und Transformations‑Merging‑Kerneln als optionalen Genauigkeitspfad an, fügt Context‑Parallelismus‑Tests hinzu und fällt explizit auf IEEE‑Präzision zurück auf Plattformen ohne TF32‑Unterstützung (AMD, NPUs und NVIDIA‑GPUs unter Compute Capability 8.0).

Der zweite Fall betrifft einen Engpass bei der KV‑Transfer‑Parallelität. Laut dem Bericht setzten die Ingenieure ein Akzeptanzkriterium, dass bei gleicher Arbeitslast Prefill plus KV‑Transfer innerhalb von 5 % des Prefill‑Nur‑Baseline laufen sollte. Der Agent fand Lücken von über 20 % in einigen Szenarien und führte sie auf DeepEP v1.2.1 zurück, in der weder die intranodedispatch noch das intranodecombine‑Aufruf den Python‑GIL explizit freigab. Solange diese Aufrufe das Lock hielten, konnte der Mooncake‑Transfer‑Python‑Thread im selben Prozess den GIL nicht rechtzeitig erwerben, sodass die Planung und Einreichung von Transfer‑Aufgaben verzögerten und die Überschneidung mit der Berechnung schrumpfte. Der Bericht stellt fest, dass internode_dispatch in derselben Version bereits den GIL freigab, mit einem Code‑Kommentar, der besagt, dass das Ziel darin bestand, KV‑Transfer in anderen Threads nicht zu blockieren, während die CPU wartete. Nachdem die Korrektur den GIL während der relevanten C++‑Ausführungsintervalle freigab, berichtet der Bericht, dass die Lücke unter denselben Testbedingungen unter 1 % fiel.

Der dritte Fall betrifft die Kernel‑Performance. Z.ai ließ den Agenten Techniken aus handgeschriebenen Kerneln in Projekten wie SGLang, Flash Linear Attention und DeepGEMM extrahieren und in wiederverwendbare Optimierungsskelette überführen, die Anwendbarkeitsbedingungen, Transformationsmethoden, Ressourcenbeschränkungen und Validierungsnachweise enthalten. An einem repräsentativen KDA‑Decode‑Kernel berichtet das Unternehmen, dass die Teilungsoptimierung des Agenten die Ausführungszeit um 9,6 % reduziert habe. Nachdem Feedback die Berechnung als primären Engpass identifiziert hatte, fusionierte der Agent die V‑Dimensions‑Tiles des Kernels, die dieselbe FP32‑Normalisierung und Gate‑Berechnungen viermal wiederholten, zu einem einzigen Thread‑Block mit registerresidenten Zwischenergebnissen und einer Warp‑Level‑Reduktion, was laut Unternehmensangaben zu einer 1,71‑fachen Beschleunigung gegenüber der vorherigen Version führte.

Bekannte Ergebnisse und rekursive Selbstverbesserung

Z.ai berichtet, dass GLM-5.3-Flash von der ersten Modellanpassung bis zur Produktionsreife in weniger als zwei Wochen gelangte, wobei der End‑to‑End‑Durchsatz letztlich im Vergleich zur Ausgangsbasis verdreifacht wurde. Das Unternehmen sagte zudem, dass die Effizienz der Hardwareauslastung und die Kosten pro Token Niveaus erreicht haben, die mit gängigen NVIDIA‑GPUs vergleichbar sind.

Das Unternehmen stellt die Initiative als frühes Beispiel für rekursive Selbstverbesserung dar und weist darauf hin, dass das Modell an der Optimierung des Inferenzsystems, auf dem es läuft, mitgewirkt hat. Gleichzeitig erklärt Z.ai, dass es noch nicht die rekursive Selbstverbesserung erreicht habe und dass die Wahl von Zielen, das Setzen von Grenzen und die Risikobewertung weiterhin menschliche Verantwortlichkeiten seien, die Menschen seiner Ansicht nach weiterhin übernehmen sollten.