Z.ai Details GLM-5.3-Flash Inferenzaufbau auf 100.000 chinesischen Chips

Z.ai veröffentlichte am 17. September 2026 einen technischen Bericht, der beschreibt, wie es einen vollständigen, produktionsreifen Inferenzdienst für sein GLM-5.3-Flash-Modell von Grund auf auf einem Cluster von mehr als 100.000 in China hergestellten KI-Beschleunigern aufgebaut hat. Laut dem Unternehmen wurde ein Großteil der Arbeit von einem Infra Agent, der von GLM-5.3 betrieben wird, und nicht ausschließlich von Infrastruktur‑Ingenieuren durchgeführt, und sämtliche Produktionsinferenz für GLM-5.3-Flash läuft auf dem System.

Z.ai sagte, dass zuvor niemand einen Cluster chinesischer Beschleuniger in diesem Umfang betrieben habe. Das Unternehmen verwies auf die relativ begrenzte Speicherkapazität und Bandbreite pro Chip, eine neue Modellarchitektur, ein Kontextfenster von 1 M‑Token und multimodale Anfragen sowie auf ein unreifes Ökosystem, in dem die Kernelunterstützung unvollständig war und Ingenieure das Verhalten, das dokumentiert sein sollte, nur vermuten konnten.

GLM-5.3-Flash wurde am 26. August 2026 gestartet als das erste nativ multimodale Modell der GLM-5-Serie, mit insgesamt 320 Milliarden Parametern und 18 Milliarden aktiven Parametern in einer hybriden Architektur, die spärliche und lineare Aufmerksamkeit kombiniert. Vor der Veröffentlichung testete Z.ai das Modell anonym als ox-alpha auf OpenCode und OpenRouter, und das Unternehmen sagte, es sei innerhalb einer Woche nach dem Start das am häufigsten genutzte Modell auf beiden Plattformen geworden und habe in sechs Tagen mehr als 62 Billionen Token verarbeitet.

Die Dense‑Feedback‑Methode

Im Zentrum des Berichts steht ein Systemproblem: End‑to‑End‑Metriken können einem Agenten sagen, dass die Ergebnisse schlechter wurden, aber nicht warum. Ein fehlgeschlagener numerischer Genauigkeitstest, ein Anstieg der Zeit bis zum ersten Token um 30 % oder ein Rückgang des Ausgabethroughputs um 20 % zeigen nicht, welche Schicht verantwortlich ist oder was als Nächstes zu testen ist. Z.ai’s Antwort, die es als Dense Feedback bezeichnet, fasst Korrektheitstests, Laufzeit‑Logs, Ausführungs‑Traces, Laufzeit‑Ereignisse, Mikrobenchmarks und End‑to‑End‑Metriken zu wiederholbaren Workflows zusammen, die es dem Agenten ermöglichen, jede Hypothese lokal zu validieren, anstatt nach jeder Änderung auf eine vollständige Bereitstellung und Lasttest zu warten.

Das Unternehmen definiert drei erforderliche Eigenschaften für solches Feedback. Es muss lokal sein und, wo immer möglich, an spezifische Startparameter, Code‑Änderungen, Kernel, Eingabebedingungen, Threads, Ausführungsintervalle oder Code‑Pfade gebunden sein. Es muss kostengünstig und zeitnah zu erhalten sein. Und es muss eine objektive Verifizierung durch Referenzimplementierungen und kontrollierte Experimente unterstützen, da beobachtete Korrelationen allein keine Ursachenbegründung liefern.

Im im Bericht beschriebenen Launch‑Loop definierten Ingenieure Ziele und Systemgrenzen und prüften kritische Änderungen hinsichtlich numerischer Semantik, Nebenläufigkeitsverhalten und Produktionsrisiko, während der Agent Analyse, Hypothesen und Code‑Änderungen übernahm. Der Stack, den sie gemeinsam optimierten, kombinierte intra‑Node‑Tensor‑Parallelismus für lineare Aufmerksamkeit und den LM‑Head, ReplaySSM, W8A8‑Quantisierung, Mixed‑Precision‑INT8/FP8/BF16‑Cache‑Quantisierung und Layer‑Split, basierend auf einer disaggregierten Encode‑Prefill‑Decode‑Architektur.

Drei technische Fälle

Der erste Fall betrifft die numerische Korrektheit. Der Vergleich von partitionierten und nicht partitionierten Kernel‑Ausführungspfaden deckte ein Genauigkeitsproblem im Context‑Parallelism‑Pfad des KDA‑Kernels auf: Die tl.dot‑Operation nutzte standardmäßig TF32‑Berechnung, selbst wenn ihre Eingaben FP32 waren, sodass sich Fehler beim Zusammenführen des Zustands ansammelten und mit zunehmender Kontextlänge verstärkten. Die Korrektur setzte die Eingabepräzision explizit auf tf32x3, das drei TF32‑Tensor‑Core‑Operationen verwendet, um ein höherpräzises Ergebnis zu erzielen.

Laut dem Bericht wurden die Korrekturen upstream in Flash Linear Attention integriert. Die Pull-Anfrage, die am 27. August 2026 eröffnet und zusammengeführt wurde, wendet die tf32x3‑Affine‑Kette in den Zustands‑Update‑ und Transformations‑Merge‑Kerneln als optionalen Genauigkeitspfad an, fügt Context‑Parallelism‑Tests hinzu und fällt auf Plattformen ohne tf32‑Unterstützung (AMD, NPUs und NVIDIA‑GPUs unter Compute Capability 8.0) explizit auf IEEE‑Präzision zurück.

Der zweite Fall betrifft ein KV‑Transfer‑Nebenläufigkeitsengpass. Laut dem Bericht setzten die Ingenieure ein Akzeptanzkriterium, dass bei gleicher Last Prefill plus KV‑Transfer innerhalb von 5 % der Prefill‑Nur‑Baseline laufen sollte. Der Agent fand Lücken von über 20 % in einigen Szenarien und führte sie auf DeepEP v1.2.1 zurück, in dem weder die intranode_dispatch noch die intranode_combine Aufruf explizit das Python‑GIL freigaben. Solange diese Aufrufe das Lock hielten, konnte der Mooncake‑Transfer‑Python‑Thread im selben Prozess das GIL nicht rechtzeitig erwerben, sodass die Planung und Einreichung von Transfer‑Aufgaben verzögerten und die Überlappung mit der Berechnung schrumpfte. Der Bericht stellt fest, dass internode_dispatch in derselben Version das GIL bereits freigab, mit einem Code‑Kommentar, der besagt, dass das Ziel darin bestand, das KV‑Transfer in anderen Threads nicht zu blockieren, während die CPU wartete. Nachdem die Korrektur das GIL während der relevanten C++‑Ausführungsintervalle freigab, berichtet der Bericht, dass die Lücke unter denselben Testbedingungen unter 1 % fiel.

Der dritte Fall betrifft die Kernel‑Performance. Z.ai ließ den Agenten Techniken aus handgeschriebenen Kerneln in Projekten wie SGLang, Flash Linear Attention und DeepGEMM extrahieren und in wiederverwendbare Optimierungsskelette überführen, die Anwendbarkeitsbedingungen, Transformationsmethoden, Ressourcenbeschränkungen und Validierungsnachweise enthalten. An einem repräsentativen KDA‑Decode‑Kernel berichtet das Unternehmen, dass die Teiloptimierung des Agenten die Ausführungszeit um 9,6 % reduzierte. Nachdem Feedback die Berechnung als primären Engpass identifizierte, fusionierte der Agent die V‑Dimensional‑Tiles des Kernels, die dieselbe FP32‑Normalisierung und Gate‑Berechnungen viermal wiederholten, zu einem einzigen Thread‑Block mit registerresidenten Zwischenergebnissen und einer Warp‑Level‑Reduktion, was laut Unternehmen zu einer 1,71‑fachen Beschleunigung gegenüber der vorherigen Version führte.

Bekannte Ergebnisse und rekursive Selbstverbesserung

Z.ai berichtet, dass GLM-5.3-Flash von der ersten Modellanpassung bis zur Produktionsreife in weniger als zwei Wochen gelangte und die End‑to‑End‑Durchsatzrate schließlich im Vergleich zum Ausgangs‑Baseline verdreifachte. Das Unternehmen sagte zudem, dass die Effizienz der Hardware‑Auslastung und die Kosten pro Token Niveaus erreichten, die mit gängigen NVIDIA‑GPUs vergleichbar sind.

Das Unternehmen stellt die Arbeit als frühes Beispiel für rekursive Selbstverbesserung dar und weist darauf hin, dass das Modell an der Optimierung des Inferenzsystems, auf dem es läuft, mitgewirkt hat. Gleichzeitig betont Z.ai, dass es noch nicht die rekursive Selbstverbesserung erreicht habe und dass die Wahl von Zielen, das Setzen von Grenzen und die Risikobewertung weiterhin menschliche Verantwortlichkeiten seien, die Menschen seiner Ansicht nach weiterhin übernehmen sollten.