Z.ai opisuje budowę inferencji GLM-5.3-Flash na 100 000 chińskich chipów

Z.ai 17 września 2026 r. opublikowało techniczny opis opisujący, jak od podstaw zbudowało kompletną usługę inferencji klasy produkcyjnej dla modelu GLM-5.3-Flash na klastrze liczącym ponad 100 000 chińskich akceleratorów AI. Według firmy, większość prac została wykonana przez Agenta Infra napędzanego modelem GLM-5.3, a nie wyłącznie przez inżynierów infrastruktury, i cała produkcyjna inferencja dla GLM-5.3-Flash działa w tym systemie.

Z.ai stwierdziło, że wcześniej nikt nie zarządzał klastrem chińskich akceleratorów w tej skali. Firma wskazała stosunkowo ograniczoną pojemność pamięci na chipie i przepustowość, nową architekturę modelu, okno kontekstowe o długości 1 M tokenów oraz żądania multimodalne, a także niedojrzały ekosystem, w którym wsparcie dla kerneli było niekompletne i inżynierowie musieli zgadywać zachowanie, które powinno być udokumentowane.

GLM-5.3-Flash uruchomiono 26 sierpnia 2026 r. jako pierwszy natywnie multimodalny model w serii GLM-5, z 320 miliardami parametrów ogółem i 18 miliardami aktywnych parametrów w hybrydowej architekturze łączącej rzadką i liniową uwagę. Przed wydaniem Z.ai testowało model anonimowo jako ox-alpha na OpenCode i OpenRouter, a firma poinformowała, że w ciągu tygodnia od uruchomienia stał się najczęściej używanym modelem na obu platformach, przetwarzając ponad 62 triliony tokenów w ciągu sześciu dni.

Metoda gęstej informacji zwrotnej

W centrum tego opisu leży problem systemowy: metryki end‑to‑end mogą poinformować agenta, że wyniki pogorszyły się, ale nie wyjaśniają dlaczego. Niepowodzenie testu dokładności numerycznej, 30 % wzrost czasu do pierwszego tokenu lub 20 % spadek przepustowości wyjścia nie wskazują, która warstwa jest odpowiedzialna ani co testować dalej. Odpowiedzią Z.ai, którą nazywa gęstą informacją zwrotną, jest połączenie testów poprawności, logów wykonania, śladów wykonania, zdarzeń w czasie działania, mikrobenchmarków i metryk end‑to‑end w powtarzalne przepływy pracy, które pozwalają agentowi weryfikować każdą hipotezę lokalnie, zamiast czekać na pełne wdrożenie i test obciążeniowy po każdej zmianie.

Firma definiuje trzy niezbędne właściwości takiej informacji zwrotnej. Musi być lokalna, powiązana w miarę możliwości ze specyficznymi parametrami uruchomienia, zmianami kodu, kernelami, warunkami wejściowymi, wątkami, interwałami wykonania lub ścieżkami kodu. Musi być tania i szybka do uzyskania. Musi także umożliwiać obiektywną weryfikację poprzez implementacje referencyjne i kontrolowane eksperymenty, ponieważ same obserwowane korelacje nie dowodzą przyczyny źródłowej.

W opisanej pętli uruchomieniowej inżynierowie określili cele i granice systemu oraz przejrzeli krytyczne zmiany dotyczące semantyki numerycznej, zachowania współbieżności i ryzyka produkcyjnego, podczas gdy agent zajmował się analizą, hipotezami i zmianami kodu. Stos, który wspólnie optymalizowali, łączył wewnątrz‑węzłową równoległość tensorową dla liniowej uwagi i głowy LM, ReplaySSM, kwantyzację W8A8, mieszane precyzje kwantyzacji pamięci podręcznej INT8/FP8/BF16 oraz podział warstw, w ramach zdecentralizowanej architektury Encode‑Prefill‑Decode.

Trzy przypadki inżynieryjne

Pierwszy przypadek dotyczy poprawności numerycznej. Walidacja porównująca podzielone i niepodzielone ścieżki wykonania kerneli ujawniła problem dokładności w ścieżce równoległości kontekstowej kernela KDA: operacja tl.dot domyślnie używała obliczeń TF32, nawet gdy jej wejścia były FP32, co powodowało gromadzenie się błędów podczas scalania stanu i ich nasilenie wraz ze wzrostem długości kontekstu. Poprawka wyraźnie ustawiła precyzję wejścia na tf32x3, która wykorzystuje trzy operacje TF32 Tensor Core, aby uzyskać wynik o wyższej precyzji.

Według opisu, poprawki zostały scalone w górę do Flash Linear Attention. żądanie scalenia, otwarte i scalone 27 sierpnia 2026 r., stosuje łańcuch afiniczny tf32x3 w kernelach aktualizacji stanu i scalania transformacji jako opcjonalną ścieżkę dokładności, dodaje testy równoległości kontekstowej i wyraźnie przechodzi do precyzji IEEE na platformach bez wsparcia tf32 (AMD, NPU oraz GPU NVIDIA starsze niż możliwość obliczeniowa 8.0).

Drugi przypadek dotyczy wąskiego gardła współbieżności transferu KV. Według opisu inżynierowie ustalili kryterium akceptacji, że przy tym samym obciążeniu Prefill plus transfer KV powinny działać w granicach 5 % od bazowego wyniku Prefill‑only. Agent wykrył luki przekraczające 20 % w niektórych scenariuszach i powiązał je z DeepEP v1.2.1, w którym żadne intranode_dispatch ani intranode_combine wywołanie wyraźnie zwolniło GIL Pythona. Dopóki te wywołania utrzymywały blokadę, wątek Python transferu Mooncake w tym samym procesie nie mógł w porę przejąć GIL, co powodowało opóźnienia w planowaniu i zgłaszaniu zadań transferu oraz zmniejszało nakładanie się na obliczenia. Opis wskazuje, że funkcja internode_dispatch w tej samej wersji już zwalniała GIL, a w komentarzu kodu podano, że celem było uniknięcie blokowania transferu KV w innych wątkach, gdy CPU czekało. Po wprowadzeniu poprawki, która zwolniła GIL w odpowiednich interwałach wykonania C++, raportuje opis, luka spadła poniżej 1 % przy tych samych warunkach testowych.

Trzeci przypadek dotyczy wydajności jądra. Z.ai wyodrębniło techniki od agenta z ręcznie pisanych jąder w projektach, w tym SGLang, Flash Linear Attention i DeepGEMM, tworząc wielokrotnego użytku szkielet optymalizacji zawierający warunki zastosowania, metody transformacji, ograniczenia zasobów i dowody walidacyjne. Na reprezentatywnym jądrze KDA Decode firma podaje, że optymalizacja podziału agenta skróciła czas wykonania o 9,6 %. Po zidentyfikowaniu obliczeń jako głównego wąskiego gardła, agent połączył kafelki wymiaru V jądra, które czterokrotnie powtarzały te same obliczenia normalizacji i bramkowania w formacie FP32, w pojedynczy blok wątków z pośrednimi wynikami przechowywanymi w rejestrach i jedną redukcją na poziomie warp, co, według firmy, dało przyspieszenie 1,71‑krotne w stosunku do poprzedniej wersji.

Podane wyniki i rekurencyjne samodoskonalenie

Z.ai podaje, że GLM-5.3-Flash przeszedł od początkowej adaptacji modelu do gotowości produkcyjnej w mniej niż dwa tygodnie, a całkowita przepustowość ostatecznie potroiła się w stosunku do początkowego punktu odniesienia. Firma dodała również, że efektywność wykorzystania sprzętu i koszt na token osiągnęły poziomy porównywalne z popularnymi GPU firmy NVIDIA.

Firma przedstawia to przedsięwzięcie jako wczesny przykład rekurencyjnego samodoskonalenia, podkreślając, że model uczestniczył w optymalizacji systemu inferencji, na którym działa. Jednocześnie Z.ai zaznacza, że nie osiągnęło jeszcze pełnego rekurencyjnego samodoskonalenia oraz że wybór celów, wyznaczanie granic i ocena ryzyka pozostają odpowiedzialnością ludzi, którą według nich powinni nadal pełnić ludzie.