Моделі та платформи ШІ
Z.ai розкриває деталі інференції GLM-5.3-Flash, створеної на 100 000 китайських чипів
Додайте Unite.AI до бажаних джерел у Google
Z.ai 17 вересня 2026 року опублікувала технічний звіт, у якому описано, як вона створила повноцінний інференсний сервіс виробничого рівня для моделі GLM-5.3-Flash з нуля на кластері, що налічує понад 100 000 китайських AI‑прискорювачів. За словами компанії, більша частина роботи була виконана Infra Agent, який працює на базі GLM-5.3, а не лише інженерами інфраструктури, і весь виробничий інференс для GLM-5.3-Flash працює в цій системі.
Z.ai заявила, що раніше ніхто не керував кластером китайських прискорювачів у такому масштабі. Компанія вказала на відносно обмежений обсяг пам’яті на чіпі та пропускну здатність, нову архітектуру моделі, контекстне вікно у 1 млн токенів та мультимодальні запити, а також на незрілій екосистемі, у якій підтримка ядер була неповною, і інженерам доводилося гадати щодо поведінки, яку слід було задокументувати.
GLM-5.3-Flash запущено 26 серпня 2026 року як перша нативно мультимодальна модель у серії GLM-5, з 320 мільярдами загальних параметрів і 18 мільярдами активних параметрів у гібридній архітектурі, що поєднує розріджену та лінійну увагу. Перед випуском Z.ai тестувала модель анонімно під назвою ox-alpha на OpenCode та OpenRouter, і компанія заявила, що вона стала найвикористовуванішою моделлю на обох платформах протягом тижня після запуску, обробивши понад 62 трильйони токенів за шість днів.
Метод щільного зворотного зв’язку
У центрі звіту лежить системна проблема: метрики кінцево‑кінцевого процесу можуть повідомити агенту, що результати погіршилися, але не чому. Невдалий тест числової точності, збільшення часу до першого токену на 30 % або падіння пропускної здатності виходу на 20 % не вказують, який шар відповідає за це і що тестувати далі. Відповіддю Z.ai, яку вони називають щільним зворотним зв’язком, є об’єднання тестів правильності, журналів виконання, трас виконання, подій часу виконання, мікробенчмарків та кінцевих метрик у повторювані робочі процеси, що дозволяють агенту локально перевіряти кожну гіпотезу, а не чекати повного розгортання та навантажувального тесту після кожної зміни.
Компанія визначає три обов’язкові властивості такого зворотного зв’язку. Він має бути локальним, наскільки можливо прив’язаним до конкретних параметрів запуску, змін коду, ядер, умов вводу, потоків, інтервалів виконання або шляхів коду. Він має бути недорогим і швидким у отриманні. І він має підтримувати об’єктивну верифікацію через референсні реалізації та контрольовані експерименти, оскільки спостережувані кореляції самі по собі не встановлюють причину.
У циклі запуску, описаному у звіті, інженери визначали цілі та межі системи та переглядали критичні зміни, що стосуються числової семантики, поведінки конкурентності та виробничих ризиків, тоді як агент займався аналізом, гіпотезами та змінами коду. Стек, який вони спільно оптимізували, об’єднав внутрішньовузловий тензорний паралелізм для лінійної уваги та LM‑Head, ReplaySSM, квантизацію W8A8, квантизацію кешу змішаної точності INT8/FP8/BF16 та розподіл шарів, у рамках дезагрегованої архітектури Encode‑Prefill‑Decode.
Три інженерні випадки
Перший випадок стосується числової точності. Перевірка, що порівнювала розділені та нерозділені шляхи виконання ядер, виявила проблему точності у шляху Context Parallelism ядра KDA: операція tl.dot за замовчуванням виконувалася у режимі TF32, навіть коли її вхідні дані були FP32, тому помилки накопичувалися під час злиття стану і посилювалися зі збільшенням довжини контексту. Виправлення явно встановило точність вводу в tf32x3, що використовує три операції TF32 Tensor Core для отримання результату вищої точності.
За даними звіту, виправлення були злиті в основний репозиторій Flash Linear Attention. запит на злиття, відкритий і злитий 27 серпня 2026 року, застосовує ланцюжок tf32x3 у ядрах оновлення стану та злиття трансформацій як опціональний шлях підвищення точності, додає тести Context Parallelism і явно повертається до точності ieee на платформах без підтримки tf32 (AMD, NPU та графічні процесори NVIDIA нижче обчислювальної спроможності 8.0).
Другий випадок стосується вузького місця конкурентності при KV Transfer. За даними звіту, інженери встановили критерій прийнятності, згідно з яким при однаковому навантаженні Prefill плюс KV Transfer мають працювати не більше, ніж на 5 % від базової лінії Prefill‑only. Агент виявив розриви, що перевищували 20 % у деяких сценаріях, і простежив їх до DeepEP v1.2.1, у якому ні диспетчеризація, ні внутрішньовузловий виклик combine явно не звільняли Python GIL. Поки ці виклики утримували блокування, Python‑потік Mooncake Transfer у тому ж процесі не міг вчасно отримати GIL, тому планування та подання завдань перенесення затримувалися, а їх накладання на обчислення скорочувалося. У звіті зазначено, що internode_dispatch у цій же версії вже звільняв GIL, з коментарем у коді, що мета — уникнути блокування KV Transfer в інших потоках, поки процесор очікує. Після того, як виправлення звільнило GIL під час відповідних інтервалів виконання C++, за повідомленням звіту, розрив впав нижче 1 % за тих самих умов тестування.
Третій випадок стосується продуктивності ядра. Z.ai доручив агенту виділити техніки з написаних вручну ядер у проектах, включаючи SGLang, Flash Linear Attention та DeepGEMM, у багаторазові шаблони оптимізації, що містять умови застосовності, методи трансформації, обмеження ресурсів та докази валідації. На репрезентативному ядрі KDA Decode компанія повідомляє, що оптимізація поділу агентом скоротила час виконання на 9,6 %. Після того як відгуки виявили обчислення як головне вузьке місце, агент об’єднав плитки V‑виміру ядра, які чотири рази повторювали однакові обчислення FP32 нормалізації та гейтування, у один блок потоків із проміжними результатами, що зберігаються в регістрах, та одним зведенням на рівні warp, що, за словами компанії, забезпечило прискорення 1,71× порівняно з попередньою версією.
Заявлені результати та рекурсивне самовдосконалення
Z.ai повідомляє, що GLM-5.3-Flash перейшов від початкової адаптації моделі до готовності до виробництва менш ніж за два тижні, при цьому кінцева пропускна здатність зрештою потроїлася порівняно з початковим базовим рівнем. Компанія також зазначила, що ефективність використання апаратних ресурсів та вартість за токен досягли рівнів, порівнянних із звичайними графічними процесорами NVIDIA.
Компанія позиціонує цю ініціативу як ранній приклад рекурсивного самовдосконалення, зазначаючи, що модель брала участь у оптимізації системи інференсу, на якій вона працює. Водночас Z.ai стверджує, що ще не досягла рекурсивного самовдосконалення, і що вибір цілей, встановлення меж та оцінка ризиків залишаються людськими обов’язками, які, на їхню думку, мають залишатися за людьми.
