Моделі та платформи ШІ
Z.ai розкриває деталі інференції GLM-5.3-Flash, створеної на 100 000 китайських чіпів
Додайте Unite.AI до бажаних джерел у Google
Z.ai 17 вересня 2026 року опублікувала технічний звіт, у якому описано, як вона створила повноцінний інференсний сервіс виробничого рівня для моделі GLM-5.3-Flash з нуля на кластері, що налічує понад 100 000 китайських AI‑прискорювачів. За словами компанії, більша частина роботи була виконана Infra Agent, що працює на базі GLM-5.3, а не лише інженерами інфраструктури, і весь виробничий інференс для GLM-5.3-Flash працює в цій системі.
Z.ai зазначила, що раніше ніхто не експлуатував кластер китайських прискорювачів у такому масштабі. Компанія вказала на відносно обмежену ємність пам’яті на кристалі та пропускну здатність, нову архітектуру моделі, контекстне вікно у 1 млн токенів і мультимодальні запити, а також на незрілій екосистемі, у якій підтримка ядра була неповною, і інженерам доводилося гадати про поведінку, яку мало бути задокументовано.
GLM-5.3-Flash запущено 26 серпня 2026 року як перша нативно мультимодальна модель у серії GLM-5, з 320 мільярдами загальних параметрів і 18 мільярдами активних параметрів у гібридній архітектурі, що поєднує розріджену та лінійну увагу. Перед випуском Z.ai анонімно тестувала модель під назвою ox-alpha на OpenCode та OpenRouter, і компанія заявила, що вона стала найчастіше використовуваною моделлю на обох платформах вже протягом тижня після запуску, обробивши понад 62 трильйони токенів за шість днів.
Метод щільного зворотного зв’язку
У центрі звіту – системна проблема: метрики від кінця до кінця можуть повідомити агенту, що результати погіршились, але не пояснюють чому. Провалений тест числової точності, збільшення часу до першого токену на 30 % або зниження пропускної здатності виводу на 20 % не вказують, який шар відповідає за проблему і що тестувати далі. Відповідь Z.ai, яку вона називає щільним зворотним зв’язком, об’єднує тести правильності, журнали виконання, трасування, події під час роботи, мікробенчмарки та метрики від кінця до кінця в повторювані робочі процеси, що дозволяють агенту локально перевіряти кожну гіпотезу, а не чекати повного розгортання та навантажувального тесту після кожної зміни.
Компанія визначає три обов’язкові властивості такого зворотного зв’язку. Він має бути локальним, наскільки можливо пов’язаним із конкретними параметрами запуску, змінами коду, ядрами, умовами вводу, потоками, інтервалами виконання або шляхами коду. Він має бути недорогим і швидким у отриманні. Крім того, він повинен підтримувати об’єктивну верифікацію за допомогою референсних реалізацій та контрольованих експериментів, оскільки самі по собі спостережувані кореляції не встановлюють причину.
У описаному циклі запуску інженери визначали цілі та межі системи, переглядали критичні зміни, що стосуються числової семантики, поведінки конкурентності та виробничих ризиків, тоді як агент займався аналізом, гіпотезами та змінами коду. Спільно оптимізований стек поєднував внутрішньо‑вузловий тензорний паралелізм для лінійної уваги та LM‑Head, ReplaySSM, квантизацію W8A8, квантизацію кешу змішаної точності INT8/FP8/BF16 та розподіл шарів, у дезагрегованій архітектурі Encode‑Prefill‑Decode.
Три інженерні випадки
Перший випадок стосується числової точності. Перевірка, що порівнювала розділені та нерозділені шляхи виконання ядра, виявила проблему точності у шляху Context Parallelism ядра KDA: операція tl.dot за замовчуванням виконувалась у TF32, навіть коли її вхідні дані були FP32, що призводило до накопичення помилок під час злиття стану і їхнього посилення зі збільшенням довжини контексту. Виправлення явно встановлює точність вводу в tf32x3, що використовує три операції TF32 Tensor Core для отримання результату вищої точності.
За даними звіту, виправлення були злиті у головний репозиторій Flash Linear Attention. запит на злиття, відкритий і злитий 27 серпня 2026 року, застосовує ланцюжок tf32x3 у ядрах оновлення стану та злиття трансформацій як опціональний шлях підвищеної точності, додає тести Context Parallelism і явно повертається до точності IEEE на платформах без підтримки tf32 (AMD, NPU та графічні процесори NVIDIA нижче обчислювальної здатності 8.0).
Другий випадок стосується вузького місця конкурентності передачі KV. За даними звіту, інженери встановили критерій прийнятності, згідно з яким при однаковому навантаженні Prefill плюс KV Transfer мають працювати в межах 5 % від базової лінії лише Prefill. Агент виявив розриви, що перевищують 20 % у деяких сценаріях, і простежив їх до DeepEP v1.2.1, у якому ні intranode_dispatch ні intranode_combine виклик явно звільняв Python GIL. Поки ці виклики утримували блокування, Python‑потік Mooncake Transfer у тому ж процесі не міг вчасно отримати GIL, тому планування та подача завдань передачі затримувалися, а їхнє перекриття з обчисленнями скорочувалося. У звіті зазначається, що у тій же версії internode_dispatch вже звільняв GIL, з коментарем у коді, що мета полягала у запобіганні блокуванню KV Transfer в інших потоках, поки процесор очікує. Після того, як виправлення звільнило GIL під час відповідних інтервалів виконання C++, за даними звіту, розрив впав нижче 1 % за тих самих умов тесту.
Третій випадок стосується продуктивності ядра. Z.ai отримав від агента техніки дистиляції з написаних вручну ядер у проектах, включаючи SGLang, Flash Linear Attention та DeepGEMM, у вигляді повторно використовуваних скелетів оптимізації, що містять умови застосовності, методи трансформації, обмеження ресурсів та докази валідації. На репрезентативному ядрі KDA Decode компанія повідомляє, що оптимізація поділу агента скоротила час виконання на 9,6 %. Після того, як зворотний зв’язок виявив обчислення як головне вузьке місце, агент об’єднав плитки V‑виміру ядра, які чотири рази повторювали однакові обчислення FP32‑нормалізації та гейтування, у один блок потоків із проміжними результатами, що зберігаються у регістрах, і одним зведенням на рівні варпа, що, за словами компанії, дало прискорення 1,71× порівняно з попередньою версією.
Заявлені результати та рекурсивне самовдосконалення
Z.ai повідомляє, що GLM-5.3-Flash пройшов від початкової адаптації моделі до готовності до виробництва менш ніж за два тижні, а кінцева пропускна здатність у підсумку потроїлася порівняно з початковим базовим рівнем. Компанія також зазначила, що ефективність використання апаратури та вартість за токен досягли рівнів, порівнянних із звичайними графічними процесорами NVIDIA.
Компанія позиціонує цю роботу як ранній приклад рекурсивного самовдосконалення, зазначаючи, що модель брала участь у оптимізації інференс‑системи, на якій вона працює. При цьому Z.ai стверджує, що ще не досягла рекурсивного самовдосконалення, і що вибір цілей, встановлення меж і оцінка ризиків залишаються людськими обов’язками, які, на їхню думку, мають залишатися за людьми.
