Z.ai tiết lộ việc xây dựng GLM-5.3-Flash Inference trên 100.000 chip Trung Quốc

Z.ai vào ngày 17 tháng 9 năm 2026 đã công bố một báo cáo kỹ thuật mô tả cách họ xây dựng một dịch vụ suy luận cấp sản xuất hoàn chỉnh cho mô hình GLM-5.3-Flash từ đầu trên một cụm hơn 100.000 bộ tăng tốc AI sản xuất tại Trung Quốc. Theo công ty, phần lớn công việc được thực hiện bởi một Infra Agent được hỗ trợ bởi GLM-5.3 thay vì chỉ bởi các kỹ sư hạ tầng, và mọi suy luận sản xuất cho GLM-5.3-Flash đều chạy trên hệ thống.

Z.ai cho biết chưa có ai trước đây vận hành một cụm bộ tăng tốc sản xuất tại Trung Quốc ở quy mô này. Công ty nêu ra bộ nhớ trên chip và băng thông hạn chế, kiến trúc mô hình mới, cửa sổ ngữ cảnh 1 triệu token, và các yêu cầu đa phương tiện, cùng với một hệ sinh thái chưa trưởng thành, trong đó hỗ trợ kernel chưa đầy đủ và các kỹ sư phải đoán hành vi mà lẽ ra phải được ghi chép.

GLM-5.3-Flash được ra mắt vào ngày 26 tháng 8 năm 2026 là mô hình đa phương tiện gốc đầu tiên trong series GLM-5, với tổng 320 tỷ tham số và 18 tỷ tham số hoạt động dưới một kiến trúc lai kết hợp attention thưa và tuyến tính. Trước khi phát hành, Z.ai đã thử nghiệm mô hình này ẩn danh dưới tên ox-alpha trên OpenCode và OpenRouter, và công ty cho biết nó đã trở thành mô hình được sử dụng nhiều nhất trên cả hai nền tảng trong vòng một tuần kể từ khi ra mắt, xử lý hơn 62 nghìn tỷ token trong sáu ngày.

Phương pháp Phản hồi Đậm đặc

Ở trung tâm của báo cáo là một vấn đề hệ thống: các chỉ số đầu cuối có thể cho biết cho một agent rằng kết quả đã xấu đi, nhưng không cho biết nguyên nhân. Một bài kiểm tra độ chính xác số học thất bại, thời gian đến token đầu tiên tăng 30%, hoặc giảm 20% tốc độ đầu ra không cho thấy lớp nào chịu trách nhiệm hoặc cần kiểm tra gì tiếp theo. Câu trả lời của Z.ai, mà họ gọi là phản hồi đậm đặc, gộp các bài kiểm tra độ chính xác, nhật ký thời gian chạy, dấu vết thực thi, sự kiện thời gian chạy, các microbenchmark và các chỉ số đầu cuối vào các quy trình làm việc có thể lặp lại, cho phép agent xác thực từng giả thuyết cục bộ thay vì phải chờ triển khai đầy đủ và kiểm tra tải sau mỗi thay đổi.

Công ty xác định ba thuộc tính bắt buộc cho loại phản hồi này. Nó phải là cục bộ, gắn liền càng nhiều càng tốt với các tham số khởi chạy cụ thể, thay đổi mã, kernel, điều kiện đầu vào, luồng, khoảng thời gian thực thi hoặc đường dẫn mã. Nó phải có chi phí thấp và thu thập kịp thời. Và nó phải hỗ trợ xác minh khách quan thông qua các triển khai tham chiếu và các thí nghiệm kiểm soát, vì các tương quan quan sát được tự thân không thể xác định nguyên nhân gốc.

Trong vòng lặp khởi chạy được mô tả, các kỹ sư đã xác định mục tiêu và ranh giới hệ thống, đồng thời xem xét các thay đổi quan trọng liên quan đến ngữ nghĩa số, hành vi đồng thời và rủi ro sản xuất, trong khi agent xử lý việc phân tích, giả thuyết và thay đổi mã. Ngăn xếp họ cùng tối ưu hoá kết hợp song song tensor nội nút cho attention tuyến tính và LM Head, ReplaySSM, lượng tử hoá W8A8, lượng tử hoá bộ nhớ đệm hỗn hợp INT8/FP8/BF16, và Layer Split, dưới một kiến trúc tách rời Encode-Prefill-Decode.

Ba Trường hợp Kỹ thuật

Trường hợp đầu tiên liên quan đến độ chính xác số học. Việc xác thực so sánh các đường thực thi kernel phân vùng và không phân vùng đã phát hiện một vấn đề độ chính xác trong đường Context Parallelism của kernel KDA: thao tác tl.dot mặc định thực hiện tính toán TF32 ngay cả khi đầu vào là FP32, do đó lỗi tích lũy trong quá trình hợp nhất trạng thái và tăng lên khi độ dài ngữ cảnh tăng. Bản sửa đổi đã đặt rõ ràng độ chính xác đầu vào thành tf32x3, sử dụng ba thao tác Tensor Core TF32 để cho ra kết quả có độ chính xác cao hơn.

Theo báo cáo, các bản sửa đã được hợp nhất lên nguồn chính vào Flash Linear Attention. yêu cầu kéo, được mở và hợp nhất vào ngày 27 tháng 8 năm 2026, áp dụng chuỗi affine tf32x3 trong các kernel cập nhật trạng thái và hợp nhất biến đổi như một đường chính xác tùy chọn, thêm các bài kiểm tra Context Parallelism, và rõ ràng quay lại độ chính xác ieee trên các nền tảng không hỗ trợ tf32 (AMD, NPU và GPU NVIDIA dưới khả năng tính toán 8.0).

Trường hợp thứ hai liên quan đến nút thắt đồng thời KV Transfer. Theo báo cáo, các kỹ sư đã đặt tiêu chí chấp nhận rằng, dưới cùng một tải công việc, Prefill cộng với KV Transfer nên chạy trong phạm vi 5% so với baseline chỉ Prefill. Agent đã phát hiện các khoảng cách vượt quá 20% trong một số kịch bản và truy nguyên chúng tới DeepEP v1.2.1, trong đó cả intranodegửi không intranodekết hợp đều không giải phóng GIL của Python một cách rõ ràng. Miễn là các lời gọi này giữ khóa, luồng Python Mooncake Transfer trong cùng tiến trình không thể giành được GIL kịp thời, do đó việc lập lịch và gửi các tác vụ chuyển giao bị trễ và phần chồng chéo với tính toán giảm đi. Báo cáo lưu ý rằng internode_dispatch trong cùng phiên bản đã giải phóng GIL, với một chú thích mã cho biết mục đích là tránh chặn KV Transfer trong các luồng khác khi CPU đang chờ. Sau khi bản sửa giải phóng GIL trong các khoảng thời gian thực thi C++ liên quan, báo cáo cho biết khoảng cách đã giảm xuống dưới 1% dưới cùng điều kiện thử nghiệm.

Trường hợp thứ ba liên quan đến hiệu năng nhân. Z.ai đã để đại lý trích xuất các kỹ thuật từ các nhân viết tay trong các dự án bao gồm SGLang, Flash Linear Attention và DeepGEMM thành các khung tối ưu hoá có thể tái sử dụng, bao gồm các điều kiện áp dụng, phương pháp biến đổi, ràng buộc tài nguyên và bằng chứng xác thực. Trên một nhân KDA Decode tiêu biểu, công ty báo cáo rằng việc tối ưu hoá phân đoạn của đại lý đã giảm thời gian thực thi xuống 9,6%. Sau khi phản hồi xác định tính toán là nút thắt chính, đại lý đã hợp nhất các ô lát chiều V của nhân, vốn lặp lại cùng một phép chuẩn hoá và tính toán gating FP32 bốn lần, thành một khối luồng duy nhất với các kết quả trung gian lưu trong thanh ghi và một phép giảm cấp warp, tạo ra mức tăng tốc 1,71× so với phiên bản trước, theo báo cáo của công ty.

Kết Quả Được Đưa Ra và Tự Cải Tiến Đệ Quy

Z.ai báo cáo rằng GLM-5.3-Flash đã chuyển từ việc thích nghi mô hình ban đầu đến sẵn sàng sản xuất trong chưa đầy hai tuần, với thông lượng đầu cuối cuối cùng tăng gấp ba so với mức cơ sở ban đầu. Công ty cũng cho biết hiệu suất sử dụng phần cứng và chi phí trên mỗi token đã đạt mức tương đương với các GPU NVIDIA phổ biến.

Công ty mô tả nỗ lực này như một ví dụ sớm về tự cải tiến đệ quy, lưu ý rằng mô hình đã tham gia vào việc tối ưu hoá hệ thống suy luận mà nó chạy trên đó. Đồng thời, Z.ai khẳng định họ chưa đạt được tự cải tiến đệ quy, và việc lựa chọn mục tiêu, đặt ra ranh giới và đánh giá rủi ro vẫn là trách nhiệm của con người, mà họ tin rằng con người nên tiếp tục giữ vai trò này.