Z.ai chi tiết GLM-5.3-Flash Inference được xây dựng trên 100.000 chip Trung Quốc

Vào ngày 17 tháng 9 năm 2026, Z.ai đã công bố một bài viết kỹ thuật mô tả cách họ xây dựng một dịch vụ suy luận cấp sản xuất hoàn chỉnh cho mô hình GLM-5.3-Flash từ đầu trên một cụm hơn 100.000 bộ tăng tốc AI sản xuất tại Trung Quốc. Theo công ty, phần lớn công việc được thực hiện bởi một Infra Agent được hỗ trợ bởi GLM-5.3 thay vì chỉ bởi các kỹ sư hạ tầng, và mọi suy luận sản xuất cho GLM-5.3-Flash đều chạy trên hệ thống này.

Z.ai cho biết chưa có ai trước đây vận hành một cụm bộ tăng tốc do Trung Quốc sản xuất ở quy mô này. Công ty đề cập đến khả năng bộ nhớ trên chip và băng thông hạn chế, kiến trúc mô hình mới, cửa sổ ngữ cảnh 1 triệu token, và các yêu cầu đa phương tiện, cùng với một hệ sinh thái còn non trẻ, trong đó hỗ trợ kernel chưa đầy đủ và các kỹ sư phải đoán hành vi mà lẽ ra phải được tài liệu hoá.

GLM-5.3-Flash ra mắt vào ngày 26 tháng 8 năm 2026 là mô hình đa phương tiện gốc đầu tiên trong series GLM-5, với tổng 320 tỷ tham số và 18 tỷ tham số hoạt động dưới một kiến trúc lai kết hợp chú ý thưa và chú ý tuyến tính. Trước khi ra mắt, Z.ai đã thử nghiệm mô hình ẩn danh dưới tên ox-alpha trên OpenCode và OpenRouter, và công ty cho biết nó đã trở thành mô hình được sử dụng nhiều nhất trên cả hai nền tảng trong vòng một tuần kể từ khi ra mắt, xử lý hơn 62 nghìn tỷ token trong sáu ngày.

Phương pháp phản hồi dày đặc

Ở trung tâm của bài viết là một vấn đề hệ thống: các chỉ số đầu cuối có thể cho biết cho một agent rằng kết quả trở nên tồi tệ hơn, nhưng không cho biết lý do. Một bài kiểm tra độ chính xác số học thất bại, thời gian đến token đầu tiên tăng 30%, hoặc tốc độ đầu ra giảm 20% không cho thấy lớp nào chịu trách nhiệm hoặc cần kiểm tra gì tiếp theo. Câu trả lời của Z.ai, mà họ gọi là phản hồi dày đặc, kết hợp các bài kiểm tra tính đúng, nhật ký thời gian chạy, dấu vết thực thi, sự kiện thời gian chạy, các microbenchmark và các chỉ số đầu cuối thành các quy trình làm việc có thể lặp lại, cho phép agent xác thực mỗi giả thuyết cục bộ thay vì phải chờ một triển khai đầy đủ và kiểm tra tải sau mỗi thay đổi.

Công ty định nghĩa ba thuộc tính bắt buộc cho phản hồi như vậy. Nó phải được thực hiện cục bộ, gắn liền càng nhiều càng tốt với các tham số khởi chạy cụ thể, thay đổi mã, kernel, điều kiện đầu vào, luồng, khoảng thời gian thực thi hoặc các đường dẫn mã. Nó phải có chi phí thấp và thu được kịp thời. Và nó phải hỗ trợ xác minh khách quan thông qua các triển khai tham chiếu và các thí nghiệm kiểm soát, vì các tương quan quan sát được một mình không thiết lập nguyên nhân gốc.

Trong vòng lặp khởi chạy mà bài viết mô tả, các kỹ sư đã xác định mục tiêu và ranh giới hệ thống và xem xét các thay đổi quan trọng liên quan đến ngữ nghĩa số học, hành vi đồng thời và rủi ro sản xuất, trong khi agent xử lý việc phân tích, giả thuyết và thay đổi mã. Ngăn xếp mà họ cùng tối ưu hoá kết hợp song song tensor nội nút cho chú ý tuyến tính và LM Head, ReplaySSM, lượng tử hoá W8A8, lượng tử hoá bộ nhớ đệm hỗn hợp INT8/FP8/BF16, và Layer Split, dưới một kiến trúc tách rời Encode-Prefill-Decode.

Ba trường hợp kỹ thuật

Trường hợp đầu tiên liên quan đến độ chính xác số học. Việc xác thực so sánh các đường dẫn thực thi kernel có phân vùng và không phân vùng đã phát hiện ra một vấn đề về độ chính xác trong đường dẫn Context Parallelism của kernel KDA: phép toán tl.dot mặc định sử dụng tính toán TF32 ngay cả khi đầu vào là FP32, do đó lỗi tích lũy trong quá trình hợp nhất trạng thái và tăng lên khi độ dài ngữ cảnh tăng. Bản sửa đổi đã đặt rõ ràng độ chính xác đầu vào thành tf32x3, sử dụng ba phép toán TF32 Tensor Core để tạo ra kết quả có độ chính xác cao hơn.

Theo bài viết, các bản sửa đã được hợp nhất lên nguồn trong Flash Linear Attention. Yêu cầu kéo được mở và hợp nhất vào ngày 27 tháng 8 năm 2026, áp dụng chuỗi affine tf32x3 trong các kernel cập nhật trạng thái và hợp nhất biến đổi như một đường dẫn độ chính xác tùy chọn, thêm các bài kiểm tra Context Parallelism, và rõ ràng quay lại độ chính xác IEEE trên các nền tảng không hỗ trợ tf32 (AMD, NPU và GPU NVIDIA dưới khả năng tính toán 8.0).

Trường hợp thứ hai liên quan đến nút thắt đồng thời KV Transfer. Theo bài viết, các kỹ sư đã đặt tiêu chí chấp nhận rằng, dưới cùng một khối lượng công việc, Prefill cộng với KV Transfer nên chạy trong vòng 5% so với chuẩn Prefill chỉ. Agent đã phát hiện các khoảng cách vượt quá 20% trong một số kịch bản và truy nguyên chúng tới DeepEP v1.2.1, trong đó không có intranode_dispatch cũng không intranode_combine gọi này đã giải phóng GIL của Python một cách rõ ràng. Miễn là các lời gọi đó giữ khóa, luồng Python Mooncake Transfer trong cùng tiến trình không thể giành được GIL kịp thời, do đó việc lập lịch và gửi các tác vụ chuyển giao bị trễ và phần chồng chéo với tính toán thu hẹp lại. Bài viết ghi chú rằng internode_dispatch trong cùng phiên bản đã giải phóng GIL, với một chú thích mã cho biết mục đích là tránh chặn KV Transfer trong các luồng khác trong khi CPU đang chờ. Sau khi bản sửa giải phóng GIL trong các khoảng thời gian thực thi C++ liên quan, bài viết báo cáo, khoảng cách đã giảm xuống dưới 1% trong cùng điều kiện thử nghiệm.

Trường hợp thứ ba liên quan đến hiệu năng kernel. Z.ai đã để agent trích xuất các kỹ thuật từ các kernel viết tay trong các dự án bao gồm SGLang, Flash Linear Attention và DeepGEMM thành các khung tối ưu hoá có thể tái sử dụng, bao gồm các điều kiện áp dụng, phương pháp biến đổi, hạn chế tài nguyên và bằng chứng xác thực. Trên một kernel KDA Decode tiêu biểu, công ty báo cáo rằng việc tối ưu hoá phân chia của agent đã giảm thời gian thực thi xuống 9.6%. Sau khi phản hồi xác định tính toán là nút thắt chính, agent đã hợp nhất các tile theo chiều V của kernel, vốn lặp lại cùng một phép chuẩn hoá và tính toán gating FP32 bốn lần, thành một khối thread duy nhất với các kết quả trung gian lưu trong thanh ghi và một phép giảm ở mức warp, tạo ra tốc độ tăng 1.71× so với phiên bản trước, theo báo cáo của công ty.

Kết Quả Được Công Bố và Tự Cải Tiến Đệ Quy

Z.ai báo cáo rằng GLM-5.3-Flash đã chuyển từ giai đoạn thích nghi mô hình ban đầu đến sẵn sàng sản xuất trong chưa đầy hai tuần, với thông lượng đầu cuối cuối cùng tăng gấp ba so với mức chuẩn ban đầu. Công ty cũng cho biết hiệu suất sử dụng phần cứng và chi phí trên mỗi token đã đạt mức tương đương với các GPU NVIDIA chính thống.

Công ty mô tả nỗ lực này như một ví dụ sớm về tự cải tiến đệ quy, lưu ý rằng mô hình đã tham gia tối ưu hoá hệ thống suy luận mà nó chạy trên đó. Đồng thời, Z.ai cho biết họ chưa đạt được tự cải tiến đệ quy, và việc lựa chọn mục tiêu, thiết lập ranh giới và đánh giá rủi ro vẫn là trách nhiệm của con người, mà họ tin rằng con người nên tiếp tục đảm nhận.