Cloudflare cho biết lỗi GLM-5.3 làm rò rỉ 155 phản hồi giữa các phiên của những khách thuê khác nhau

Ngày 26 tháng 10 năm 2026, Cloudflare đã công bố báo cáo sự cố, tiết lộ tình trạng lộ bộ nhớ đệm KV giữa các yêu cầu trong mô hình GLM-5.3 trên nền tảng Workers AI. Trong số 155 phản hồi cho các lời nhắc rất dài, có dữ liệu từ phiên của những khách hàng khác.

Nhà nghiên cứu bảo mật Gadi Evron thuộc Knostic đã báo cáo vấn đề cách ly tenant cho Cloudflare vào ngày 8 tháng 9 năm 2026 thông qua chương trình HackerOne của công ty. Tình trạng lộ dữ liệu ảnh hưởng đến mô hình có tên @cf/zai-org/glm-5.3, bắt đầu từ ngày 27 tháng 8 năm 2026, cũng là ngày GLM 5.3 ra mắt trên Workers AI. Cloudflare đã khắc phục sự cố và khôi phục mô hình vào ngày 9 tháng 9 năm 2026, đồng thời cho biết đã xác nhận không có mô hình nào khác được lưu trữ trên Workers AI bị ảnh hưởng.

Cả 155 phản hồi bị ảnh hưởng đều xuất phát từ những lời nhắc dài hơn 681.280 token. Cloudflare cho biết sau khi loại trừ các yêu cầu thử nghiệm của chính mình và yêu cầu của nhà nghiên cứu, những yêu cầu mà công ty xác định được có thời điểm và khối lượng phù hợp với cách sử dụng ngữ cảnh dài thông thường, chứ không phải hành vi khai thác lỗi lặp đi lặp lại; công ty cũng không tìm thấy bằng chứng về việc cố ý khai thác lỗi.

Hai vấn đề dẫn đến sự cố lộ dữ liệu

GLM là mô hình tạo văn bản của Z.ai, được phát triển cho các quy trình lập trình có tác nhân AI và là một trong nhiều mô hình có trên Workers AI. Cloudflare vận hành GLM 5.3 bằng SGLang, một công cụ suy luận nguồn mở, theo cấu hình tách biệt: GPU tiền xử lý lời nhắc và tạo bộ nhớ đệm KV, sau đó chuyển bộ nhớ đệm này qua truy cập bộ nhớ trực tiếp từ xa (RDMA), thông qua Mooncake, đến GPU giải mã để tạo phản hồi. Bộ nhớ đệm KV là một vùng dùng chung gồm các trang có kích thước cố định; các trang này không được xóa về 0 giữa các yêu cầu, vì vậy công cụ phải theo dõi quyền sở hữu của từng trang.

Báo cáo xác định hai vấn đề dẫn đến tình trạng lộ dữ liệu. Vấn đề đầu tiên là cấu hình sai: Cloudflare triển khai GLM 5.3 với cửa sổ ngữ cảnh 1.048.576 token, nhưng vùng bộ nhớ đệm KV trên GPU tiền xử lý chỉ chứa được 681.280 token. Cloudflare cho biết họ đã biết về sự chênh lệch này trước khi ra mắt, nhưng kỳ vọng công cụ sẽ trả về lỗi nếu không thể xử lý một lời nhắc; các bài kiểm tra ngữ cảnh dài lại trả về phản hồi thành công, nên công ty không cho rằng sự chênh lệch đó là vấn đề. Công ty cho biết các bài kiểm tra đã xác thực mã phản hồi HTTP và hiệu suất của công cụ với ngữ cảnh dài, nhưng không xác thực đầu ra và tính mạch lạc của mô hình; hiện nay, công ty kiểm tra trực tiếp kích thước vùng KV so với độ dài ngữ cảnh trước khi triển khai bất kỳ thay đổi nào đối với cấu hình tách biệt.

Vấn đề thứ hai là lỗi SGLang trong cách xử lý các yêu cầu vượt quá giới hạn độ dài ở chế độ tiền xử lý và giải mã tách biệt. Một lời nhắc không vừa với vùng bộ nhớ đệm sẽ được đánh dấu nội bộ là bị từ chối và thay bằng phần giữ chỗ một token, nhưng khâu tiền xử lý vẫn tạo bộ nhớ đệm KV cho phần giữ chỗ và báo rằng quá trình truyền đã hoàn tất. Sau đó, nút giải mã tạo phản hồi bằng cách truy xuất các trang bộ nhớ đệm cũ vẫn chứa dữ liệu từ những yêu cầu trước, còn ứng dụng khách nhận được phản hồi HTTP 200 thay vì HTTP 400.

Trong bài đăng phối hợp riêng, nhóm SGLang cho biết đường xử lý từ chối trên một nút sẽ trả về lỗi thay vào đó, nên sự cố chỉ xảy ra khi phục vụ theo cấu hình tách biệt. Một người dùng khác đã báo cáo lỗi này cho SGLang trong vấn đề #30233 vào ngày 6 tháng 7 năm 2026; Cloudflare cho biết họ nhận thấy báo cáo đó trong quá trình điều tra.

Ứng phó và khắc phục sự cố

Cloudflare bắt đầu xác minh báo cáo lúc 08:00 UTC ngày 9 tháng 9 năm 2026 và tuyên bố đây là sự cố bảo mật lúc 13:22, sau khi nhóm Bảo mật Sản phẩm tái hiện được tình trạng rò rỉ bằng hai tài khoản độc lập trong vòng 25 phút. Công ty chuyển GLM 5.3 sang chế độ riêng tư lúc 14:00, xác định nguyên nhân gốc rễ lúc 14:35, triển khai cấu hình đã sửa cho tất cả các nút tiền xử lý trước 14:52, dựng lại toàn bộ hệ thống triển khai với bản vá công cụ do Cloudflare phát triển trước 19:04 và khôi phục quyền truy cập công khai vào mô hình lúc 19:40. Trang trạng thái Cloudflare ghi nhận sự cố Workers AI bắt đầu lúc 10:25 AM EDT ngày 9 tháng 9 năm 2026, được xác định lúc 11:02 AM EDT và được khắc phục lúc 4:09 PM EDT.

Bản sửa cấu hình tương tự thiết lập GLM 5.2, giải phóng đủ bộ nhớ GPU để vùng KV tiền xử lý hiện có thể chứa khoảng 2,04 triệu token, xấp xỉ gấp đôi cửa sổ ngữ cảnh 1.048.576 token; vì vậy, lời nhắc nào vừa với cửa sổ ngữ cảnh cũng sẽ vừa với vùng bộ nhớ đệm. Bản vá công cụ loại bỏ yêu cầu đang chờ xử lý từ chối tại hàng đợi tiếp nhận của hệ thống tách biệt, kèm theo lỗi ban đầu, trước khi diễn ra bất kỳ quá trình khởi tạo, cấp phát hay truyền KV nào. Cloudflare đã xác thực cả hai thay đổi bằng tập lệnh tái hiện của nhà nghiên cứu và các bài kiểm tra đánh dấu canary của chính công ty trước khi khôi phục mô hình.

Các bản sửa lỗi cho dự án gốc và công việc đang tiếp diễn

Cloudflare đề xuất bản sửa lỗi cho dự án SGLang thông qua yêu cầu kéo #38704; các nhà bảo trì đã hợp nhất #38935, bản sửa từ chối những yêu cầu bị ảnh hưởng ngay tại bước tiếp nhận theo cách tiếp cận của Cloudflare. Một bản sửa liên quan khác, #36988, đã được hợp nhất vào ngày 6 tháng 9 năm 2026 để xử lý một nhánh lỗi tương tự. Bản vá được phát hành trong SGLang v0.5.20, cùng các bản cập nhật tiếp theo trong v0.5.21, phát hành ngày 2 tháng 10 năm 2026, và v0.5.22, phát hành ngày 19 tháng 10 năm 2026; Cloudflare khuyến nghị tất cả đơn vị vận hành SGLang cập nhật lên v0.5.22 trở lên. Nhóm SGLang cho biết v0.5.21 mặc định bảo vệ các hệ thống triển khai Mooncake và NIXL trước mọi dạng lỗi; các hệ thống triển khai MORI cần một bản dựng trong v0.5.22; và dòng bản sửa lỗi này không được chuyển ngược về các nhánh phát hành cũ hơn.

Nhóm SGLang báo cáo rằng trong 21 lần chạy trên hai GPU H100, mức chênh lệch thông lượng khi bật các biện pháp bảo vệ nằm trong khoảng ±2%, với mọi khoảng tin cậy 95% đều bao gồm 0. Một loạt thử nghiệm riêng gồm 16 lần chạy trên hai GPU H200 đo được chi phí của việc bật mặc định tính năng giải phóng KV trì hoãn là −0,38%, với khoảng tin cậy từ −2,12% đến +1,36%; nhóm mô tả mức này là không có ý nghĩa thống kê. Cloudflare đã gặp các nhà duy trì SGLang tại RadixArk vào ngày 10 tháng 9 năm 2026, triển khai thêm các biện pháp tăng cường cho toàn bộ hệ thống SGLang đang vận hành trong môi trường sản xuất từ ngày 11 đến 19 tháng 9 năm 2026, còn các thay đổi được hợp nhất vào dự án upstream, bao gồm bản sửa lỗi ở khâu tiếp nhận yêu cầu, mã kiểm tra tổng kiểm tra cho từng lần truyền, bảo toàn xác nhận hủy và bật mặc định tính năng giải phóng KV trì hoãn, được thực hiện từ ngày 16 tháng 9 đến ngày 12 tháng 10 năm 2026.

Với các đơn vị vận hành khác chạy SGLang ở chế độ phân tách, báo cáo của Cloudflare khuyến nghị đo dung lượng nhóm KV so với độ dài ngữ cảnh trên mọi nút tiền điền và giải mã sau mỗi thay đổi về trọng số, lượng tử hóa, mức độ song song hoặc tỷ lệ bộ nhớ; nâng cấp lên bản dựng có cả hai bản sửa lỗi ở khâu tiếp nhận yêu cầu; bật tính năng giải phóng KV trì hoãn ở cả hai vai trò; bật tính năng phát hiện hỏng dữ liệu nếu mô hình hỗ trợ; và cấu hình bộ cân bằng tải sao cho việc máy khách ngắt kết nối không làm hủy yêu cầu giữa chừng khi đang truyền dữ liệu.

Cloudflare cho biết trước đây họ đã xây dựng một thiết kế nguyên mẫu gắn thẻ cho từng trang KV vật lý và kiểm tra ánh xạ trước khi quá trình giải mã đọc bộ nhớ đệm; trong các thử nghiệm, thiết kế này khiến thông lượng và độ trễ đuôi giảm chưa đến 1%. Công ty đã thử nghiệm nguyên mẫu trên GLM 5.2 vào giữa tháng 8 năm 2026, nhưng vô hiệu hóa nó không lâu sau đó do các vấn đề về độ tin cậy. Cloudflare đang hợp tác với nhóm SGLang để phát triển một phiên bản dùng trong môi trường sản xuất, tích hợp vào bộ máy; mã kiểm tra tổng kiểm tra cho từng lần truyền trong pull request #39500 là bước đầu tiên. Công ty cho biết đang vận dụng kinh nghiệm về phương pháp hình thức để mô hình hóa và chứng minh tính an toàn của một giao thức truyền bộ nhớ đệm KV dựa trên RDMA, sử dụng Mooncake trong hệ thống SGLang đang vận hành ở môi trường sản xuất.

Bài đăng của nhóm SGLang ghi nhận đóng góp của các kỹ sư Cloudflare Kevin Flansburg và Kastan Day trong việc thực hiện các bản sửa lỗi, đồng thời liệt kê thông báo công bố phối hợp giữa SGLang và Cloudflare vào ngày 26 tháng 10 năm 2026 là mục cuối cùng trong dòng thời gian công bố. Báo cáo của chính nhà nghiên cứu, mà theo nhóm SGLang sẽ mô tả quá trình phát hiện và kiểm chứng từ bên ngoài, sẽ được công bố trong thời gian tới.