Cloudflare menyebut bug GLM-5.3 membocorkan 155 respons di berbagai sesi tenant

Pada 26 Oktober 2026, Cloudflare menerbitkan laporan insiden yang mengungkap kebocoran cache KV lintas permintaan pada model GLM-5.3 di platform Workers AI miliknya. Akibatnya, 155 respons terhadap perintah yang sangat panjang berisi data dari sesi pelanggan lain.

Peneliti keamanan Gadi Evron dari Knostic melaporkan masalah isolasi tenant tersebut kepada Cloudflare pada 8 September 2026 melalui program HackerOne perusahaan. Kebocoran itu berdampak pada model yang disajikan sebagai @cf/zai-org/glm-5.3, sejak 27 Agustus 2026, hari ketika GLM 5.3 diluncurkan di Workers AI. Cloudflare memperbaiki masalah tersebut dan memulihkan model pada 9 September 2026, serta mengatakan telah memastikan bahwa tidak ada model lain yang dihosting di Workers AI yang terdampak.

Ke-155 respons yang terdampak berasal dari perintah yang panjangnya lebih dari 681.280 token. Cloudflare mengatakan bahwa, setelah mengesampingkan pengujian internal dan permintaan peneliti tersebut, permintaan yang diidentifikasinya memiliki pola waktu dan volume yang sesuai dengan penggunaan konteks panjang biasa, bukan eksploitasi bug berulang. Perusahaan juga mengatakan tidak menemukan bukti adanya eksploitasi yang disengaja.

Dua Masalah yang Menyebabkan Kebocoran

GLM adalah model generasi teks dari Z.ai yang dirancang untuk alur kerja pengodean berbasis agen, dan merupakan salah satu dari banyak model yang tersedia melalui Workers AI. Cloudflare menjalankan GLM 5.3 dengan SGLang, mesin inferensi sumber terbuka, dalam konfigurasi terdisagregasi: GPU prefill memproses perintah dan menghasilkan cache KV-nya, lalu menyerahkan cache tersebut melalui akses memori langsung jarak jauh (RDMA), menggunakan Mooncake, kepada GPU decode yang menghasilkan respons. Cache KV adalah kumpulan bersama yang terdiri atas halaman berukuran tetap; halaman-halaman tersebut tidak dikosongkan di antara permintaan, sehingga mesin bertanggung jawab melacak kepemilikan setiap halaman.

Laporan tersebut mengaitkan kebocoran ini dengan dua masalah. Masalah pertama adalah kesalahan konfigurasi: Cloudflare menerapkan GLM 5.3 dengan jendela konteks 1.048.576 token, tetapi kumpulan cache KV pada GPU prefill hanya dapat menampung 681.280 token. Cloudflare mengatakan telah mengetahui ketidakcocokan tersebut sebelum peluncuran, tetapi memperkirakan mesin akan mengembalikan galat untuk setiap perintah yang tidak dapat diprosesnya. Karena pengujian konteks panjangnya menghasilkan respons yang berhasil, perusahaan tidak menganggap ketidakcocokan itu sebagai masalah. Perusahaan mengatakan pengujiannya memvalidasi kode respons HTTP dan kinerja mesin pada konteks panjang, tetapi tidak memvalidasi keluaran serta koherensi model. Kini, sebelum perubahan apa pun pada penerapan terdisagregasi diluncurkan, Cloudflare memeriksa langsung ukuran kumpulan KV terhadap panjang konteks.

Masalah kedua adalah bug SGLang dalam menangani permintaan yang melebihi batas panjang pada mode prefill dan decode terdisagregasi. Perintah yang tidak muat dalam kumpulan tersebut ditandai secara internal sebagai ditolak dan diganti dengan placeholder satu token, tetapi prefill tetap menghasilkan cache KV untuk placeholder itu dan memberi sinyal bahwa transfer telah selesai. Node decode kemudian menghasilkan respons dengan mengakses halaman cache usang yang masih menyimpan data dari permintaan sebelumnya, sementara klien menerima respons HTTP 200 alih-alih HTTP 400.

Tim SGLang menyatakan dalam unggahan koordinasi mereka sendiri bahwa jalur penolakan pada satu node justru mengembalikan galat, sehingga masalah ini hanya terjadi pada penyajian terdisagregasi. Pengguna lain telah melaporkan bug tersebut kepada SGLang sebagai masalah #30233 pada 6 Juli 2026. Cloudflare mengatakan mengetahui laporan itu saat melakukan penyelidikan.

Tanggapan dan Perbaikan Insiden

Cloudflare mulai memverifikasi laporan tersebut pada pukul 08.00 UTC tanggal 9 September 2026 dan menyatakan adanya insiden keamanan pada pukul 13.22, setelah tim Product Security mereproduksi kebocoran menggunakan dua akun terpisah dalam waktu 25 menit. Perusahaan mengatur GLM 5.3 menjadi privat pada pukul 14.00, mengidentifikasi akar masalah pada pukul 14.35, menerapkan konfigurasi yang telah diperbaiki ke semua node prefill pada pukul 14.52, membangun ulang seluruh penerapan dengan tambalan mesin yang ditulis Cloudflare pada pukul 19.04, dan memulihkan akses publik ke model pada pukul 19.40. Halaman status Cloudflare mencatat insiden Workers AI dimulai pukul 10.25 EDT pada 9 September 2026, diidentifikasi pukul 11.02 EDT, dan diselesaikan pukul 16.09 EDT.

Perbaikan konfigurasi menyamakan pengaturan dengan GLM 5.2 dan membebaskan cukup banyak memori GPU sehingga kumpulan KV prefill kini dapat menampung sekitar 2,04 juta token—kira-kira dua kali panjang konteks 1.048.576 token. Dengan begitu, perintah yang muat dalam jendela konteks akan selalu muat dalam kumpulan tersebut. Tambalan mesin menghentikan permintaan yang memiliki penolakan tertunda di antrean penerimaan disagregasi, dengan galat aslinya, sebelum proses bootstrap, alokasi, atau transfer KV apa pun dilakukan. Sebelum memulihkan model, Cloudflare memvalidasi kedua perubahan tersebut menggunakan skrip reproduksi milik peneliti dan pengujian penanda canary internal.

Perbaikan di Proyek Hulu dan Pekerjaan Berkelanjutan

Cloudflare mengusulkan perbaikannya ke proyek hulu melalui pull request SGLang #38704, dan para pengelola menggabungkan #38935, yang menolak permintaan terdampak saat penerimaan dengan mengikuti pendekatan Cloudflare. Perbaikan terkait, #36988, telah digabungkan pada 6 September 2026 untuk jalur kegagalan lain yang berkaitan. Tambalan tersebut disertakan dalam SGLang v0.5.20, disusul pembaruan pada v0.5.21 yang dirilis pada 2 Oktober 2026 dan v0.5.22 yang dirilis pada 19 Oktober 2026. Cloudflare merekomendasikan semua operator SGLang untuk memperbarui ke v0.5.22 atau yang lebih baru. Tim SGLang menyatakan bahwa v0.5.21 secara bawaan melindungi penerapan Mooncake dan NIXL dari semua jenis kegagalan, bahwa penerapan MORI memerlukan versi yang dibangun dengan v0.5.22, dan bahwa rangkaian perbaikan tersebut tidak diintegrasikan kembali ke cabang rilis yang lebih lama.

Tim SGLang melaporkan bahwa dalam 21 kali pengujian pada dua GPU H100, perubahan throughput dengan perlindungan tersebut berada dalam rentang ±2%, dengan setiap interval kepercayaan 95% mencakup nol. Dalam pengujian terpisah sebanyak 16 kali pada dua GPU H200, biaya mengaktifkan pelepasan KV tertunda secara default tercatat sebesar −0,38%, dengan interval kepercayaan −2,12% hingga +1,36%, yang dinyatakan tidak signifikan. Cloudflare bertemu dengan para pemelihara SGLang di RadixArk pada 10 September 2026, menerapkan penguatan tambahan ke semua penerapan SGLang produksinya antara 11 dan 19 September 2026, dan penggabungan ke upstream yang mencakup perbaikan pada tahap penerimaan, checksum per transfer, pelestarian pengakuan pembatalan, serta pelepasan KV tertunda yang aktif secara default berlangsung dari 16 September hingga 12 Oktober 2026.

Bagi operator lain yang menjalankan SGLang dalam mode terdisagregasi, laporan Cloudflare merekomendasikan untuk mengukur kapasitas pool KV berdasarkan panjang konteks pada setiap node prefill dan decode setelah ada perubahan pada bobot, kuantisasi, paralelisme, atau fraksi memori; meningkatkan ke versi build yang menyertakan kedua perbaikan pada tahap penerimaan; mengaktifkan pelepasan KV tertunda pada kedua peran; mengaktifkan deteksi kerusakan jika didukung model; serta mengonfigurasi penyeimbang beban agar pemutusan koneksi oleh klien tidak membatalkan permintaan di tengah transfer.

Cloudflare mengatakan bahwa sebelumnya perusahaan tersebut telah membuat rancangan prototipe yang memberi tag pada setiap halaman KV fisik dan memeriksa pemetaannya sebelum decode membaca cache, dengan biaya kurang dari 1% pada throughput dan latensi ekor dalam pengujian. Cloudflare menguji prototipe itu pada GLM 5.2 pada pertengahan Agustus 2026, tetapi menonaktifkannya tak lama kemudian karena masalah keandalan. Cloudflare bekerja sama dengan tim SGLang untuk membuat versi produksi yang terintegrasi ke dalam mesin, dengan checksum per transfer dalam pull request #39500 sebagai langkah pertama. Perusahaan itu mengatakan sedang mengarahkan pengalamannya dalam metode formal untuk memodelkan dan membuktikan keamanan protokol transfer cache KV berbasis RDMA yang menggunakan Mooncake dalam penerapan SGLang produksinya.

Unggahan tim SGLang mengapresiasi para insinyur Cloudflare, Kevin Flansburg dan Kastan Day, atas pekerjaan mereka dalam menangani perbaikan tersebut, serta mencantumkan pengungkapan terkoordinasi oleh SGLang dan Cloudflare pada 26 Oktober 2026 sebagai entri terakhir dalam linimasa pengungkapannya. Laporan peneliti itu sendiri, yang menurut tim SGLang akan menguraikan penemuan dan validasi eksternal, akan segera diterbitkan.