Cloudflare, GLM-5.3’teki bir hata nedeniyle kiracı oturumları arasında 155 yanıtın sızdığını belirtti

Cloudflare, 26 Ekim 2026’da Workers AI platformundaki GLM-5.3 modelinde istekler arası bir KV önbelleği sızıntısını açıklayan bir olay raporu yayımladı. Bu olayda, çok uzun istemlere verilen 155 yanıtta diğer müşterilerin oturumlarından gelen veriler yer aldı.

Knostic’ten güvenlik araştırmacısı Gadi Evron, kiracı yalıtımı sorununu 8 Eylül 2026’da şirketin HackerOne programı aracılığıyla Cloudflare’a bildirdi. Sızıntı, 27 Ağustos 2026’dan itibaren @cf/zai-org/glm-5.3 olarak sunulan modeli etkiledi; GLM 5.3, o gün Workers AI’da kullanıma sunulmuştu. Cloudflare sorunu giderip modeli 9 Eylül 2026’da yeniden kullanıma açtı ve Workers AI’da barındırılan başka hiçbir modelin etkilenmediğini doğruladığını belirtti.

Etkilenen 155 yanıtın tümü, 681.280 tokenı aşan istemlere verildi. Cloudflare, kendi testlerini ve araştırmacının isteklerini hariç tuttuktan sonra tespit ettiği isteklerin zamanlama ve hacim bakımından hatanın tekrar tekrar istismar edilmesinden ziyade olağan uzun bağlam kullanımına uyduğunu belirtti. Şirket, kasıtlı bir istismara dair kanıt bulamadığını da söyledi.

Sızıntıya Yol Açan İki Sorun

GLM, Z.ai tarafından geliştirilen ve ajan tabanlı kodlama iş akışları için tasarlanmış bir metin üretme modelidir; Workers AI üzerinden sunulan çok sayıda modelden biridir. Cloudflare, GLM 5.3’ü açık kaynaklı bir çıkarım motoru olan SGLang ile ayrıştırılmış bir yapılandırmada çalıştırıyor: ön doldurma GPU’ları istemi işleyip KV önbelleğini oluşturuyor, ardından bu önbelleği Mooncake üzerinden uzaktan doğrudan bellek erişimi (RDMA) kullanarak yanıtı üreten kod çözme GPU’larına aktarıyor. KV önbelleği, sabit boyutlu sayfalardan oluşan paylaşımlı bir havuzdur; sayfalar istekler arasında sıfırlanmadığından, her sayfanın kime ait olduğunu izleme sorumluluğu motora aittir.

Raporda, sızıntının iki sorundan kaynaklandığı belirtiliyor. İlk sorun bir yapılandırma hatasıydı: Cloudflare, GLM 5.3’ü 1.048.576 tokenlık bir bağlam penceresiyle kullanıma sundu, ancak ön doldurma GPU’larındaki KV önbelleği havuzu yalnızca 681.280 token alabiliyordu. Cloudflare, kullanıma sunulmadan önce bu uyumsuzluğun farkında olduğunu ancak motorun işleyemediği istemler için hata döndürmesini beklediğini belirtti. Uzun bağlam testlerinde başarılı yanıtlar alındığı için de bu uyumsuzluğun sorun oluşturduğunu düşünmedi. Şirket, testlerin uzun bağlamlarda HTTP yanıt kodlarını ve motor performansını doğruladığını, ancak model çıktısını ve tutarlılığını doğrulamadığını söyledi. Ayrıca artık ayrıştırılmış bir dağıtım değişikliği yayımlanmadan önce KV havuzunun boyutunu bağlam uzunluğuyla doğrudan karşılaştırdığını belirtti.

İkinci sorun, SGLang’da ayrıştırılmış ön doldurma ve kod çözme modunda sınırı aşan isteklerin işlenmesiyle ilgili bir hataydı. Havuzun kapasitesine sığmayan bir istem, dahili olarak reddedilmiş olarak işaretlenip tek tokenlık bir yer tutucuyla değiştiriliyordu; ancak ön doldurma işlemi yine de bu yer tutucu için KV önbelleği oluşturuyor ve aktarımın tamamlandığını bildiriyordu. Bunun üzerine kod çözme düğümü, önceki isteklerden kalan verileri hâlâ içeren eski önbellek sayfalarına başvurarak yanıt üretiyor ve istemci HTTP 400 yerine HTTP 200 yanıtı alıyordu.

SGLang ekibi, kendi eşgüdümlü paylaşımında, tek düğümlü reddetme yolunun bunun yerine hata döndürdüğünü ve dolayısıyla sorunun yalnızca ayrıştırılmış sunumda yaşandığını belirtiyor. Hata, Cloudflare’ın incelemesi sırasında fark ettiğini söylediği üzere, 6 Temmuz 2026’da başka bir kullanıcı tarafından #30233 numaralı sorun olarak SGLang’a bildirilmişti.

Olay Müdahalesi ve Sorunun Giderilmesi

Cloudflare, raporu 9 Eylül 2026’da saat 08.00 UTC’de doğrulamaya başladı. Ürün Güvenliği ekibinin iki bağımsız hesap kullanarak 25 dakika içinde sızıntıyı yeniden üretmesinin ardından saat 13.22’de güvenlik olayı ilan etti. GLM 5.3’ü saat 14.00’te özel erişime aldı, temel nedeni saat 14.35’te belirledi, tüm ön doldurma düğümlerini saat 14.52’ye kadar düzeltilmiş yapılandırmaya geçirdi, Cloudflare tarafından hazırlanan motor yamasıyla tüm dağıtımı saat 19.04’e kadar yeniden oluşturdu ve modeli saat 19.40’ta yeniden herkese açık hâle getirdi. Cloudflare durum sayfasında, Workers AI olayının 9 Eylül 2026’da EDT ile 10.25’te başladığı, EDT ile 11.02’de tespit edildiği ve EDT ile 16.09’da çözüldüğü kaydedildi.

Yapılandırma düzeltmesi, GLM 5.2 kurulumuyla aynı olacak şekilde yapıldı ve yeterli GPU belleği açığa çıkarıldı. Böylece ön doldurma KV havuzu artık yaklaşık 2,04 milyon token alabiliyor; bu, 1.048.576 tokenlık bağlam uzunluğunun yaklaşık iki katı olduğundan, bağlam penceresine sığan bir istem her zaman havuza da sığıyor. Motor yaması, bekleyen bir reddetme kararı bulunan isteği özgün hata mesajıyla birlikte, herhangi bir önyükleme, ayırma veya KV aktarımı gerçekleşmeden önce ayrıştırma kabul kuyruğunda sonlandırıyor. Cloudflare, modeli yeniden kullanıma açmadan önce her iki değişikliği de araştırmacının yeniden üretim betiği ve kendi canary işaretleyici testleriyle doğruladı.

Üst Projedeki Düzeltmeler ve Devam Eden Çalışmalar

Cloudflare, düzeltmesini SGLang’a #38704 numaralı çekme isteği olarak sundu. Bakım ekibi, etkilenen istekleri Cloudflare’ın yaklaşımını izleyerek kabul aşamasında reddeden #38935 numaralı değişikliği birleştirdi. İlgili bir hata yoluna yönelik bağlantılı bir düzeltme olan #36988 ise 6 Eylül 2026’da birleştirilmişti. Yama SGLang v0.5.20’de yayımlandı; ardından 2 Ekim 2026’da yayımlanan v0.5.21’de ve 19 Ekim 2026’da yayımlanan v0.5.22’de ek düzeltmeler yapıldı. Cloudflare, tüm SGLang operatörlerine v0.5.22 veya sonraki bir sürüme güncelleme yapmalarını öneriyor. SGLang ekibi, v0.5.21’in her tür hata için Mooncake ve NIXL dağıtımlarını varsayılan olarak koruduğunu, MORI dağıtımlarının ise v0.5.22’deki bir derlemeye ihtiyaç duyduğunu ve düzeltmenin önceki sürüm dallarına geri taşınmadığını belirtiyor.

SGLang ekibi, iki H100 GPU üzerinde gerçekleştirilen 21 çalışmada korumalar etkinleştirildiğinde iş hacmindeki farkların ±%2 aralığında kaldığını ve tüm %95 güven aralıklarının sıfırı kapsadığını bildirdi. Ayrıca iki H200 GPU üzerinde yapılan ayrı bir 16 çalışmalık taramada, ertelenmiş KV serbest bırakma özelliğinin varsayılan olarak etkinleştirilmesinin maliyetini −%0,38 olarak ölçtü; −%2,12 ile +%1,36 arasındaki güven aralığının istatistiksel olarak anlamlı olmadığını belirtti. Cloudflare, SGLang’in bakım ekibiyle 10 Eylül 2026’da RadixArk’ta bir araya geldi; 11-19 Eylül 2026 arasında üretim ortamındaki tüm SGLang dağıtımlarına ek sağlamlaştırma önlemleri getirdi. Kabul aşaması düzeltmesini, aktarım başına sağlama toplamlarını, iptal onayının korunmasını ve ertelenmiş KV serbest bırakmanın varsayılan olarak etkinleştirilmesini kapsayan değişiklikler ise 16 Eylül-12 Ekim 2026 arasında ana projeye birleştirildi.

SGLang’i ayrık modda çalıştıran diğer operatörlere yönelik Cloudflare raporu; ağırlıklarda, nicemlemede, paralellikte veya bellek payında yapılan her değişiklikten sonra her ön doldurma ve çözümleme düğümünde KV havuzunun bağlam uzunluğuna göre ölçülmesini, her iki kabul aşaması düzeltmesini içeren bir derlemeye yükseltme yapılmasını, ertelenmiş KV serbest bırakmanın her iki rolde de etkinleştirilmesini, modelin desteklediği durumlarda bozulma tespitinin açılmasını ve istemci bağlantısının kesilmesinin aktarım sırasında isteği iptal etmemesi için yük dengeleyicilerin yapılandırılmasını öneriyor.

Cloudflare, daha önce her fiziksel KV sayfasını etiketleyen ve çözümleme önbelleği okumadan önce eşlemeyi denetleyen bir prototip tasarladığını, testlerde bu tasarımın iş hacmi ve kuyruk gecikmesi üzerindeki maliyetinin %1’in altında kaldığını söyledi. Şirket, prototipi Ağustos 2026’nın ortalarında GLM 5.2 üzerinde test etti, ancak güvenilirlik sorunları nedeniyle kısa süre sonra devre dışı bıraktı. Cloudflare, motora yerleşik bir üretim sürümü geliştirmek için SGLang ekibiyle çalışıyor; aktarım başına sağlama toplamının #39500 numaralı çekme isteğine eklenmesi ilk adım. Şirket ayrıca, üretimdeki SGLang dağıtımında Mooncake kullanarak RDMA tabanlı bir KV önbellek aktarım protokolünün güvenliğini modelleme ve kanıtlama çalışmalarına biçimsel yöntemler konusundaki deneyimini yönelttiğini belirtti.

SGLang ekibinin gönderisinde, düzeltmeler üzerindeki çalışmaları için Cloudflare mühendisleri Kevin Flansburg ve Kastan Day’e teşekkür ediliyor; SGLang ve Cloudflare’ın 26 Ekim 2026’daki eşgüdümlü açıklaması da açıklama zaman çizelgesinin son maddesi olarak listeleniyor. SGLang ekibinin keşfi ve harici doğrulamayı anlatacağını söylediği araştırmacının kendi raporu ise yakında yayımlanacak.