Cloudflare का कहना है कि GLM-5.3 की एक गड़बड़ी से अलग-अलग ग्राहकों के सत्रों के 155 जवाब लीक हुए

Cloudflare ने 26 अक्टूबर, 2026 को एक घटना रिपोर्ट प्रकाशित की, जिसमें उसके Workers AI प्लेटफ़ॉर्म पर GLM-5.3 मॉडल में अनुरोधों के बीच KV cache के डेटा के उजागर होने का खुलासा किया गया। इस समस्या के चलते बहुत लंबे प्रॉम्प्ट के 155 जवाबों में दूसरे ग्राहकों के सत्रों का डेटा शामिल था।

Knostic के सुरक्षा शोधकर्ता Gadi Evron ने 8 सितंबर, 2026 को कंपनी के HackerOne कार्यक्रम के ज़रिए Cloudflare को ग्राहकों के बीच पृथक्करण से जुड़ी इस समस्या की सूचना दी। इस डेटा-उजागर होने की समस्या ने 27 अगस्त, 2026 से @cf/zai-org/glm-5.3 के रूप में उपलब्ध मॉडल को प्रभावित किया—यही वह दिन था, जब GLM 5.3 को Workers AI पर लॉन्च किया गया था। Cloudflare ने 9 सितंबर, 2026 को समस्या का समाधान करके मॉडल को फिर से उपलब्ध कराया और कहा कि उसने पुष्टि की है कि Workers AI पर होस्ट किया गया कोई अन्य मॉडल प्रभावित नहीं हुआ।

प्रभावित सभी 155 जवाब 681,280 टोकन से लंबे प्रॉम्प्ट के थे। Cloudflare ने कहा कि अपने परीक्षण और शोधकर्ता के अनुरोधों को अलग रखने के बाद, उसके द्वारा पहचाने गए अनुरोधों का समय और संख्या सामान्य रूप से लंबे संदर्भ वाले उपयोग के अनुरूप थे, न कि इस गड़बड़ी के बार-बार दुरुपयोग के। कंपनी ने यह भी कहा कि उसे जानबूझकर किए गए दुरुपयोग का कोई सबूत नहीं मिला।

डेटा उजागर होने के पीछे की दो समस्याएँ

GLM, Z.ai का टेक्स्ट जनरेशन मॉडल है, जिसे एजेंट-आधारित कोडिंग कार्यप्रवाहों के लिए बनाया गया है। यह Workers AI पर उपलब्ध कई मॉडलों में से एक है। Cloudflare, GLM 5.3 को ओपन-सोर्स इन्फ़रेंस इंजन SGLang के साथ अलग-अलग चरणों में बँटी व्यवस्था में चलाता है: प्रीफ़िल GPU प्रॉम्प्ट को संसाधित करके उसका KV cache बनाते हैं, फिर Mooncake के ज़रिए रिमोट डायरेक्ट मेमोरी एक्सेस (RDMA) द्वारा यह cache डिकोड GPU को सौंप देते हैं, जो जवाब तैयार करते हैं। KV cache, तय आकार वाले पेजों का साझा पूल है। अनुरोधों के बीच इन पेजों का डेटा शून्य नहीं किया जाता, इसलिए हर पेज का स्वामित्व किसके पास है, इसका हिसाब रखना इंजन की ज़िम्मेदारी है।

रिपोर्ट के अनुसार, डेटा उजागर होने के पीछे दो समस्याएँ थीं। पहली, कॉन्फ़िगरेशन की गड़बड़ी थी: Cloudflare ने GLM 5.3 को 1,048,576 टोकन की संदर्भ-सीमा के साथ तैनात किया था, लेकिन उसके प्रीफ़िल GPU पर KV cache पूल में केवल 681,280 टोकन ही समा सकते थे। Cloudflare ने कहा कि उसे लॉन्च से पहले इस अंतर का पता था, लेकिन उसे उम्मीद थी कि इंजन किसी भी ऐसे प्रॉम्प्ट के लिए त्रुटि लौटाएगा जिसे वह संसाधित नहीं कर सकता। लंबे संदर्भ वाले उसके परीक्षणों में सफल जवाब मिले, इसलिए उसे नहीं लगा कि यह अंतर कोई समस्या है। कंपनी ने कहा कि उसके परीक्षणों में लंबे संदर्भों पर HTTP जवाब कोड और इंजन के प्रदर्शन की जाँच तो हुई, लेकिन मॉडल के आउटपुट और उसकी सुसंगति की पुष्टि नहीं की गई। अब वह अलग-अलग चरणों में बँटी तैनाती में कोई भी बदलाव जारी करने से पहले, KV पूल के आकार की संदर्भ-सीमा से सीधे तुलना करती है।

दूसरी समस्या, अलग-अलग चरणों वाले प्रीफ़िल और डिकोड मोड में सीमा से लंबे अनुरोधों को संभालने से जुड़ी SGLang की एक गड़बड़ी थी। पूल में न समा पाने वाले प्रॉम्प्ट को सिस्टम के भीतर अस्वीकार के रूप में चिह्नित करके एक टोकन वाले प्लेसहोल्डर से बदल दिया जाता था, लेकिन प्रीफ़िल फिर भी उस प्लेसहोल्डर के लिए KV cache बनाता था और संकेत देता था कि ट्रांसफ़र पूरा हो गया है। इसके बाद डिकोड नोड पुराने cache पेजों के आधार पर जवाब तैयार करता था, जिनमें पहले के अनुरोधों का डेटा मौजूद था, और क्लाइंट को HTTP 400 के बजाय HTTP 200 जवाब मिलता था।

SGLang टीम ने अपनी समन्वित पोस्ट में कहा कि एकल-नोड अस्वीकृति प्रक्रिया में इसके बजाय त्रुटि लौटाई जाती थी, इसलिए यह समस्या केवल अलग-अलग चरणों में काम करने वाली सेवा में हुई। Cloudflare ने कहा कि जाँच के दौरान उसे पता चला कि एक अन्य उपयोगकर्ता ने 6 जुलाई, 2026 को SGLang को इस गड़बड़ी की सूचना समस्या #30233 के रूप में दी थी।

घटना पर कार्रवाई और समस्या का समाधान

Cloudflare ने 9 सितंबर, 2026 को 08:00 UTC पर रिपोर्ट की पुष्टि शुरू की। उसकी Product Security टीम ने 25 मिनट के भीतर दो स्वतंत्र खातों का इस्तेमाल करके डेटा लीक को दोहराकर दिखाया, जिसके बाद कंपनी ने 13:22 पर इसे सुरक्षा घटना घोषित किया। उसने 14:00 पर GLM 5.3 को निजी किया, 14:35 पर समस्या का मूल कारण पहचाना, 14:52 तक सभी प्रीफ़िल नोड को सही कॉन्फ़िगरेशन पर स्थानांतरित किया, 19:04 तक Cloudflare के बनाए इंजन पैच के साथ पूरी तैनाती को फिर से बनाया और 19:40 पर मॉडल को सार्वजनिक रूप से फिर से उपलब्ध कराया। Cloudflare के स्थिति पृष्ठ पर Workers AI की घटना का समय 9 सितंबर, 2026 को सुबह 10:25 AM EDT दर्ज किया गया; इसकी पहचान 11:02 AM EDT पर हुई और इसे 4:09 PM EDT पर हल किया गया।

कॉन्फ़िगरेशन में किए गए सुधार से GLM 5.2 की व्यवस्था के अनुरूप GPU की पर्याप्त मेमोरी खाली हुई। अब प्रीफ़िल KV पूल में लगभग 2.04 मिलियन टोकन समा सकते हैं—यानी 1,048,576 टोकन की संदर्भ-सीमा से लगभग दोगुने—इसलिए संदर्भ-सीमा में समाने वाला प्रॉम्प्ट हमेशा पूल में भी समा जाता है। इंजन पैच के तहत, अलग-अलग चरणों में अनुरोध स्वीकार करने वाली कतार में लंबित अस्वीकृति वाले अनुरोध को उसकी मूल त्रुटि के साथ हटा दिया जाता है; ऐसा किसी भी प्रारंभिक सेटअप, आवंटन या KV ट्रांसफ़र से पहले होता है। मॉडल को फिर से उपलब्ध कराने से पहले Cloudflare ने शोधकर्ता की पुनरुत्पादन स्क्रिप्ट और अपने कैनरी-मार्कर परीक्षणों से दोनों बदलावों की पुष्टि की।

अपस्ट्रीम सुधार और आगे का काम

Cloudflare ने अपना सुधार SGLang के अपस्ट्रीम संस्करण में पुल अनुरोध #38704 के रूप में प्रस्तावित किया। मेंटेनर्स ने #38935 को मर्ज किया, जो Cloudflare के तरीके के अनुसार प्रभावित अनुरोधों को स्वीकार किए जाने के चरण में ही अस्वीकार करता है। इससे जुड़ा एक अन्य सुधार, #36988, संबंधित विफलता-स्थिति के लिए 6 सितंबर, 2026 को मर्ज किया गया था। यह पैच SGLang v0.5.20 में जारी हुआ। इसके बाद v0.5.21, 2 अक्टूबर, 2026 को, और v0.5.22, 19 अक्टूबर, 2026 को जारी किए गए। Cloudflare, SGLang के सभी ऑपरेटरों को v0.5.22 या उसके बाद के संस्करण पर अपडेट करने की सलाह देता है। SGLang टीम के अनुसार, v0.5.21 हर तरह की विफलता के लिए डिफ़ॉल्ट रूप से Mooncake और NIXL तैनाती को सुरक्षित करता है; MORI तैनाती के लिए v0.5.22 में उपलब्ध बिल्ड की ज़रूरत है; और सुधारों की इस श्रृंखला को पहले के रिलीज़ ब्रांच में शामिल नहीं किया गया।

SGLang टीम ने बताया कि दो H100 GPU पर किए गए 21 परीक्षणों में सुरक्षा उपायों के साथ थ्रूपुट में बदलाव ±2% के भीतर रहा और हर 95% विश्वास अंतराल में शून्य शामिल था। दो H200 GPU पर अलग से किए गए 16 परीक्षणों में, डिफ़ॉल्ट रूप से विलंबित KV रिलीज़ सक्षम करने की लागत −0.38% मापी गई; टीम ने −2.12% से +1.36% के विश्वास अंतराल को सांख्यिकीय रूप से महत्त्वपूर्ण नहीं बताया। Cloudflare की मुलाक़ात 10 सितंबर, 2026 को RadixArk में SGLang के अनुरक्षकों से हुई। उसने 11 से 19 सितंबर, 2026 के बीच अपने सभी प्रोडक्शन SGLang परिनियोजनों में अतिरिक्त सुरक्षा उपाय लागू किए। प्रवेश-संबंधी सुधार, हर ट्रांसफ़र के लिए चेकसम, निरस्तीकरण-पुष्टि को बनाए रखने और डिफ़ॉल्ट रूप से विलंबित KV रिलीज़ सक्षम करने वाले अपस्ट्रीम बदलाव 16 सितंबर से 12 अक्टूबर, 2026 के बीच मर्ज किए गए।

डिसएग्रीगेटेड मोड में SGLang चलाने वाले अन्य ऑपरेटरों के लिए Cloudflare की रिपोर्ट सिफ़ारिश करती है कि वेट, क्वांटाइज़ेशन, समानांतरता या मेमोरी अंश में किसी भी बदलाव के बाद, हर प्रीफ़िल और डिकोड नोड पर कॉन्टेक्स्ट लंबाई के अनुसार KV पूल का माप लें; ऐसे बिल्ड में अपग्रेड करें जिसमें प्रवेश-संबंधी दोनों सुधार शामिल हों; दोनों भूमिकाओं में विलंबित KV रिलीज़ चालू रखें; मॉडल द्वारा समर्थित होने पर करप्शन का पता लगाने की सुविधा सक्षम करें; और लोड बैलेंसर इस तरह कॉन्फ़िगर करें कि क्लाइंट का डिस्कनेक्ट होना ट्रांसफ़र के बीच में अनुरोध को रद्द न करे।

Cloudflare ने कहा कि उसने पहले एक प्रोटोटाइप डिज़ाइन बनाया था, जो हर भौतिक KV पेज को टैग करता है और डिकोड द्वारा कैश पढ़े जाने से पहले मैपिंग की जाँच करता है। परीक्षणों में इससे थ्रूपुट और टेल लेटेंसी पर 1% से कम असर पड़ा। कंपनी ने अगस्त 2026 के मध्य में GLM 5.2 पर इस प्रोटोटाइप का परीक्षण किया, लेकिन विश्वसनीयता संबंधी समस्याओं के कारण कुछ ही समय बाद इसे निष्क्रिय कर दिया। Cloudflare, इंजन में शामिल प्रोडक्शन संस्करण पर SGLang टीम के साथ काम कर रहा है। पुल अनुरोध #39500 में हर ट्रांसफ़र के लिए चेकसम इस दिशा में पहला कदम है। कंपनी ने कहा कि वह अपने औपचारिक विधियों के अनुभव का उपयोग, अपने प्रोडक्शन SGLang परिनियोजन में Mooncake का इस्तेमाल करने वाले RDMA-आधारित KV कैश ट्रांसफ़र प्रोटोकॉल की सुरक्षा का मॉडल बनाने और उसे प्रमाणित करने में कर रही है।

SGLang टीम की पोस्ट में सुधारों पर काम के लिए Cloudflare इंजीनियर Kevin Flansburg और Kastan Day का आभार व्यक्त किया गया है। इसमें SGLang और Cloudflare द्वारा 26 अक्टूबर, 2026 को की गई समन्वित सूचना-प्रकटीकरण प्रक्रिया को उसकी समयरेखा की अंतिम प्रविष्टि के रूप में दर्ज किया गया है। शोधकर्ता की अपनी रिपोर्ट—जिसमें खोज और बाहरी सत्यापन का विवरण होगा, ऐसा SGLang टीम ने कहा—जल्द प्रकाशित होने वाली है।