Cloudflare säger att en bugg i GLM-5.3 läckte 155 svar mellan kunders sessioner

Den 26 oktober 2026 publicerade Cloudflare en incidentrapport som avslöjade att KV-cachedata i modellen GLM-5.3 på företagets Workers AI-plattform hade exponerats mellan förfrågningar. Därigenom innehöll 155 svar på mycket långa promptar data från andra kunders sessioner.

Säkerhetsforskaren Gadi Evron från Knostic rapporterade problemet med isolering mellan kunder till Cloudflare den 8 september 2026 via företagets HackerOne-program. Exponeringen påverkade modellen, som tillhandahölls som @cf/zai-org/glm-5.3, från och med den 27 augusti 2026, då GLM 5.3 lanserades på Workers AI. Cloudflare åtgärdade problemet och återställde modellen den 9 september 2026. Företaget uppgav att det hade bekräftat att ingen annan modell på Workers AI påverkades.

Alla 155 berörda svar gällde promptar på över 681 280 token. Cloudflare uppgav att de förfrågningar företaget identifierade, efter att dess egna tester och forskarens förfrågningar räknats bort, till tidsmässigt och volymmässigt mönster liknade vanlig användning av långa kontexter snarare än upprepade försök att utnyttja buggen. Företaget uppgav också att det inte hittat några tecken på avsiktligt utnyttjande.

De två problemen bakom exponeringen

GLM är en textgenereringsmodell från Z.ai, utvecklad för arbetsflöden med agentbaserad kodning, och en av många modeller som finns tillgängliga via Workers AI. Cloudflare kör GLM 5.3 med SGLang, en inferensmotor med öppen källkod, i en disaggregerad konfiguration: prefill-GPU:er bearbetar prompten och skapar dess KV-cache, som sedan överförs via fjärråtkomst till direktminne (RDMA) genom Mooncake till decode-GPU:er som genererar svaret. KV-cachen är en gemensam pool med sidor av fast storlek. Sidorna nollställs inte mellan förfrågningar, så inferensmotorn ansvarar för att hålla reda på vem som äger varje sida.

Rapporten spårar exponeringen till två problem. Det första var en felaktig konfiguration: Cloudflare driftsatte GLM 5.3 med ett kontextfönster på 1 048 576 token, men KV-cachepoolen på företagets prefill-GPU:er rymde bara 681 280 token. Cloudflare uppgav att företaget kände till avvikelsen före lanseringen, men förväntade sig att inferensmotorn skulle returnera ett fel för promptar som den inte kunde bearbeta. Eftersom testerna med långa kontexter gav lyckade svar trodde företaget därför inte att avvikelsen var ett problem. Företaget uppgav att testerna kontrollerade HTTP-svarskoder och inferensmotorns prestanda vid långa kontexter, men inte modellens utdata eller koherens. Nu kontrollerar företaget KV-poolens storlek direkt mot kontextlängden innan någon ändring av en disaggregerad driftsättning tas i bruk.

Det andra problemet var en bugg i SGLang vid hantering av för långa förfrågningar i disaggregerat prefill- och decode-läge. En prompt som inte rymdes i poolen markerades internt som avvisad och byttes ut mot en platshållare på en token, men prefill fortsatte ändå att skapa KV-cache för platshållaren och signalerade att överföringen var klar. Decode-noden genererade därefter ett svar genom att använda inaktuella cachesidor som fortfarande innehöll data från tidigare förfrågningar, och klienten fick ett HTTP 200-svar i stället för HTTP 400.

SGLang-teamet uppger i ett eget samordnat inlägg att avvisningsvägen på en enda nod i stället returnerade ett fel, så problemet uppstod bara vid disaggregerad drift. En annan användare hade rapporterat buggen till SGLang som ärende #30233 den 6 juli 2026, något som Cloudflare uppgav att företaget lade märke till under sin utredning.

Incidenthantering och åtgärder

Cloudflare började verifiera rapporten klockan 08.00 UTC den 9 september 2026 och klassade händelsen som en säkerhetsincident klockan 13.22, efter att produktens säkerhetsteam återskapat dataläckan med två oberoende konton på 25 minuter. Företaget gjorde GLM 5.3 privat klockan 14.00, identifierade grundorsaken klockan 14.35, hade uppdaterat alla prefill-noder med den korrigerade konfigurationen senast klockan 14.52, byggde om hela driftsättningen med en motorpatch utvecklad av Cloudflare senast klockan 19.04 och återställde modellens offentliga åtkomst klockan 19.40. Cloudflares statussida angav att Workers AI-incidenten började klockan 10.25 EDT den 9 september 2026, identifierades klockan 11.02 EDT och löstes klockan 16.09 EDT.

Konfigurationsändringen anpassades till upplägget för GLM 5.2 och frigjorde tillräckligt med GPU-minne för att prefill-KV-poolen nu ska rymma cirka 2,04 miljoner token, ungefär dubbelt så mycket som kontextlängden på 1 048 576 token. Därmed ryms alltid en prompt som får plats i kontextfönstret också i poolen. Motorpatchen avbryter en förfrågan med ett väntande avvisningsbesked i kön för insläpp till disaggregeringen och returnerar det ursprungliga felet innan någon bootstrap, allokering eller KV-överföring sker. Cloudflare validerade båda ändringarna med hjälp av forskarens reproduktionsskript och företagets egna tester med canary-markörer innan modellen återställdes.

Uppströmsändringar och pågående arbete

Cloudflare föreslog sin lösning uppströms i SGLang-pullförfrågan #38704. Underhållarna slog samman #38935, som avvisar de berörda förfrågningarna vid insläppet enligt Cloudflares metod. En relaterad lösning, #36988, hade slagits samman den 6 september 2026 för en närliggande felväg. Patchen ingick i SGLang v0.5.20, följdes av uppdateringar i v0.5.21, som släpptes den 2 oktober 2026, och v0.5.22, som släpptes den 19 oktober 2026. Cloudflare rekommenderar att alla som använder SGLang uppdaterar till v0.5.22 eller senare. SGLang-teamet uppger att v0.5.21 som standard skyddar Mooncake- och NIXL-driftsättningar mot alla typer av fel, att MORI-driftsättningar kräver en version byggd med v0.5.22 och att lösningen inte har bakporterats till tidigare versionsgrenar.

SGLang-teamet rapporterade att genomströmningsskillnaderna med skyddsåtgärderna låg inom ±2 % under 21 körningar på två H100-GPU:er, och att varje 95-procentigt konfidensintervall omfattade noll. I en separat serie med 16 körningar på två H200-GPU:er uppmättes kostnaden för att som standard aktivera uppskjuten frigöring av KV-minne till −0,38 %, med ett konfidensintervall från −2,12 % till +1,36 %, vilket teamet beskrev som icke-signifikant. Cloudflare träffade SGLangs underhållsansvariga på RadixArk den 10 september 2026, rullade ut ytterligare förstärkningar till alla sina SGLang-distributioner i produktion mellan den 11 och 19 september 2026, och sammanslagningarna uppströms som omfattade korrigeringen av mottagningssteget, kontrollsummor per överföring, bevarande av avbrottsbekräftelser och uppskjuten frigöring av KV-minne aktiverad som standard genomfördes mellan den 16 september och den 12 oktober 2026.

För andra operatörer som kör SGLang i disagg­regerat läge rekommenderar Cloudflares rapport att KV-poolen mäts i förhållande till kontextlängden på varje prefill- och decode-nod efter ändringar av vikter, kvantisering, parallellism eller minnesandel; att uppgradera till en version som innehåller båda korrigeringarna av mottagningssteget; att köra med uppskjuten frigöring av KV-minne aktiverad för båda rollerna; att aktivera korruptionsdetektering när modellen stöder det; samt att konfigurera lastbalanserare så att en frånkopplad klient inte avbryter en begäran mitt under överföringen.

Cloudflare uppgav att företaget tidigare hade tagit fram en prototyp där varje fysisk KV-sida märks upp och mappningen kontrolleras innan decode läser cacheminnet, och att den i tester kostade mindre än 1 % i genomströmning och svanslatens. Företaget testade prototypen med GLM 5.2 i mitten av augusti 2026 men inaktiverade den kort därefter på grund av tillförlitlighetsproblem. Cloudflare samarbetar med SGLang-teamet om en produktionsversion som byggs in i motorn, där kontrollsumman per överföring i pull request #39500 är ett första steg. Företaget uppgav också att det använder sin erfarenhet av formella metoder för att modellera och bevisa säkerheten hos ett RDMA-baserat protokoll för överföring av KV-cache med Mooncake i sin SGLang-distribution i produktion.

I sitt inlägg tackar SGLang-teamet Cloudflare-ingenjörerna Kevin Flansburg och Kastan Day för deras arbete med korrigeringarna och anger den samordnade publiceringen från SGLang och Cloudflare den 26 oktober 2026 som den sista posten i tidslinjen för offentliggörandet. Forskarens egen rapport, som enligt SGLang-teamet ska beskriva upptäckten och den externa valideringen, kommer senare.