Cloudflare siger, at en fejl i GLM-5.3 lækkede 155 svar på tværs af kundesessioner

Den 26. oktober 2026 offentliggjorde Cloudflare en hændelsesrapport, der afslørede en eksponering af KV-cache på tværs af anmodninger i GLM-5.3-modellen på virksomhedens Workers AI-platform. Det betød, at 155 svar på meget lange prompts indeholdt data fra andre kunders sessioner.

Sikkerhedsforskeren Gadi Evron fra Knostic rapporterede problemet med adskillelsen af kunders sessioner til Cloudflare den 8. september 2026 via virksomhedens HackerOne-program. Eksponeringen berørte modellen, der blev leveret som @cf/zai-org/glm-5.3, fra den 27. august 2026, hvor GLM 5.3 blev lanceret på Workers AI. Cloudflare afhjulpede problemet og genaktiverede modellen den 9. september 2026 og oplyste, at virksomheden havde bekræftet, at ingen andre modeller på Workers AI var berørt.

Alle 155 berørte svar blev givet på prompts på mere end 681.280 tokens. Cloudflare oplyste, at de anmodninger, virksomheden havde identificeret efter at have udeladt egne tests og forskerens anmodninger, hvad angår tidspunkt og omfang svarede til almindelig brug af lange kontekster snarere end gentagne forsøg på at udnytte fejlen, og at den ikke fandt tegn på bevidst udnyttelse.

De to problemer bag eksponeringen

GLM er en tekstgenereringsmodel fra Z.ai, udviklet til agentbaserede kodningsarbejdsgange, og én af mange modeller, der er tilgængelige via Workers AI. Cloudflare kører GLM 5.3 med SGLang, en open source-inferensmotor, i en adskilt konfiguration: Prefill-GPU’er behandler prompten og opretter dens KV-cache, hvorefter cachen overføres via fjernadgang til direkte hukommelse (RDMA) gennem Mooncake til decode-GPU’er, som genererer svaret. KV-cachen er en delt pulje af sider med fast størrelse. Siderne nulstilles ikke mellem anmodninger, så motoren har ansvaret for at holde styr på ejerskabet af hver side.

Rapporten peger på to problemer som årsag til eksponeringen. Det første var en fejlkonfiguration: Cloudflare udrullede GLM 5.3 med et kontekstvindue på 1.048.576 tokens, men KV-cachepuljen på virksomhedens prefill-GPU’er rummede kun 681.280 tokens. Cloudflare oplyste, at virksomheden kendte til uoverensstemmelsen før lanceringen, men forventede, at motoren ville returnere en fejl for enhver prompt, den ikke kunne behandle. Da virksomhedens tests af lange kontekster returnerede vellykkede svar, mente den derfor ikke, at uoverensstemmelsen var et problem. Virksomheden oplyste, at dens tests validerede HTTP-statuskoder og motorens ydeevne ved lange kontekster uden at kontrollere modellens output og sammenhæng, og at den nu kontrollerer KV-puljens størrelse direkte i forhold til kontekstlængden, før ændringer i en adskilt udrulning sættes i drift.

Det andet problem var en fejl i SGLang, som påvirkede håndteringen af anmodninger, der overskred længdegrænsen, i adskilt prefill- og decode-tilstand. En prompt, der ikke kunne rummes i puljen, blev internt markeret som afvist og erstattet med en pladsholder på én token, men prefill genererede stadig en KV-cache for pladsholderen og signalerede, at overførslen var fuldført. Derefter genererede decode-noden et svar ved at bruge forældede cachesider, der stadig indeholdt data fra tidligere anmodninger, og klienten modtog et HTTP 200-svar i stedet for HTTP 400.

SGLang-teamet oplyser i sit eget koordinerede indlæg, at afvisningsforløbet på en enkelt node i stedet returnerede en fejl, så problemet kun opstod ved adskilt betjening. En anden bruger havde rapporteret fejlen til SGLang som issue #30233 den 6. juli 2026, og Cloudflare oplyste, at virksomheden blev opmærksom på den under sin undersøgelse.

Hændelseshåndtering og afhjælpning

Cloudflare begyndte at verificere rapporten kl. 08.00 UTC den 9. september 2026 og erklærede kl. 13.22 en sikkerhedshændelse, efter at virksomhedens produktsikkerhedsteam havde genskabt lækagen ved hjælp af to uafhængige konti inden for 25 minutter. Kl. 14.00 gjorde virksomheden GLM 5.3 privat, identificerede den grundlæggende årsag kl. 14.35, udrullede den korrigerede konfiguration til alle prefill-noder senest kl. 14.52, genopbyggede hele udrulningen med en motorrettelse udviklet af Cloudflare senest kl. 19.04 og genåbnede offentlig adgang til modellen kl. 19.40. Cloudflares statusside angav, at hændelsen på Workers AI begyndte kl. 10.25 EDT den 9. september 2026, blev identificeret kl. 11.02 EDT og blev løst kl. 16.09 EDT.

Konfigurationsrettelsen fulgte opsætningen for GLM 5.2 og frigjorde nok GPU-hukommelse til, at prefill-KV-puljen nu rummer cirka 2,04 millioner tokens, omtrent det dobbelte af kontekstlængden på 1.048.576 tokens. Derfor passer en prompt, der kan rummes i kontekstvinduet, altid også i puljen. Motorrettelsen fjerner en anmodning med en afventende afvisning fra admissionskøen for adskilt behandling med dens oprindelige fejl, inden nogen opstart, allokering eller KV-overførsel finder sted. Cloudflare validerede begge ændringer med forskerens script til at genskabe problemet og virksomhedens egne tests med canary-markører, inden modellen blev genaktiveret.

Rettelser i SGLang og det videre arbejde

Cloudflare foreslog sin rettelse upstream som SGLang-pull request #38704, og vedligeholderne sammenlagde #38935, som afviser de berørte anmodninger ved optagelsen efter Cloudflares fremgangsmåde. En relateret rettelse, #36988, var blevet sammenlagt den 6. september 2026 for et beslægtet fejlsituation. Rettelsen blev inkluderet i SGLang v0.5.20, efterfulgt af ændringer i v0.5.21, udgivet den 2. oktober 2026, og v0.5.22, udgivet den 19. oktober 2026. Cloudflare anbefaler, at alle, der driver SGLang, opdaterer til v0.5.22 eller nyere. SGLang-teamet oplyser, at v0.5.21 som standard beskytter Mooncake- og NIXL-udrulninger mod alle typer fejl, at MORI-udrulninger kræver et build i v0.5.22, og at rettelsen ikke blev tilbageført til tidligere udgivelsesgrene.

SGLang-teamet rapporterede, at gennemløbsændringerne med beskyttelsesforanstaltningerne lå inden for ±2 % på tværs af 21 kørsler på to H100-GPU’er, og at alle 95 %-konfidensintervaller omfattede nul. En separat måleserie med 16 kørsler på to H200-GPU’er målte omkostningen ved som standard at aktivere udskudt frigivelse af KV til −0,38 % med et konfidensinterval fra −2,12 % til +1,36 %, hvilket teamet beskrev som ikke signifikant. Cloudflare mødtes med SGLang-vedligeholderne hos RadixArk den 10. september 2026, indførte yderligere sikkerhedsforbedringer på alle sine SGLang-installationer i produktion mellem den 11. og 19. september 2026, og upstream-ændringerne, der dækkede rettelsen ved optagelse, kontrolsummer pr. overførsel, bevarelse af bekræftelser på afbrydelse og som standard aktiveret udskudt frigivelse af KV, blev flettet ind fra den 16. september til den 12. oktober 2026.

Til andre operatører, der kører SGLang i disaggregeret tilstand, anbefaler Cloudflares rapport, at KV-puljen måles i forhold til kontekstlængden på hver prefill- og decode-node efter enhver ændring af vægte, kvantisering, parallelisme eller hukommelsesandel; at der opgraderes til en version, som indeholder begge rettelser ved optagelse; at udskudt frigivelse af KV er aktiveret for begge roller; at detektion af datakorruption aktiveres, hvor modellen understøtter det; og at belastningsfordelere konfigureres, så en klientafbrydelse ikke afbryder en anmodning midt under overførslen.

Cloudflare sagde, at virksomheden tidligere havde udviklet et prototypekoncept, der mærker hver fysisk KV-side og kontrollerer tilknytningen, før decode læser cachen, og at det i test kostede under 1 % i gennemløb og latenstid i den langsomme ende. Virksomheden testede prototypen med GLM 5.2 i midten af august 2026, men deaktiverede den kort efter på grund af pålidelighedsproblemer. Cloudflare arbejder sammen med SGLang-teamet på en produktionsversion, der er indbygget i motoren, og kontrolsummen pr. overførsel i pull request #39500 er et første skridt. Cloudflare sagde også, at virksomheden bruger sin erfaring med formelle metoder til at modellere og bevise sikkerheden ved en RDMA-baseret protokol til overførsel af KV-cache, der anvender Mooncake i virksomhedens SGLang-installation i produktion.

I sit indlæg takker SGLang-teamet Cloudflare-ingeniørerne Kevin Flansburg og Kastan Day for deres arbejde med rettelserne og anfører den koordinerede offentliggørelse foretaget af SGLang og Cloudflare den 26. oktober 2026 som det sidste punkt i tidslinjen for offentliggørelsen. Forskerens egen rapport, som SGLang-teamet sagde vil beskrive opdagelsen og den eksterne validering, er på vej.