Cloudflare sier at en feil i GLM-5.3 lekket 155 svar på tvers av kundesesjoner

26. oktober 2026 publiserte Cloudflare en hendelsesrapport som avdekket at KV-hurtigbufferen i GLM-5.3-modellen på Workers AI-plattformen eksponerte data på tvers av forespørsler. Dermed inneholdt 155 svar på svært lange forespørsler data fra andre kunders sesjoner.

Sikkerhetsforskeren Gadi Evron fra Knostic rapporterte problemet med isolering mellom kunder til Cloudflare 8. september 2026 gjennom selskapets HackerOne-program. Eksponeringen rammet modellen, som ble levert som @cf/zai-org/glm-5.3, fra og med 27. august 2026, dagen GLM 5.3 ble lansert på Workers AI. Cloudflare rettet problemet og gjorde modellen tilgjengelig igjen 9. september 2026. Selskapet sa at det hadde bekreftet at ingen andre modeller på Workers AI var berørt.

Alle de 155 berørte svarene gjaldt forespørsler på mer enn 681 280 tokener. Cloudflare sa at forespørslene selskapet identifiserte, etter at dets egne tester og forskerens forespørsler var holdt utenfor, hadde en tidsmessig og volummessig profil som samsvarte med vanlig bruk av lange kontekster, ikke gjentatt utnyttelse av feilen. Selskapet sa også at det ikke fant tegn til bevisst utnyttelse.

De to problemene som førte til eksponeringen

GLM er en tekstgenereringsmodell fra Z.ai som er utviklet for agentbaserte kodearbeidsflyter, og er én av mange modeller som er tilgjengelige via Workers AI. Cloudflare kjører GLM 5.3 med SGLang, en åpen kildekode-inferensmotor, i en oppdelt konfigurasjon: Prefill-GPU-er behandler forespørselen og oppretter KV-hurtigbufferen, før den overføres via direkte minnetilgang over nettverk (RDMA) og Mooncake til decode-GPU-er som genererer svaret. KV-hurtigbufferen er en delt samling sider med fast størrelse. Sidene nullstilles ikke mellom forespørsler, så motoren har ansvaret for å holde oversikt over hvem som eier hver side.

Rapporten knytter eksponeringen til to problemer. Det første var en feilkonfigurasjon: Cloudflare distribuerte GLM 5.3 med et kontekstvindu på 1 048 576 tokener, men KV-hurtigbufferen på prefill-GPU-ene hadde bare plass til 681 280 tokener. Cloudflare sa at selskapet kjente til avviket før lanseringen, men forventet at motoren skulle returnere en feil for forespørsler den ikke kunne behandle. Ettersom testene av lange kontekster ga vellykkede svar, mente selskapet derfor ikke at avviket var et problem. Selskapet sa at testingen kontrollerte HTTP-svarskoder og motorens ytelse ved lange kontekster, men ikke validerte modellens utdata og sammenheng. Det opplyste også at det nå kontrollerer størrelsen på KV-hurtigbufferen direkte mot kontekstlengden før endringer i oppdelte distribusjoner settes i drift.

Det andre problemet var en feil i SGLang som påvirket håndteringen av forespørsler som overskred grensen i oppdelt prefill- og decode-modus. En forespørsel som ikke fikk plass i hurtigbufferen, ble internt markert som avvist og erstattet med en plassholder på ett token. Likevel opprettet prefill KV-hurtigbufferdata for plassholderen og signaliserte at overføringen var fullført. Decode-noden genererte deretter et svar ved å bruke utdaterte hurtigbuffersider som fortsatt inneholdt data fra tidligere forespørsler, og klienten mottok HTTP 200 i stedet for HTTP 400.

SGLang-teamet opplyser i et eget innlegg publisert i samråd med Cloudflare at avvisningsløpet på én enkelt node i stedet returnerte en feil. Problemet oppsto derfor bare ved oppdelt betjening. En annen bruker hadde rapportert feilen til SGLang som sak #30233 6. juli 2026. Cloudflare sa at selskapet ble oppmerksom på saken under etterforskningen.

Håndtering og utbedring av hendelsen

Cloudflare begynte å verifisere rapporten kl. 08:00 UTC 9. september 2026 og erklærte en sikkerhetshendelse kl. 13:22, etter at produktsikkerhetsteamet hadde gjenskapt lekkasjen ved hjelp av to uavhengige kontoer i løpet av 25 minutter. Selskapet satte GLM 5.3 til privat kl. 14:00, identifiserte rotårsaken kl. 14:35, rullet ut den korrigerte konfigurasjonen til alle prefill-noder innen kl. 14:52, bygde hele distribusjonen på nytt med en motoroppdatering utviklet av Cloudflare innen kl. 19:04 og gjorde modellen offentlig tilgjengelig igjen kl. 19:40. Cloudflares statusside registrerte at hendelsen på Workers AI startet kl. 10:25 EDT 9. september 2026, ble identifisert kl. 11:02 EDT og løst kl. 16:09 EDT.

Konfigurasjonsendringen samsvarte med oppsettet for GLM 5.2 og frigjorde nok GPU-minne til at prefill-hurtigbufferen nå har plass til omtrent 2,04 millioner tokener – omtrent dobbelt så mye som kontekstlengden på 1 048 576 tokener. Dermed får en forespørsel som passer i kontekstvinduet, alltid plass i hurtigbufferen. Motoroppdateringen avviser en forespørsel med en ventende avvisning allerede i køen for opptak til den oppdelte tjenesten, med den opprinnelige feilen, før noen oppstart, allokering eller KV-overføring finner sted. Cloudflare validerte begge endringene mot forskerens skript for å gjenskape problemet og sine egne tester med kanarimarkører før modellen ble gjort tilgjengelig igjen.

Rettelser i hovedprosjektet og videre arbeid

Cloudflare foreslo sin rettelse i hovedprosjektet som SGLang pull request #38704. Vedlikeholderne slo sammen #38935, som avviser de berørte forespørslene ved opptak, i tråd med Cloudflares tilnærming. En beslektet rettelse, #36988, var blitt slått sammen 6. september 2026 for en tilsvarende feilbane. Oppdateringen ble inkludert i SGLang v0.5.20, med oppfølgingsrettelser i v0.5.21, utgitt 2. oktober 2026, og v0.5.22, utgitt 19. oktober 2026. Cloudflare anbefaler alle som drifter SGLang, å oppdatere til v0.5.22 eller nyere. SGLang-teamet opplyser at v0.5.21 som standard beskytter Mooncake- og NIXL-distribusjoner mot alle typer feil, at MORI-distribusjoner trenger en versjon bygget i v0.5.22, og at rettelsen ikke ble tilbakeportert til tidligere utgivelsesgrener.

SGLang-teamet rapporterte at gjennomstrømningsavvikene med beskyttelsestiltakene lå innenfor ±2 % i 21 kjøringer på to H100-GPU-er, og at alle 95 % konfidensintervallene omfattet null. I en separat serie med 16 kjøringer på to H200-GPU-er målte de kostnaden ved å aktivere utsatt frigivelse av KV som standard til −0,38 %, med et konfidensintervall fra −2,12 % til +1,36 %, noe de beskrev som ikke signifikant. Cloudflare møtte SGLang-vedlikeholderne hos RadixArk 10. september 2026, rullet ut ytterligere sikkerhetstiltak til alle SGLang-distribusjonene sine i produksjon mellom 11. og 19. september 2026, og oppstrømsinnflettinger som omfattet opptaksrettingen, kontrollsummer per overføring, bevaring av avbruddsbekreftelser og utsatt frigivelse av KV aktivert som standard, ble gjennomført fra 16. september til 12. oktober 2026.

For andre operatører som kjører SGLang i disaggregert modus anbefaler Cloudflares rapport å måle KV-poolen opp mot kontekstlengden på hver prefill- og decode-node etter enhver endring av vekter, kvantisering, parallellisering eller minneandel; å oppgradere til en versjon som omfatter begge opptaksrettingene; å kjøre med utsatt frigivelse av KV i begge rollene; å aktivere korrupsjonsdeteksjon der modellen støtter det; og å konfigurere lastbalansererne slik at en klientfrakobling ikke avbryter en forespørsel midt under overføringen.

Cloudflare sa at selskapet tidligere hadde utviklet en prototypeløsning som merker hver fysiske KV-side og kontrollerer tilordningen før decode leser hurtigbufferen, og at den i tester kostet under 1 % i gjennomstrømning og haleforsinkelse. Selskapet testet prototypen på GLM 5.2 i midten av august 2026, men deaktiverte den kort tid etter på grunn av pålitelighetsproblemer. Cloudflare samarbeider med SGLang-teamet om en produksjonsversjon som bygges inn i motoren, der kontrollsummen per overføring i pull request #39500 er et første skritt. Selskapet sa også at det bruker erfaringen sin med formelle metoder til å modellere og bevise sikkerheten til en RDMA-basert protokoll for overføring av KV-hurtigbuffer ved hjelp av Mooncake i SGLang-distribusjonen sin i produksjon.

Innlegget fra SGLang-teamet takker Cloudflare-ingeniørene Kevin Flansburg og Kastan Day for arbeidet med rettingene, og oppgir den koordinerte offentliggjøringen fra SGLang og Cloudflare 26. oktober 2026 som det siste punktet i tidslinjen for offentliggjøringen. Forskerens egen rapport, som SGLang-teamet sa vil beskrive oppdagelsen og den eksterne valideringen, kommer senere.