Cloudflaren mukaan GLM-5.3:n ohjelmistovirhe vuoti 155 vastausta eri asiakkaiden istuntojen välillä

Cloudflare julkaisi 26. lokakuuta 2026 raportin tietoturvapoikkeamasta, jossa se paljasti Workers AI -alustansa GLM-5.3-mallissa tapahtuneen pyyntöjen välisen KV-välimuistin tietovuodon. Sen seurauksena 155 vastausta erittäin pitkiin kehotteisiin sisälsi tietoja muiden asiakkaiden istunnoista.

Knosticin tietoturvatutkija Gadi Evron ilmoitti asiakkaiden väliseen eristykseen liittyvästä ongelmasta Cloudflarelle 8. syyskuuta 2026 yhtiön HackerOne-ohjelman kautta. Tietovuoto koski mallia, jota tarjottiin tunnuksella @cf/zai-org/glm-5.3 27. elokuuta 2026 alkaen, eli päivästä, jolloin GLM 5.3 julkaistiin Workers AI:ssa. Cloudflare korjasi ongelman ja palautti mallin käyttöön 9. syyskuuta 2026. Yhtiö kertoi varmistaneensa, ettei ongelma vaikuttanut muihin Workers AI:ssa ylläpidettyihin malleihin.

Kaikki 155 ongelman vuoksi paljastunutta vastausta liittyivät kehotteisiin, jotka olivat yli 681 280 tokenin pituisia. Cloudflare kertoi, että kun sen omat testit ja tutkijan pyynnöt jätettiin pois, sen tunnistamat pyynnöt vastasivat ajoitukseltaan ja määrältään tavanomaista pitkän kontekstin käyttöä eivätkä viitanneet virheen toistuvaan hyväksikäyttöön. Yhtiö ei löytänyt näyttöä tahallisesta hyväksikäytöstä.

Tietovuodon taustalla olleet kaksi ongelmaa

GLM on Z.ai:n tekstintuotantomalli, joka on suunniteltu agenttimaiseen koodaukseen. Se on yksi monista Workers AI:n kautta saatavilla olevista malleista. Cloudflare käyttää GLM 5.3:a SGLangilla, joka on avoimen lähdekoodin inferenssimoottori. Käytössä on eriytetty kokoonpano: esitäyttöön käytettävät grafiikkasuorittimet käsittelevät kehotteen ja tuottavat sen KV-välimuistin, minkä jälkeen välimuisti siirretään RDMA-etämuistiyhteydellä Mooncaken kautta dekoodaukseen käytettäville grafiikkasuorittimille, jotka tuottavat vastauksen. KV-välimuisti on jaettu joukko samankokoisia sivuja. Sivuja ei nollata pyyntöjen välillä, joten moottorin tehtävänä on seurata, kenelle kukin sivu kuuluu.

Raportin mukaan tietovuodon taustalla oli kaksi ongelmaa. Ensimmäinen oli virheellinen kokoonpano: Cloudflare otti GLM 5.3:n käyttöön 1 048 576 tokenin konteksti-ikkunalla, mutta esitäyttöön käytettävien grafiikkasuorittimien KV-välimuistipooliin mahtui vain 681 280 tokenia. Cloudflare kertoi olleensa tietoinen ristiriidasta ennen julkaisua, mutta odottaneensa moottorin palauttavan virheen kaikista kehotteista, joita se ei pysty käsittelemään. Pitkän kontekstin testit tuottivat onnistuneita vastauksia, joten yhtiö ei uskonut ristiriidan olevan ongelma. Yhtiön mukaan testeissä tarkistettiin HTTP-vastauskoodit ja moottorin suorituskyky pitkissä konteksteissa, mutta ei mallin tuotosta eikä sen johdonmukaisuutta. Nyt se tarkistaa ennen eriytetyn käyttöönoton muutosten julkaisemista suoraan, että KV-poolin koko vastaa kontekstin pituutta.

Toinen ongelma oli SGLangin virhe, joka liittyi liian pitkien pyyntöjen käsittelyyn eriytetyssä esitäyttö- ja dekoodaustilassa. Kehotteet, jotka eivät mahtuneet pooliin, merkittiin sisäisesti hylätyiksi ja korvattiin yhden tokenin paikkamerkillä. Esitäyttövaihe kuitenkin tuotti edelleen paikkamerkille KV-välimuistin ja ilmoitti siirron valmistuneen. Tämän jälkeen dekoodauspalvelin tuotti vastauksen käyttäen vanhentuneita välimuistisivuja, joissa oli yhä aiempien pyyntöjen tietoja, ja asiakas sai HTTP 200 -vastauksen HTTP 400 -vastauksen sijaan.

SGLang-tiimi kertoo omassa yhteisjulkaisussaan, että yhden solmun hylkäyspolku palautti sen sijaan virheen, joten ongelma ilmeni vain eriytetyssä palvelussa. Toinen käyttäjä oli ilmoittanut virheestä SGLangille ongelmana #30233 6. heinäkuuta 2026. Cloudflaren mukaan se huomasi ilmoituksen tutkiessaan tapausta.

Poikkeaman käsittely ja korjaaminen

Cloudflare aloitti raportin tarkistamisen 9. syyskuuta 2026 kello 08.00 UTC ja julisti tapauksen tietoturvapoikkeamaksi kello 13.22 sen jälkeen, kun tuote- ja tietoturvatiimi oli saanut tietovuodon toistettua kahdella toisistaan riippumattomalla käyttäjätilillä 25 minuutissa. Yhtiö asetti GLM 5.3:n yksityiseksi kello 14.00, tunnisti ongelman juurisyyn kello 14.35, päivitti kaikki esitäyttösolmut korjattuun kokoonpanoon kello 14.52 mennessä, rakensi koko käyttöönoton uudelleen itse kehittämällään moottorikorjauksella kello 19.04 mennessä ja palautti mallin julkiseen käyttöön kello 19.40. Cloudflaren tilasivulla Workers AI:n poikkeaman ilmoitettiin alkaneen 9. syyskuuta 2026 kello 10.25 EDT, tulleen tunnistetuksi kello 11.02 EDT ja ratkenneen kello 16.09 EDT.

Kokoonpanon korjaus vastasi GLM 5.2:n asetuksia ja vapautti riittävästi grafiikkasuorittimien muistia, minkä ansiosta esitäytön KV-pooliin mahtuu nyt noin 2,04 miljoonaa tokenia eli suunnilleen kaksinkertainen määrä 1 048 576 tokenin konteksti-ikkunaan verrattuna. Näin ollen konteksti-ikkunaan mahtuva kehote mahtuu aina myös pooliin. Moottorikorjaus poistaa hylkäystä odottavan pyynnön eriytetyn käsittelyn hyväksymisjonosta alkuperäisine virheineen, ennen kuin alustustoimia, varausta tai KV-välimuistin siirtoa tapahtuu. Cloudflare testasi molemmat muutokset tutkijan toistotestillä ja omilla kanarialintumerkkitesteillään ennen mallin palauttamista.

Yhteisön korjaukset ja jatkotyö

Cloudflare ehdotti korjaustaan SGLangin upstream-projektiin pull requestina #38704. Ylläpitäjät yhdistivät muutoksen #38935:een, joka hylkää ongelmalliset pyynnöt hyväksymisvaiheessa Cloudflaren lähestymistavan mukaisesti. Aiheeseen liittyvä korjaus #36988 oli yhdistetty 6. syyskuuta 2026 toista samankaltaista virhetilannetta varten. Korjaus julkaistiin SGLangin versiossa v0.5.20, ja sitä seuranneet päivitykset julkaistiin versioissa v0.5.21 (2. lokakuuta 2026) ja v0.5.22 (19. lokakuuta 2026). Cloudflare suosittelee kaikkia SGLangin käyttäjiä päivittämään versioon v0.5.22 tai uudempaan. SGLang-tiimin mukaan v0.5.21 suojaa oletusarvoisesti Mooncake- ja NIXL-käyttöönotot kaikenlaisilta virhetilanteilta, MORI-käyttöönotot edellyttävät versiolle v0.5.22 tehtyä koontiversiota, eikä korjausta ole siirretty aiempiin julkaisuhaaroihin.

SGLang-tiimi raportoi, että kahdella H100-grafiikkasuorittimella tehdyissä 21 ajossa suojauksen käyttöönoton aiheuttamat läpimenon muutokset jäivät ±2 prosenttiin ja kaikkien 95 prosentin luottamusvälien sisällä oli nolla. Lisäksi kahdella H200-grafiikkasuorittimella tehdyssä erillisessä 16 ajon kokeessa viivästetyn KV-vapautuksen oletusarvoisen käyttöönoton kustannukseksi mitattiin −0,38 prosenttia. Luottamusväli oli −2,12–+1,36 prosenttia, ja tiimi kuvasi tulosta tilastollisesti ei-merkitseväksi. Cloudflare tapasi SGLangin ylläpitäjät RadixArkissa 10. syyskuuta 2026, otti käyttöön lisäsuojauksia kaikissa tuotantokäytössä olevissa SGLang-asennuksissaan 11.–19. syyskuuta 2026, ja pyyntöjen hyväksyntään liittyvän korjauksen, siirtokohtaiset tarkistussummat, keskeytyksen kuittauksen säilyttämisen sekä oletusarvoisesti käyttöön otettavan viivästetyn KV-vapautuksen kattavat muutokset yhdistettiin ylävirtaan 16. syyskuuta–12. lokakuuta 2026.

Muille operaattoreille, jotka käyttävät SGLangia eriytetyssä tilassa, Cloudflaren raportissa suositellaan KV-poolin mittaamista suhteessa kontekstin pituuteen kaikissa esitäyttö- ja dekoodauspalvelinsolmuissa aina painojen, kvantisoinnin, rinnakkaisuuden tai muistin osuuden muuttamisen jälkeen; päivittämistä versioon, joka sisältää molemmat pyyntöjen hyväksyntään liittyvät korjaukset; viivästetyn KV-vapautuksen käyttöä molemmissa rooleissa; korruptioiden tunnistuksen ottamista käyttöön, jos malli tukee sitä; sekä kuormantasaajien määrittämistä niin, ettei asiakkaan yhteyden katkeaminen keskeytä pyyntöä kesken siirron.

Cloudflare kertoi kehittäneensä aiemmin prototyyppiratkaisun, jossa jokaiseen fyysiseen KV-sivuun lisätään tunniste ja vastaavuus tarkistetaan ennen kuin dekoodaus lukee välimuistia. Testeissä sen vaikutus läpimenoon ja häntäviiveeseen jäi alle yhteen prosenttiin. Cloudflare testasi prototyyppiä GLM 5.2:lla elokuun puolivälissä 2026, mutta poisti sen pian käytöstä luotettavuusongelmien vuoksi. Cloudflare kehittää SGLang-tiimin kanssa moottoriin sisäänrakennettua tuotantoversiota, jonka ensimmäinen askel on siirtokohtainen tarkistussumma pull requestissa #39500. Yhtiö kertoi myös hyödyntävänsä muodollisten menetelmien osaamistaan Mooncakea käyttävän, RDMA-pohjaisen KV-välimuistin siirtoprotokollan mallintamiseen ja turvallisuuden todistamiseen tuotantokäytössä olevassa SGLang-asennuksessaan.

SGLang-tiimin julkaisussa kiitetään Cloudflaren insinöörejä Kevin Flansburgia ja Kastan Dayta heidän työstään korjausten parissa, ja SGLangin ja Cloudflaren 26. lokakuuta 2026 tekemä koordinoitu tietoturvahaavoittuvuuden julkistus on merkitty viimeiseksi kohdaksi julkistusaikajanalla. Tutkijan oma raportti, jossa SGLang-tiimin mukaan kuvataan löydön tekeminen ja sen ulkopuolinen validointi, julkaistaan myöhemmin.