AI-mallit ja alustat
SageMaker AI reitittää pyynnöt säilön ilmoittaman GPU-välimuistin tilan perusteella

Keskeiset kohdatKV-tietoinen reititys nostaa välimuistin osumatarkkuuden 3–48 %:sta 80–93 %:iin…
Näytä lisää
- KV-tietoinen reititys nostaa välimuistin osumatarkkuuden 3–48 %:sta 80–93 %:iin seuraamalla konttien ilmoittamia poistoja.
- Reitityksen ylimääräinen kuorma lisää 14–19 millisekuntia CloudWatchin OverheadLatency-viivettä, vaikka mallin viive paranee.
- Ominaisuus vaatii vähintään kaksi instanssia tai päättelykomponentin kopiota, jotta reitityksellä olisi mitään vaikutusta.
Amazon Web Services esitteli 17. marraskuuta 2026 KV-välimuistin tilan huomioivan reitityksen Amazon SageMaker AI:n reaaliaikaisille päätepisteille ja käyttää pyyntöjen reitittämisessä kontin ilmoittamaa välimuistin tilaa. AWS:n mukaan pitkien kehotteiden kuormitustesteissä mediaaniaika ensimmäiseen tokeniin oli jopa 97 % lyhyempi ja läpimeno 234 % suurempi kuin satunnaisessa reitityksessä.
KV-välimuisti tallentaa aiempien kehotteiden käsittelytuloksia GPU:n muistiin, jotta malli voi käyttää niitä uudelleen sen sijaan, että se toistaisi vastaavien syötetokenien alustavan käsittelyn eli esitäytön. Siksi välimuistin sijainnilla on merkitystä keskusteluavustajille, tiedonhakuun perustuvalle generoinnille ja agenteille, joilla on pitkiä järjestelmäkehotteita: pyynnön lähettäminen toiseen paikkaan voi pakottaa instanssin laskemaan uudelleen kontekstin, joka on jo toisen GPU:n muistissa.
Reititys ilmoitetun välimuistin tilan perusteella
SageMaker AI:n nykyinen etuliitetietoinen strategia päättelee välimuistin sijainnin pyynnön kiinteän etuliitteen perusteella. Se ei tunnista välimuistimerkintöjen poistamista, ja pitenevän keskustelun alkuvaiheen vuorot voivat hajautua eri tiivisteisiin ja päätyä eri instansseille. KV-välimuistin huomioiva reititys hyödyntää sen sijaan mallisäilön tapahtumia aina, kun välimuistimerkintöjä tallennetaan tai poistetaan.
Palvelu ylläpitää hallittua hakemistoa yksisuuntaisista, typistetyistä tiivisteistä, jotka on yhdistetty instansseihin tai päättelykomponenttien kopioihin. Se ei tallenna kehotteita, token-ID-tunnisteita, pyyntöjen hyötykuormia eikä KV-tensoreita. Jokainen saapuva kehote tokenisoidaan ja sitä verrataan hakemistoon. Päätepiste arvioi pisimmän välimuistista löytyvän vastaavuuden suhteessa instanssien kuormitukseen ja ohittaa liian kuormittuneet vaihtoehdot.
Jos haku kestää liian kauan, sopivaa vastaavuutta ei löydy tai kaikki vastaavat instanssit ovat varattuja, pyyntö ohjataan vähiten keskeneräisiä pyyntöjä käsittelevälle reitille, ja se käsitellään silti. Kun kapasiteettia vähennetään, poistettujen instanssien hakemistomerkinnät poistetaan. Uudet tai korvaavat instanssit käynnistyvät tyhjillä välimuisteilla, mikä on otettava huomioon välimuistin tilapäisen uudelleenrakentamisen ja kylmäkäynnistyksen aiheuttaman viiveen kannalta.
Vertailutestien hyödyt ja reitityksen lisäkuormitus
AWS:n mukaan sen 30 minuutin testeissä Llama 3.1 70B Instructia ajettiin seitsemällä ml.p5.48xlarge-instanssilla 20 tai 100 simuloidun käyttäjän kanssa. Testeihin kuului monivuoroisia keskusteluja ja asiakirjoihin perustuvia kysymys-vastausistuntoja, ja kehotteet olivat enimmillään noin 64 000 tokenin pituisia. Välimuistiosumien osuus kasvoi satunnaisen reitityksen 3–48 prosentista KV-välimuistin huomioivan reitityksen 80–93 prosenttiin. Tulokset riippuvat kuormituksesta, ja lyhyet kehotteet hyötyivät vähiten, koska niissä on vähemmän uudelleenkäytettävää esitäyttölaskentaa.
Reitityshaku lisää tokenisoinnin ja hakemiston käsittelyn aiheuttamaa kuormitusta: lyhyillä kehotteilla muutamia millisekunteja ja pidemmillä enemmän. Tavallisissa pelkkää tekstiä sisältävissä pyynnöissä lasketut tokenit välitetään mallille, jolloin niitä ei tarvitse tokenisoida uudelleen. AWS:n erillisessä, kahden instanssin Qwen3-4B-Instruct-2507-vertailussa CloudWatch OverheadLatency -mittarin keskiarvo oli KV-välimuistin huomioivassa reitityksessä 14–19 millisekuntia suurempi. Mittari kuvaa aikaa, jonka SageMaker AI käyttää mallisäilön ulkopuolella, vaikka mallin viive ja aika ensimmäiseen tokeniin paranivat.
Käyttöönoton vaatimukset ja näkyvyys
Julkaisuhetkellä ominaisuus edellyttää SageMaker AI:n AWS vLLM Deep Learning Container -säilöä, jossa on vLLM 0.33.0 tai uudempi, tai Amazon Linux server-sagemaker-cuda-v2.8.0 -koontiversiota tai uudempaa. Etuliitevälimuisti ja KV-välimuistin tapahtumat on otettava käyttöön. Asiakkaat määrittävät SM_VLLM_KV_EVENTS_CONFIG mallissa ja RoutingStrategy tuotantovariantissa KV_AWARE muuttamatta asiakaskutsuja.
Ominaisuus tukee GPU:lla varustettuja reaaliaikaisia yhden mallin päätepisteitä ja päättelykomponenttien päätepisteitä, myös dynaamisia Low-Rank Adaptation -sovittimia. Reititys edellyttää yhden mallin päätepisteessä vähintään kahta instanssia tai kahta päättelykomponentin kopiota. Jos kohteita on vain yksi, asetus ei vaikuta reititykseen. Pyyntöjen on käytettävä OpenAI-yhteensopivia Completions- tai Chat Completions -hyötykuormia tuettujen kutsurajapintojen kautta, eikä InvokeEndpointWithBidirectionalStream ole tuettu.
KV-välimuistin huomioiva reititys ei lisää käyttöönoton yhteydessä erillisiä mittareita tai asiakkaan tilille tallennettavia reitityspäätöslokeja, eikä varareittejä tuoda näkyviin SageMaker AI -konsolissa tai mittareissa. Asiakkaat voivat tarkastella usage.prompt_tokens_details.cached_tokens kun kehotteen tokenitietojen näyttäminen on otettu käyttöön, ja seurata yksityiskohtaisen havainnoitavuuden ja CloudWatchin avulla säilön mittareita, kuten välimuistiosumien osuutta ja aikaa ensimmäiseen tokeniin.
Ominaisuus on saatavilla kaikilla kaupallisilla AWS-alueilla, joilla tuetun säilön avulla voidaan käyttää SageMaker AI:n reaaliaikaista päättelyä. Päätepisteiden instanssien hinnan lisäksi siitä ei veloiteta erikseen. AWS kuvaa etuliitetietoista reititystä edelleen yksinkertaisemmaksi vaihtoehdoksi vakaille jaetuille kehotteille, lyhyille konteksteille ja kohtuulliselle kuormitukselle. KV-välimuistin huomioiva reititys sopii paremmin pitkille uudelleenkäytettäville konteksteille, muistipaineeseen ja usein tapahtuviin välimuistimerkintöjen poistoihin. Näin kunkin kuormituksen kohdalla on punnittava konkreettisesti infrastruktuurin hyötyjä: GPU:n esitäyttölaskennan säästöä suhteessa pyyntökohtaisen reitityksen lisäkuormitukseen.












