AI-modeller og plattformer
SageMaker AI ruter forespørsler basert på GPU-hurtigbufferstatus rapportert av containeren

Viktige punkterKV-bevisst ruting øker cache-treffraten fra 3–48 % til 80–93 % ved å spore utkastelser…
Vis mer
- KV-bevisst ruting øker cache-treffraten fra 3–48 % til 80–93 % ved å spore utkastelser rapportert av containere.
- Rutingoverhead legger til 14 til 19 millisekunder i CloudWatch OverheadLatency selv når modellens latens forbedres.
- Funksjonen krever minst to instanser eller kopier av inferenskomponenten for å ha noen rutingeffekt.
Amazon Web Services introduserte ruting som tar hensyn til KV-hurtigbufferen for sanntidsendepunkter i Amazon SageMaker AI 17. november 2026. Forespørslene rutes ut fra hurtigbufferstatus rapportert av containeren. AWS rapporterer opptil 97 % lavere median tid til første token og 234 % høyere gjennomstrømning enn med tilfeldig ruting i tester med lange forespørsler under belastning.
KV-hurtigbufferen lagrer beregninger fra tidligere forespørsler i GPU-minnet, slik at modellen kan gjenbruke dem i stedet for å gjenta den innledende behandlingen, eller prefyllingen, av samsvarende inndatatokener. Derfor er plasseringen av hurtigbufferen viktig for chatteassistenter, generering med utvidet informasjonsinnhenting og agenter med lange systemforespørsler: Hvis en forespørsel sendes et annet sted, kan en instans måtte beregne konteksten på nytt, selv om en annen GPU allerede har den lagret.
Ruting basert på rapportert hurtigbufferstatus
SageMaker AIs eksisterende prefiksbaserte strategi anslår hvor hurtigbufferen befinner seg, ut fra et fast prefiks i forespørselen. Den kan ikke oppdage når hurtigbufferoppføringer fjernes, og tidlige meldinger i en samtale som blir lengre, kan få ulike hashverdier og havne på separate instanser. Ruting som tar hensyn til KV-hurtigbufferen, bruker i stedet hendelser fra modellcontaineren når hurtigbufferoppføringer lagres eller fjernes.
Tjenesten vedlikeholder en administrert indeks med ensrettede, trunkerte hashverdier knyttet til instanser eller kopier av inferenskomponenter, i stedet for å lagre forespørsler, token-ID-er, forespørselsdata eller KV-tensorer. Hver innkommende forespørsel tokeniseres og sammenlignes med indeksen. Endepunktet veier det lengste treffet i hurtigbufferen opp mot belastningen på instansen og utelater kandidater som er for belastet.
Hvis oppslaget tar lang tid, det ikke finnes noe nyttig treff, eller alle instansene med treff er opptatt, går forespørselen over til ruting basert på færrest utestående forespørsler og blir fortsatt behandlet. Når kapasiteten skaleres ned, fjernes indeksoppføringer for instanser som tas ut. Nye instanser og erstatningsinstanser starter med tomme hurtigbuffere, noe som må tas med i vurderingen av midlertidig gjenoppbygging av hurtigbufferen og forsinkelser ved kaldstart.
Gevinster i målinger og rutingsoverhead
AWS opplyser at testene, som varte i 30 minutter, kjørte Llama 3.1 70B Instruct på sju ml.p5.48xlarge-instanser med 20 eller 100 simulerte brukere, samtaler med flere meldingsrunder og økter med spørsmål og svar om dokumenter. Forespørslene var på opptil rundt 64 000 tokener. Treffraten i hurtigbufferen økte fra 3–48 % med tilfeldig ruting til 80–93 % med ruting som tar hensyn til KV-hurtigbufferen. Resultatene avhenger av arbeidsbelastningen, og korte forespørsler hadde minst nytte fordi det er mindre prefyllingsarbeid å gjenbruke.
Oppslaget for ruting medfører ekstra tidsbruk til tokenisering og indeksbehandling: noen få millisekunder for korte forespørsler og mer for lengre forespørsler. Vanlige forespørsler som bare inneholder tekst, sender de beregnede tokenene videre til modellen, slik at de ikke må tokeniseres på nytt. I en separat sammenligning fra AWS med to instanser var gjennomsnittlig CloudWatch OverheadLatency, som måler tiden SageMaker AI bruker utenfor modellcontaineren, 14 til 19 millisekunder høyere med ruting som tar hensyn til KV-hurtigbufferen, samtidig som modellens latenstid og tiden til første token ble redusert.
Krav til utrulling og innsyn
Ved lansering krever funksjonen AWS vLLM Deep Learning Container for SageMaker AI med vLLM 0.33.0 eller nyere, eller Amazon Linux server-sagemaker-cuda-v2.8.0 bygg eller nyere. Prefiksbufring og KV-hurtigbufferhendelser må være aktivert. Kundene angir SM_VLLM_KV_EVENTS_CONFIG på modellen og RoutingStrategy til KV_AWARE i produksjonsvarianten, uten å endre klientkall.
Funksjonen støtter sanntidsendepunkter med én modell og endepunkter med inferenskomponenter som bruker GPU-er, inkludert dynamiske adaptere for Low-Rank Adaptation. Ruting krever minst to instanser for et endepunkt med én modell, eller to kopier av en inferenskomponent. Med bare ett rutemål har innstillingen ingen effekt. Forespørslene må bruke OpenAI-kompatible nyttelaster for Completions eller Chat Completions via støttede API-er for kall, og InvokeEndpointWithBidirectionalStream støttes ikke.
Ruting som tar hensyn til KV-hurtigbufferen, legger ikke til egne måleverdier eller logger over rutingsbeslutninger på kundekontonivå ved lansering. Tilbakefall til andre rutingsmetoder vises heller ikke i SageMaker AI-konsollen eller i måleverdiene. Kundene kan undersøke usage.prompt_tokens_details.cached_tokens etter at de har aktivert detaljer om forespørselstokener, og overvåke containermåleverdier som treffrate i hurtigbufferen og tid til første token gjennom detaljert observerbarhet og CloudWatch.
Funksjonen er tilgjengelig i alle kommersielle AWS-regioner som støtter sanntidsinferens i SageMaker AI med en støttet container, uten ekstra kostnader utover kostnaden for endepunktets instanser. AWS beskriver fortsatt prefiksbasert ruting som det enklere alternativet for stabile, delte forespørsler, korte kontekster og moderat belastning. Ruting som tar hensyn til KV-hurtigbufferen, er beregnet på lengre kontekster som kan gjenbrukes, minnepress og hyppig tømming av hurtigbufferen. Dermed må infrastrukturen for hver arbeidsbelastning finne en konkret balanse mellom spart prefyllingsarbeid på GPU-en og ekstra rutingsoverhead for hver forespørsel.












