AI-modellen en platforms

SageMaker AI routeert verzoeken op basis van de door de container gerapporteerde GPU-cachestatus

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenKV-bewuste routering verhoogt de cache-hitratio van 3–48% naar 80–93% door door…
Meer weergeven
  • KV-bewuste routering verhoogt de cache-hitratio van 3–48% naar 80–93% door door containers gerapporteerde evictions te volgen.
  • Routeringsoverhead voegt 14 tot 19 milliseconden CloudWatch OverheadLatency toe, zelfs terwijl de modellatentie verbetert.
  • De functie vereist ten minste twee instanties of kopieën van de inferentiecomponent om enig routeringseffect te hebben.

Amazon Web Services introduceerde op 17 november 2026 routering op basis van KV-cache voor realtime-eindpunten van Amazon SageMaker AI, waarbij de door de container gerapporteerde cachestatus wordt gebruikt om verzoeken te routeren. AWS meldt bij tests met lange prompts en onder belasting een tot 97% lagere mediane tijd tot de eerste token en een 234% hogere doorvoer dan bij willekeurige routering.

De KV-cache bewaart eerdere promptberekeningen in het GPU-geheugen, zodat een model die kan hergebruiken in plaats van de eerste verwerking — oftewel de prefill — van overeenkomende invoertokens opnieuw uit te voeren. Daardoor is het belangrijk waar de cache zich bevindt voor chatassistenten, retrieval-augmented generation en agents met lange systeemprompts: als een verzoek ergens anders naartoe wordt gestuurd, kan een instantie de context opnieuw moeten berekenen die al op een andere GPU staat.

Routering op basis van gerapporteerde cachestatus

De bestaande prefixbewuste strategie van SageMaker AI leidt de locatie van de cache af uit een vaste prefix van het verzoek. Deze strategie kan verwijderingen uit de cache niet detecteren, en vroege beurten in een groeiend gesprek kunnen verschillende hashes opleveren en op afzonderlijke instanties terechtkomen. Routering op basis van de KV-cache gebruikt daarentegen gebeurtenissen vanuit de modelcontainer telkens wanneer cache-items worden opgeslagen of verwijderd.

De service houdt een beheerde index bij van afgekorte eenrichtingshashes die zijn gekoppeld aan instanties of kopieën van inferencecomponenten, in plaats van prompts, token-ID’s, verzoekpayloads of KV-tensors op te slaan. Elke binnenkomende prompt wordt getokeniseerd en met die index vergeleken. Het endpoint weegt de langste overeenkomst met de cache af tegen de belasting van de instantie en slaat kandidaten over die het te druk hebben.

Als het opzoeken traag is, er geen bruikbare overeenkomst bestaat of alle overeenkomende instanties bezet zijn, valt het verzoek terug op routering naar de instantie met de minste openstaande verzoeken en wordt het alsnog verwerkt. Bij het afschalen worden indexitems voor verwijderde instanties gewist. Nieuwe of vervangende instanties beginnen met lege caches, waardoor tijdelijk rekening moet worden gehouden met het opnieuw opbouwen van de cache en latentie bij een koude start.

Benchmarkresultaten en routeringsoverhead

AWS meldt dat de tests van 30 minuten Llama 3.1 70B Instruct uitvoerden op zeven ml.p5.48xlarge-instanties, met 20 of 100 gesimuleerde gebruikers, meerbeurtige chats en sessies met vraag-en-antwoord over documenten, en prompts tot ongeveer 64.000 tokens. Het cachetrefferpercentage steeg van 3–48% bij willekeurige routering naar 80–93% bij routering op basis van de KV-cache. De resultaten zijn afhankelijk van de werklast; korte prompts profiteerden het minst, omdat daarbij minder prefillberekeningen kunnen worden hergebruikt.

Het opzoeken voor de routering brengt overhead met zich mee voor het tokeniseren en verwerken van de index: enkele milliseconden bij korte prompts en meer bij langere prompts. Bij standaardverzoeken met alleen tekst worden de berekende tokens aan het model doorgegeven, zodat een tweede tokenisatieronde niet nodig is. In een afzonderlijke vergelijking van AWS met twee instanties lag de gemiddelde CloudWatch OverheadLatency bij Qwen3-4B-Instruct-2507 met routering op basis van de KV-cache 14 tot 19 milliseconden hoger. Deze maatstaf geeft aan hoeveel tijd SageMaker AI buiten de modelcontainer doorbrengt, terwijl zowel de modellatentie als de tijd tot de eerste token verbeterde.

Vereisten voor implementatie en inzicht

Bij de introductie vereist deze functie de AWS vLLM Deep Learning Container voor SageMaker AI met vLLM 0.33.0 of hoger, of de Amazon Linux server-sagemaker-cuda-v2.8.0 build of hoger. Prefixcaching en KV-cachegebeurtenissen moeten zijn ingeschakeld. Klanten stellen SM_VLLM_KV_EVENTS_CONFIG in op het model en RoutingStrategy naar KV_AWARE in de productievariant, zonder de clientaanroepen te wijzigen.

De functie ondersteunt realtime-eindpunten met GPU’s voor één model en voor inferencecomponenten, waaronder dynamische Low-Rank Adaptation-adapters. Voor routering zijn ten minste twee instanties nodig bij een endpoint voor één model, of twee kopieën van inferencecomponenten; met één bestemming heeft de instelling geen effect op de routering. Verzoeken moeten via ondersteunde aanroep-API’s gebruikmaken van payloads voor Completions of Chat Completions die compatibel zijn met OpenAI, en InvokeEndpointWithBidirectionalStream wordt niet ondersteund.

Bij de introductie voegt routering op basis van de KV-cache geen specifieke meetgegevens of routeringsbeslissingslogboeken per klantaccount toe, en terugvalopties zijn niet zichtbaar in de SageMaker AI-console of in de meetgegevens. Klanten kunnen usage.prompt_tokens_details.cached_tokens inspecteren nadat ze details over prompttokens hebben ingeschakeld, en containermetingen zoals het cachetrefferpercentage en de tijd tot de eerste token volgen via gedetailleerde waarneembaarheid en CloudWatch.

De functie is beschikbaar in alle commerciële AWS-regio’s die realtime-inferentie van SageMaker AI met een ondersteunde container aanbieden, zonder extra kosten boven op die voor de instanties van het endpoint. AWS beschrijft prefixbewuste routering nog altijd als de eenvoudigere optie voor stabiele, gedeelde prompts, korte contexten en matige belasting. Routering op basis van de KV-cache is bedoeld voor langere contexten die opnieuw kunnen worden gebruikt, geheugendruk en frequente verwijderingen uit de cache. Zo blijft voor elke werklast een concrete afweging tussen infrastructuurfactoren bestaan: herwonnen GPU-prefillwerk tegenover extra routeringsoverhead per verzoek.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.