Modely a platformy AI
SageMaker AI směruje požadavky podle stavu mezipaměti GPU hlášeného kontejnerem

Klíčové bodySměrování s ohledem na KV zvyšuje míru zásahů do mezipaměti z 3–48 % na 80–93 % tím, že…
Zobrazit více
- Směrování s ohledem na KV zvyšuje míru zásahů do mezipaměti z 3–48 % na 80–93 % tím, že sleduje evictions hlášené kontejnerem.
- Režie směrování přidává 14 až 19 milisekund CloudWatch OverheadLatency, i když se latence modelu zlepšuje.
- Funkce vyžaduje alespoň dvě instance nebo kopie inferenční komponenty, aby měla jakýkoli směrovací účinek.
Společnost Amazon Web Services 17. listopadu 2026 představila směrování zohledňující mezipaměť KV pro koncové body Amazon SageMaker AI pro inferenci v reálném čase, které při směrování požadavků využívá stav mezipaměti hlášený kontejnerem. AWS uvádí, že při testech s dlouhými výzvami a vysokým zatížením se mediánová doba do prvního tokenu snížila až o 97 % a propustnost se oproti náhodnému směrování zvýšila o 234 %.
Mezipaměť KV uchovává předchozí výpočty výzev v paměti GPU, takže je model může znovu využít a nemusí opakovat počáteční zpracování odpovídajících vstupních tokenů, označované jako předzpracování (prefill). Umístění mezipaměti je proto důležité u konverzačních asistentů, generování rozšířeného o vyhledávání i agentů s dlouhými systémovými výzvami: pokud je požadavek odeslán jinam, může instance znovu počítat kontext, který už má k dispozici jiný GPU.
Směrování podle hlášeného stavu mezipaměti
Stávající strategie SageMaker AI, která zohledňuje prefix, odvozuje umístění mezipaměti z pevného prefixu požadavku. Nedokáže rozpoznat vyřazení položek z mezipaměti a počáteční tahy v narůstající konverzaci mohou mít odlišný hash, a proto skončit na různých instancích. Směrování zohledňující KV místo toho využívá události z kontejneru modelu při každém uložení nebo vyřazení položek mezipaměti.
Služba spravuje index zkrácených jednosměrných hashů přiřazených k instancím nebo kopiím inferenčních komponent; neukládá přitom výzvy, ID tokenů, datové části požadavků ani tenzory KV. Každá příchozí výzva se tokenizuje a porovná s tímto indexem. Koncový bod vyhodnotí nejdelší shodu s obsahem mezipaměti vzhledem k zatížení instance a vynechá kandidáty, kteří jsou příliš vytížení.
Pokud vyhledání trvá dlouho, nenajde se žádná užitečná shoda nebo jsou všechny odpovídající instance vytížené, požadavek se přesměruje na instanci s nejmenším počtem nevyřízených požadavků a přesto se zpracuje. Při snižování kapacity se odstraní položky indexu odpovídající vyřazeným instancím, zatímco nové nebo náhradní instance začínají s prázdnou mezipamětí. Je proto třeba počítat s dočasným opětovným naplňováním mezipaměti a prodlevou při studeném startu.
Přínosy v testech a režie směrování
AWS uvádí, že jeho testy trvající 30 minut používaly Llama 3.1 70B Instruct na sedmi instancích ml.p5.48xlarge, s 20 nebo 100 simulovanými uživateli, vícetahovými konverzacemi a relacemi s otázkami a odpověďmi nad dokumenty; výzvy dosahovaly délky přibližně 64 000 tokenů. Míra zásahů do mezipaměti vzrostla z 3–48 % při náhodném směrování na 80–93 % při směrování zohledňujícím KV. Výsledky závisí na konkrétní zátěži a nejmenší přínos měly krátké výzvy, protože při nich lze znovu využít méně výpočtů předzpracování.
Vyhledávání při směrování přidává režii spojenou s tokenizací a zpracováním indexu: u krátkých výzev jde o několik milisekund, u delších o více. U standardních textových požadavků se vypočítané tokeny předávají modelu, takže není nutná další tokenizace. V samostatném srovnání AWS se dvěma instancemi Qwen3-4B-Instruct-2507 byla průměrná hodnota CloudWatch OverheadLatency, která měří čas, jenž SageMaker AI stráví mimo kontejner modelu, při směrování zohledňujícím KV o 14 až 19 milisekund vyšší, přestože se zlepšila latence modelu i doba do prvního tokenu.
Požadavky na nasazení a přehled o provozu
Při uvedení funkce je vyžadován kontejner AWS vLLM Deep Learning Container for SageMaker AI s vLLM 0.33.0 nebo novějším, případně Amazon Linux server-sagemaker-cuda-v2.8.0 ve verzi nebo novější. Musí být povoleno ukládání prefixů do mezipaměti a události mezipaměti KV. Zákazníci nastaví SM_VLLM_KV_EVENTS_CONFIG u modelu a RoutingStrategy na KV_AWARE v produkční variantě, aniž by měnili volání klienta.
Funkce podporuje koncové body pro inferenci v reálném čase využívající GPU, a to pro jeden model i pro inferenční komponenty, včetně dynamických adaptérů Low-Rank Adaptation. Směrování vyžaduje nejméně dvě instance u koncového bodu s jedním modelem nebo dvě kopie inferenční komponenty; pokud je cílem pouze jedna instance, nastavení směrování nijak neovlivní. Požadavky musí využívat datové části kompatibilní s OpenAI pro Completions nebo Chat Completions a být odesílány prostřednictvím podporovaných rozhraní API pro volání a InvokeEndpointWithBidirectionalStream není podporováno.
Směrování zohledňující KV při uvedení funkce neposkytuje samostatné metriky ani protokoly rozhodnutí o směrování pro zákaznické účty; záložní směrování se nezobrazuje ani v konzoli SageMaker AI, ani v metrikách. Zákazníci si mohou zobrazit usage.prompt_tokens_details.cached_tokens po zapnutí podrobností o tokenech výzvy a sledovat metriky kontejneru, například míru zásahů do mezipaměti a dobu do prvního tokenu, prostřednictvím podrobného monitorování a služby CloudWatch.
Funkce je dostupná ve všech komerčních regionech AWS, které podporují inferenci SageMaker AI v reálném čase s podporovaným kontejnerem, a to bez dalších poplatků nad rámec nákladů na instance koncového bodu. AWS nadále označuje směrování zohledňující prefix za jednodušší možnost pro stabilní sdílené výzvy, krátké kontexty a střední zátěž. Směrování zohledňující KV je určeno pro delší opakovaně využitelný kontext, tlak na paměť a časté vyřazování položek z mezipaměti. Pro každou zátěž tak zůstává konkrétní kompromis v infrastruktuře: ušetřené výpočty předzpracování na GPU oproti dodatečné režii směrování u každého požadavku.












