KI-Modelle und Plattformen

SageMaker AI leitet Anfragen anhand des vom Container gemeldeten GPU-Cache-Status weiter

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteKV-bewusstes Routing steigert die Cache-Trefferraten von 3–48 % auf 80–93 %, indem es…
Mehr anzeigen
  • KV-bewusstes Routing steigert die Cache-Trefferraten von 3–48 % auf 80–93 %, indem es die von Containern gemeldeten Evictions verfolgt.
  • Der Routing-Overhead fügt 14 bis 19 Millisekunden CloudWatch OverheadLatency hinzu, selbst während sich die Modelllatenz verbessert.
  • Die Funktion erfordert mindestens zwei Instanzen oder Inference-Component-Kopien, um überhaupt eine Routing-Wirkung zu haben.

Amazon Web Services führte am 17. November 2026 KV-Cache-bewusstes Routing für Echtzeit-Endpunkte von Amazon SageMaker AI ein. Dabei wird der von Containern gemeldete Cache-Status genutzt, um Anfragen weiterzuleiten. AWS zufolge sinkt bei Tests mit langen Prompts unter Last die mediane Zeit bis zum ersten Token um bis zu 97 %, während der Durchsatz gegenüber zufälligem Routing um 234 % steigt.

Der KV-Cache hält bereits berechnete Prompt-Daten im GPU-Speicher vor, sodass ein Modell sie wiederverwenden kann, anstatt die anfängliche Verarbeitung – das sogenannte Prefill – übereinstimmender Eingabetoken zu wiederholen. Deshalb ist es wichtig, wo der Cache liegt: bei Chat-Assistenten, Retrieval-Augmented Generation und Agenten mit langen System-Prompts. Wird eine Anfrage an eine andere Instanz gesendet, muss diese den Kontext möglicherweise erneut berechnen, obwohl er bereits auf einer anderen GPU vorliegt.

Routing anhand des gemeldeten Cache-Status

Die bisherige prefixbasierte Strategie von SageMaker AI leitet den Cache-Standort anhand eines festen Anfragepräfixes ab. Sie kann keine Cache-Verdrängungen erkennen. Außerdem können frühe Gesprächsbeiträge in einer wachsenden Unterhaltung unterschiedlich gehasht und auf getrennten Instanzen verarbeitet werden. Das KV-Cache-bewusste Routing nutzt stattdessen Ereignisse aus dem Modellcontainer, sobald Cache-Einträge gespeichert oder verdrängt werden.

Der Dienst verwaltet einen Index, der einseitig gekürzte Hashwerte Instanzen oder Kopien von Inferenzkomponenten zuordnet, statt Prompts, Token-IDs, Anfrageinhalte oder KV-Tensoren zu speichern. Jeder eingehende Prompt wird tokenisiert und mit diesem Index abgeglichen. Der Endpunkt wägt den längsten Cache-Treffer gegen die Auslastung der Instanzen ab und überspringt überlastete Kandidaten.

Dauert die Suche zu lange, gibt es keinen brauchbaren Treffer oder sind alle passenden Instanzen ausgelastet, wird die Anfrage nach dem Verfahren mit den wenigsten ausstehenden Anfragen weitergeleitet und dennoch verarbeitet. Beim Herunterskalieren werden Indexeinträge für entfernte Instanzen gelöscht. Neue oder ersetzte Instanzen starten mit leeren Caches, was vorübergehend den Wiederaufbau des Caches und Latenz beim Kaltstart mit sich bringen kann.

Leistungsgewinne im Benchmark und Routing-Overhead

AWS zufolge liefen die 30-minütigen Tests mit Llama 3.1 70B Instruct auf sieben ml.p5.48xlarge-Instanzen. Dabei kamen 20 oder 100 simulierte Nutzer, mehrteilige Chats und Sitzungen zur Beantwortung von Dokumentfragen zum Einsatz; die Prompts umfassten bis zu etwa 64.000 Token. Die Cache-Trefferrate stieg mit KV-Cache-bewusstem Routing von 3–48 % bei zufälligem Routing auf 80–93 %. Die Ergebnisse hängen von der jeweiligen Arbeitslast ab. Am geringsten profitierten kurze Prompts, da bei ihnen weniger Prefill-Berechnungen wiederverwendet werden können.

Die Routing-Suche verursacht zusätzlichen Aufwand für die Tokenisierung und Verarbeitung des Index: Bei kurzen Prompts dauert sie einige Millisekunden, bei längeren mehr. Bei standardmäßigen reinen Textanfragen werden die berechneten Token an das Modell weitergegeben, sodass keine zweite Tokenisierung erforderlich ist. In einem separaten Vergleich von AWS mit zwei Instanzen lag die durchschnittliche CloudWatch OverheadLatency bei Qwen3-4B-Instruct-2507 mit KV-Cache-bewusstem Routing um 14 bis 19 Millisekunden höher. Diese Kennzahl misst die Zeit, die SageMaker AI außerhalb des Modellcontainers benötigt. Gleichzeitig verbesserten sich jedoch die Modelllatenz und die Zeit bis zum ersten Token.

Voraussetzungen für die Bereitstellung und Einblick in den Betrieb

Zum Start setzt die Funktion den AWS vLLM Deep Learning Container für SageMaker AI mit vLLM 0.33.0 oder höher oder den Amazon Linux- server-sagemaker-cuda-v2.8.0 Build oder höher voraus. Prefix-Caching und KV-Cache-Ereignisse müssen aktiviert sein. Kunden legen SM_VLLM_KV_EVENTS_CONFIG für das Modell und RoutingStrategy auf KV_AWARE in der Produktionsvariante fest, ohne die Client-Aufrufe zu ändern.

Die Funktion unterstützt GPU-basierte Echtzeit-Endpunkte für Einzelmodelle und Inferenzkomponenten, einschließlich dynamischer Low-Rank-Adaptation-Adapter. Für das Routing sind bei einem Einzelmodell-Endpunkt mindestens zwei Instanzen oder bei Inferenzkomponenten zwei Kopien erforderlich. Gibt es nur ein Ziel, hat die Einstellung keine Auswirkungen auf das Routing. Anfragen müssen über unterstützte Aufruf-APIs OpenAI-kompatible Completions- oder Chat-Completions-Payloads verwenden, und InvokeEndpointWithBidirectionalStream wird nicht unterstützt.

Das KV-Cache-bewusste Routing bietet zum Start weder eigene Metriken noch Routing-Entscheidungsprotokolle für Kundenkonten. Auch Ausweichlösungen werden weder in der SageMaker-AI-Konsole noch in den Metriken angezeigt. Kunden können usage.prompt_tokens_details.cached_tokens nach Aktivierung der Details zu Prompt-Token einsehen und Container-Metriken wie die Cache-Trefferrate und die Zeit bis zum ersten Token mithilfe detaillierter Observability und CloudWatch überwachen.

Die Funktion ist in allen kommerziellen AWS-Regionen verfügbar, die SageMaker-AI-Echtzeitinferenz mit einem unterstützten Container anbieten. Über die Kosten für die Instanzen des Endpunkts hinaus fallen keine zusätzlichen Gebühren an. AWS beschreibt das prefixbasierte Routing weiterhin als die einfachere Option für stabile, gemeinsam genutzte Prompts, kurze Kontexte und moderate Auslastung. Das KV-Cache-bewusste Routing eignet sich für längere, wiederverwendbare Kontexte, hohen Speicherdruck und häufige Cache-Verdrängungen. Damit ergibt sich für jede Arbeitslast ein konkreter Zielkonflikt auf Infrastrukturebene: eingesparte GPU-Prefill-Berechnungen gegenüber zusätzlichem Routing-Aufwand pro Anfrage.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.