KI-Modelle und Plattformen

AWS ergänzt SageMaker HyperPod Inference um verwaltetes NVIDIA Dynamo

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteDynamos disaggregierte Topologie ermöglicht es Prefill- und Decode-Pools, unabhängig zu…
Mehr anzeigen
  • Dynamos disaggregierte Topologie ermöglicht es Prefill- und Decode-Pools, unabhängig zu skalieren, während beide weiterhin die vollständigen Modellgewichte laden.
  • Der Durchsatzgewinn von AWS um das 2,05-Fache vergleicht latenzbeschränkte Ergebnisse bei unterschiedlichen Parallelitätsstufen statt uneingeschränkte Maxima.
  • Managed HyperPod automatisiert Koordination und Wiederherstellung, überlässt jedoch Topologie- und GPU-Zuweisungsabwägungen dem gemessenen Workload-Verhalten.

Amazon Web Services gab am 17. November 2026 bekannt, dass Amazon SageMaker HyperPod Inference jetzt NVIDIA Dynamo für verwaltetes Serving von Modellen über mehrere Knoten und disaggregiertes Serving unterstützt. Gleichzeitig wurden Benchmark-Ergebnisse veröffentlicht, die unter den Latenzvorgaben von AWS das 2,05-Fache des höchsten qualifizierenden aggregierten Durchsatzes bei Ausgabetokens pro GPU zeigen.

Die Erweiterung zielt auf zwei Einschränkungen beim Serving großer Sprachmodelle ab: Zum einen müssen Modellgewichte und der wiederverwendbare Key-Value-Cache (KV-Cache) in den GPU-Speicher passen; zum anderen darf die Verarbeitung langer Prompts die Token-Generierung nicht verlangsamen, wenn beide Aufgaben dieselben GPUs nutzen. AWS veranschaulicht den Speicherdruck am Beispiel von GLM-5.3, dessen 8-Bit-Gleitkommagewichte (FP8) allein die 640 GB GPU-Speicher auf einer ml.p5.48xlarge Instanz überschreiten, noch bevor KV-Cache und Laufzeit-Overhead berücksichtigt werden.

HyperPod stellt die verwaltete Infrastruktur für das Framework bereit: Elastic Fabric Adapter (EFA)-Netzwerk, koordinierte GPU-Planung, Zustandsüberwachung von Knoten, GPUs und EFA sowie den Austausch von Knoten. HyperPod übernimmt diesen Austausch, während die Orchestrierungskomponenten die betroffenen Worker neu erstellen.

Disaggregiertes Serving und KV-Cache-bewusstes Routing

Dynamo ist ein quelloffenes, verteiltes Inferenz-Framework, das mit vLLM, SGLang und TensorRT-LLM zusammenarbeitet. Bei seiner disaggregierten Topologie leitet ein Frontend Anfragen an Prefill-Worker weiter, die Prompts verarbeiten, und an Decode-Worker, die Tokens generieren. Diese Worker-Pools lassen sich unabhängig voneinander skalieren und abstimmen, laden jedoch beide die vollständigen Modellgewichte; der KV-Cache wird über EFA zwischen ihnen übertragen.

Beim aggregierten Serving laufen beide Phasen im selben Worker. Bei beiden Topologien können Worker auf einer einzelnen Instanz laufen oder sich mithilfe von Tensor- und Pipeline-Parallelität über mehrere Instanzen erstrecken, um das Modell auf mehrere GPUs aufzuteilen. Dynamos KV-Cache-bewusster Router berücksichtigt wiederverwendbare Präfix-Caches und die aktuelle Auslastung der Worker. Laut AWS kann die Wiederverwendung von Präfixen erneute Prompt-Berechnungen verringern und die Zeit bis zum ersten Token verkürzen. Die Berücksichtigung der Auslastung hilft zugleich, eine Überlastung einzelner Worker zu vermeiden.

Benchmarks unter Latenzvorgaben

Beim Vergleich von Qwen3-235B-A22B-FP8 kamen Dynamo und TensorRT-LLM auf zwei p5en.48xlarge Instanzen mit insgesamt 16 H200-GPUs zum Einsatz. AIPerf erzeugte Anfragen mit 4.000 Eingabetokens und 200 Ausgabetokens. AWS berücksichtigte nur Messwerte, bei denen die Zeit bis zum ersten Token im 90. Perzentil unter einer Sekunde lag und die mediane Generierungsgeschwindigkeit mindestens 50 Tokens pro Sekunde und Nutzer betrug.

AWS zufolge erreichte das disaggregierte Serving bei einer Parallelität von 80 einen Durchsatz von 207 Ausgabetokens pro Sekunde und GPU. Das höchste qualifizierende Ergebnis des aggregierten Servings lag bei einer Parallelität von 32 bei 101. Der Vergleich bezieht sich daher auf den Durchsatz unter Latenzvorgaben bei unterschiedlichen Parallelitätsgraden und nicht auf einen uneingeschränkten maximalen Durchsatz der beiden Topologien.

Bei einem separaten Test mit Qwen3.5-397B-A17B-FP8 wurden Dynamo und vLLM verwendet, um acht H200-GPUs auf einer einzelnen p5en.48xlarge Instanz mit jeweils vier GPUs auf zwei Instanzen zu vergleichen. Modell, Parallelität und Workload-Konfiguration blieben dabei gleich. AWS meldete für die Konfiguration mit zwei Knoten bei einer Parallelität von 32 und hoher Präfix-Wiederverwendung einen Durchsatz von 126,4 Ausgabetokens pro Sekunde und GPU, also 99,1 % des Durchsatzes mit einem Knoten. Das Modell passt auf eine Instanz und würde in der Praxis normalerweise nicht aufgeteilt. Der Test diente daher als kontrollierter Ausgangswert, um die Auswirkungen des Überschreitens einer Knotengrenze auf den Durchsatz zu messen.

Verwaltete Konfiguration und Ressourcenplanung

Nutzern stehen zwei Konfigurationswege offen. Bestehende Dynamo-Nutzer können ein DynamoGraphDeployment Manifest mit einer Beschreibung des Serving-Graphen mitbringen und Speicher, Netzwerk, Pod-Platzierung, Endpunkte, TLS, Registrierung und automatische Skalierung selbst verwalten. Der InferenceEndpointConfig Pfad nutzt dynamoSpec für die Einrichtung verwalteter Endpunkte sowie Kubernetes Event-driven Autoscaling (KEDA) für beide Serving-Topologien. Standardmäßig kommt vLLM zum Einsatz; außerdem werden Vorgabewerte für KV-Cache-bewusstes Routing und die Anzahl der Replikate bereitgestellt. Über SageMaker-Endpunkte wird eine OpenAI-kompatible Schnittstelle unterstützt.

Das Add-on installiert Dynamos benutzerdefinierte Ressourcendefinitionen sowie Serving- und Planungskomponenten; die Laufzeitumgebung wird von AWS Deep Learning Containers bereitgestellt. Beim verwalteten Konfigurationsweg stellt der HyperPod Inference Operator die Modellgewichte aus Amazon S3 oder FSx bereit und erzeugt die DynamoGraphDeployment. Grove koordiniert zusammengehörige Pod-Gruppen, während der KAI Scheduler mit Gang Scheduling dafür sorgt, dass die Pods jedes Worker-Knotens mit mehreren Instanzen gemeinsam platziert werden. Um eine unterstützte Dynamo-Version einzuführen, muss das Add-on aktualisiert werden.

Das GLM-5.3-Beispiel von AWS veranschaulicht die Entscheidung über die GPU-Zuteilung. Bei der aggregierten Konfiguration läuft ein einzelnes Modell-Worker-Replikat über zwei ml.p5.48xlarge Instanzen mit 16-facher Tensor-Parallelität und zwei Frontend-Replikaten. Die disaggregierte Variante umfasst ein Prefill-Replikat und zwei Decode-Replikate, die sich jeweils über zwei Instanzen erstrecken; insgesamt werden sechs Instanzen genutzt. Die unterschiedlichen Replikatzahlen zeigen, wie einer Bereitstellung unterschiedlich viel Kapazität für die Prompt-Verarbeitung und die Token-Generierung zugewiesen werden kann, statt einen einzigen kombinierten Pool zu skalieren.

AWS empfiehlt, die EFA-Kommunikation vor dem Benchmarking zu überprüfen, repräsentative Prompt- und Ausgabelängen sowie die Wiederverwendung von Präfixen zu testen, die Parallelität im Hinblick auf Service-Level-Ziele systematisch zu variieren und Topologie sowie Worker-Zuweisung anhand der gemessenen Engpässe abzustimmen, bevor Änderungen an den Engine-Einstellungen vorgenommen werden.

HyperPod übernimmt inzwischen mehr Koordinations- und Wiederherstellungsaufgaben. Die Benchmark-Bedingungen und Bereitstellungsbeispiele zeigen jedoch, dass der verwaltete Betrieb die Zielkonflikte beim Inferenzbetrieb nicht beseitigt. Die passende Konfiguration hängt weiterhin vom gemessenen Verhalten bei Prompts und Generierung, von der GPU-Zuweisung zwischen den Worker-Pools sowie von den Latenz- und Kostenprioritäten der jeweiligen Workload ab.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.