AI-modellen en platforms
AWS voegt beheerde NVIDIA Dynamo toe aan SageMaker HyperPod Inference

Belangrijkste puntenDe gedisaggregeerde topologie van Dynamo laat prefill- en decode-pools onafhankelijk…
Meer weergeven
- De gedisaggregeerde topologie van Dynamo laat prefill- en decode-pools onafhankelijk schalen terwijl beide nog steeds volledige modelgewichten laden.
- De doorvoerwinst van 2,05 keer van AWS vergelijkt latentiebeperkte resultaten bij verschillende gelijktijdigheidsniveaus in plaats van onbeperkte maxima.
- Beheerde HyperPod automatiseert coördinatie en herstel, maar laat topologie- en GPU-toewijzingsafwegingen over aan gemeten workloadgedrag.
Amazon Web Services maakte op 17 november 2026 bekend dat Amazon SageMaker HyperPod Inference nu NVIDIA Dynamo ondersteunt voor beheerde model-serving over meerdere nodes en gedisaggregeerde model-serving. Daarbij werden benchmarkresultaten bekendgemaakt waaruit blijkt dat de hoogste geaggregeerde doorvoer van outputtokens per GPU die aan de latencydoelen van AWS voldoet, 2,05 keer zo hoog is.
Deze toevoeging pakt twee knelpunten aan bij het serveren van grote taalmodellen: de modelgewichten en de herbruikbare key-valuecache (KV-cache) in het GPU-geheugen laten passen, en voorkomen dat de verwerking van lange prompts de tokengeneratie vertraagt wanneer beide dezelfde GPU’s gebruiken. AWS illustreert de geheugendruk aan de hand van GLM-5.3, waarvan alleen de 8-bits drijvende-kommagewichten (FP8) al meer dan 640 GB GPU-geheugen op één ml.p5.48xlarge instantie in beslag nemen, nog voordat de KV-cache en de overhead van de runtime zijn meegerekend.
HyperPod levert de beheerde infrastructuur rond het framework: Elastic Fabric Adapter (EFA)-netwerken, gecoördineerde GPU-planning, gezondheidsbewaking voor nodes, GPU’s en EFA, en vervanging van nodes. HyperPod beheert die vervanging terwijl de orkestratiecomponenten de getroffen workers opnieuw aanmaken.
Gedisaggregeerde serving en KV-cachebewuste routering
Dynamo is een open-source gedistribueerd inferentieframework dat werkt met vLLM, SGLang en TensorRT-LLM. De gedisaggregeerde topologie gebruikt een frontend om aanvragen door te sturen naar prefillworkers, die prompts verwerken, en decodeworkers, die tokens genereren. Deze pools kunnen onafhankelijk van elkaar worden opgeschaald en afgesteld, maar laden allebei de volledige modelgewichten; de KV-cache wordt via EFA tussen beide verplaatst.
Bij geaggregeerde serving voeren beide fasen op dezelfde worker plaats. In beide topologieën kunnen workers op één instantie draaien of over meerdere instanties worden verdeeld, waarbij tensorparallelisme en pipelineparallelisme het model over GPU’s verdelen. Dynamo’s KV-cachebewuste router houdt rekening met herbruikbare prefixcaches en de belasting van actieve workers. Volgens AWS kan hergebruik van prefixes ervoor zorgen dat prompts minder vaak opnieuw hoeven te worden berekend en de tijd tot het eerste token korter wordt, terwijl rekening houden met de belasting helpt voorkomen dat afzonderlijke workers overbelast raken.
Benchmarks met latencybeperkingen
Bij de vergelijking van Qwen3-235B-A22B-FP8 werden Dynamo en TensorRT-LLM gebruikt op twee p5en.48xlarge instanties, samen goed voor 16 H200-GPU’s. AIPerf genereerde aanvragen met 4.000 invoertokens en 200 uitvoertokens. AWS nam alleen meetpunten mee waarbij de tijd tot het eerste token, gemeten op het 90e percentiel, minder dan één seconde bedroeg en de mediane generatiesnelheid ten minste 50 tokens per seconde per gebruiker was.
AWS meldde dat gedisaggregeerde serving bij een gelijktijdigheid van 80 een doorvoer van 207 outputtokens per seconde per GPU haalde, tegenover 101 bij een gelijktijdigheid van 32 voor het hoogste geaggregeerde resultaat dat aan de criteria voldeed. De vergelijking betreft dus de doorvoer onder latencybeperkingen bij verschillende niveaus van gelijktijdigheid, en niet een maximale doorvoer zonder beperkingen voor een van beide topologieën.
Bij een afzonderlijke test met Qwen3.5-397B-A17B-FP8 werden Dynamo en vLLM gebruikt om acht H200-GPU’s op één p5en.48xlarge instantie te vergelijken met vier GPU’s op elk van twee instanties, waarbij het model, de parallelisme-instellingen en de configuratie van de werklast gelijk bleven. AWS rapporteerde voor de opstelling met twee nodes een snelheid van 126,4 outputtokens per seconde per GPU, oftewel 99,1% van de doorvoer op één node, bij een gelijktijdigheid van 32 en veel hergebruik van prefixes. Het model past op één instantie en zou in de praktijk doorgaans niet worden opgesplitst. De test diende daarom als gecontroleerde basislijn om het effect van het overschrijden van een nodegrens op de doorvoer te meten.
Beheerde configuratie en resourceplanning
Gebruikers kunnen kiezen uit twee configuratieroutes. Bestaande Dynamo-gebruikers kunnen een DynamoGraphDeployment manifest aanleveren waarin de serving-grafiek wordt beschreven, en zelf het beheer voeren over opslag, netwerken, plaatsing van pods, endpoints, TLS, registratie en automatisch schalen. De InferenceEndpointConfig route gebruikt dynamoSpec voor het instellen van beheerde endpoints en Kubernetes Event-driven Autoscaling (KEDA) voor beide servingtopologieën. Deze gebruikt standaard vLLM, biedt standaardinstellingen voor KV-cachebewuste routering en aantallen replica’s, en ondersteunt een OpenAI-compatibele interface via SageMaker-endpoints.
De add-on installeert Dynamo’s aangepaste resourcedefinities en componenten voor serving en planning, terwijl AWS Deep Learning Containers de runtime leveren. Op de beheerde route zet de HyperPod Inference Operator de modelgewichten klaar vanuit Amazon S3 of FSx en genereert de DynamoGraphDeployment. Grove coördineert verwante groepen pods, terwijl KAI Scheduler gang scheduling gebruikt om ervoor te zorgen dat de pods van elke worker met meerdere nodes bij elkaar worden geplaatst. Voor de overstap naar een ondersteunde Dynamo-release moet de add-on worden bijgewerkt.
Het GLM-5.3-voorbeeld van AWS maakt de keuze voor de GPU-toewijzing concreet. De geaggregeerde configuratie voert één replica van de modelworker uit over twee ml.p5.48xlarge instanties, met 16-voudig tensorparallelisme en twee frontendreplica’s. De gedisaggregeerde variant configureert één prefillreplica en twee decodereplica’s, die elk over twee instanties zijn verdeeld, in totaal zes instanties. De afzonderlijke aantallen replica’s laten zien hoe een implementatie verschillende hoeveelheden capaciteit kan toewijzen aan promptverwerking en tokengeneratie, in plaats van één gecombineerde pool op te schalen.
AWS raadt aan om de EFA-communicatie te controleren voordat benchmarks worden uitgevoerd, representatieve promptlengtes, uitvoerlengtes en hergebruik van prefixen te testen, de gelijktijdigheid systematisch te variëren in relatie tot de serviceniveaudoelen en de topologie en toewijzing van workers af te stemmen op basis van gemeten knelpunten voordat de engine-instellingen worden aangepast.
HyperPod neemt nu meer coördinatie- en herstelwerk voor zijn rekening, maar de benchmarkomstandigheden en implementatievoorbeelden laten zien dat beheerde werking de afwegingen bij het serveren niet wegneemt. De juiste configuratie blijft afhangen van het gemeten prompt- en generatiegedrag, de verdeling van GPU-capaciteit over de workerpools en de prioriteiten van de workload op het gebied van latentie en kosten.












