AI-modeller og plattformer
AWS legger til administrert NVIDIA Dynamo i SageMaker HyperPod Inference

Viktige punkterDynamos desagregerte topologi lar prefill- og decode-pooler skalere uavhengig mens…
Vis mer
- Dynamos desagregerte topologi lar prefill- og decode-pooler skalere uavhengig mens begge fortsatt laster inn fulle modellvekter.
- AWS sin gjennomstrømningsgevinst på 2,05 ganger sammenligner latensbegrensede resultater ved ulike samtidighetsnivåer i stedet for ubegrensede maksima.
- Administrert HyperPod automatiserer koordinering og gjenoppretting, men overlater avveininger mellom topologi og GPU-tildeling til målt arbeidsbelastningsatferd.
Amazon Web Services kunngjorde 17. november 2026 at Amazon SageMaker HyperPod Inference nå støtter NVIDIA Dynamo for administrert modellservering på flere noder og disaggregert modellservering. Samtidig ble det lagt fram måleresultater som viser 2,05 ganger den høyeste kvalifiserende gjennomstrømningen av utdata-tokens per GPU for aggregert servering, innenfor AWS’ latenstidsmål.
Tillegget løser to utfordringer ved servering av store språkmodeller: å få plass til modellvekter og den gjenbrukbare nøkkel-verdi-hurtigbufferen (KV-hurtigbufferen) i GPU-minnet, og å hindre at behandling av lange ledetekster forsinker genereringen av tokens når begge deler bruker de samme GPU-ene. AWS illustrerer minnepresset med GLM-5.3, der vektene med 8-bits flyttallspresisjon (FP8) alene krever mer enn 640 GB GPU-minne på én ml.p5.48xlarge instans, før KV-hurtigbufferen og kjøretidsoverhead tas med i beregningen.
HyperPod leverer den administrerte infrastrukturen rundt rammeverket: nettverk med Elastic Fabric Adapter (EFA), koordinert GPU-planlegging, helsetilstandsovervåking av noder, GPU-er og EFA, samt utskifting av noder. HyperPod håndterer utskiftingen mens orkestreringskomponentene oppretter de berørte arbeiderne på nytt.
Disaggregert servering og KV-bevisst ruting
Dynamo er et distribuert rammeverk for inferens med åpen kildekode som fungerer med vLLM, SGLang og TensorRT-LLM. Den disaggregaterte topologien bruker en frontend til å rute forespørsler til prefill-arbeidere, som behandler ledetekster, og decode-arbeidere, som genererer tokens. Disse ressursgruppene kan skaleres og finjusteres uavhengig av hverandre, men begge laster inn alle modellvektene. KV-hurtigbufferen flyttes mellom dem over EFA.
Ved aggregert servering kjører begge trinnene i samme arbeider. I begge topologiene kan arbeiderne kjøre på én instans eller fordeles over flere instanser ved hjelp av tensor- og pipeline-parallellisering, som fordeler modellen over flere GPU-er. Dynamos KV-bevisste ruter tar hensyn til gjenbrukbar prefikshurtigbuffer og belastningen på aktive arbeidere. Ifølge AWS kan gjenbruk av prefikser redusere behovet for å beregne ledetekster på nytt og forkorte tiden til første token, mens belastningsbevisst ruting bidrar til å unngå overbelastning av enkeltarbeidere.
Målinger med latenstidsbegrensninger
Sammenligningen av Qwen3-235B-A22B-FP8 brukte Dynamo og TensorRT-LLM på to p5en.48xlarge instanser, med til sammen 16 H200-GPU-er. AIPerf genererte forespørsler med 4 000 inndatatokens og 200 utdata-tokens. AWS tok bare med målepunkter der 90-persentilen for tiden til første token var under ett sekund, og den mediane genereringshastigheten var minst 50 tokens per sekund per bruker.
AWS rapporterte at disaggregert servering nådde 207 utdata-tokens per sekund per GPU ved samtidighetsnivå 80, mot 101 ved samtidighetsnivå 32 for det høyeste kvalifiserende resultatet med aggregert servering. Sammenligningen gjelder dermed gjennomstrømning under latenstidsbegrensninger ved ulike samtidighetsnivåer, ikke en ubegrenset maksimal gjennomstrømning for noen av topologiene.
I en separat test med Qwen3.5-397B-A17B-FP8 brukte AWS Dynamo og vLLM til å sammenligne åtte H200-GPU-er på én p5en.48xlarge instans med fire GPU-er på hver av to instanser, mens modellen, parallelliseringen og arbeidsbelastningskonfigurasjonen ble holdt uendret. AWS rapporterte 126,4 utdata-tokens per sekund per GPU for oppsettet med to noder, tilsvarende 99,1 % av gjennomstrømningen på én node, ved samtidighetsnivå 32 og høy grad av prefiksgjenbruk. Modellen får plass på én instans og ville vanligvis ikke blitt fordelt på flere instanser i praksis. Testen fungerte derfor som et kontrollert utgangspunkt for å måle hvordan det å krysse en nodegrense påvirker gjennomstrømningen.
Administrert konfigurasjon og ressursplanlegging
Brukerne har to konfigurasjonsalternativer. Eksisterende Dynamo-brukere kan ta med et DynamoGraphDeployment manifest som beskriver serveringsgrafen, og selv administrere lagring, nettverk, plassering av podder, endepunkter, TLS, registrering og automatisk skalering. Den InferenceEndpointConfig administrerte løsningen bruker dynamoSpec til administrert oppsett av endepunkter og Kubernetes Event-driven Autoscaling (KEDA) for begge serveringstopologiene. Standardvalget er vLLM, og løsningen har standardinnstillinger for KV-bevisst ruting og antall replikaer. Den støtter også et OpenAI-kompatibelt grensesnitt via SageMaker-endepunkter.
Tillegget installerer Dynamos egendefinerte ressursdefinisjoner og komponenter for servering og planlegging, mens AWS Deep Learning Containers leverer kjøretidsmiljøet. Med den administrerte løsningen klargjør HyperPod Inference Operator modellvekter fra Amazon S3 eller FSx og genererer DynamoGraphDeployment. Grove koordinerer relaterte pod-grupper, mens KAI Scheduler bruker gang-planlegging slik at poddene til hver arbeider som strekker seg over flere noder, plasseres samlet. For å ta i bruk en støttet Dynamo-versjon må tillegget oppdateres.
AWS’ eksempel med GLM-5.3 konkretiserer valget av GPU-fordeling. Den aggregerte konfigurasjonen kjører én modellarbeiderreplika fordelt over to ml.p5.48xlarge instanser med 16-veis tensorparallellisering og to frontend-replikaer. Den disaggregaterte varianten konfigurerer én prefill-replika og to decode-replikaer, som hver strekker seg over to instanser, altså seks instanser til sammen. De separate replikaantallene viser hvordan en utrulling kan sette av ulik kapasitet til behandling av ledetekster og generering av tokens, i stedet for å skalere én samlet ressursgruppe.
AWS anbefaler å kontrollere EFA-kommunikasjonen før benchmarking, teste representative promptlengder, utdatalengder og gjenbruk av prefikser, prøve ulike nivåer av samtidighet opp mot tjenestenivåmålene og justere topologien og fordelingen av arbeidere ut fra målte flaskehalser før motorinnstillingene endres.
HyperPod håndterer nå mer av koordinerings- og gjenopprettingsarbeidet, men benchmarkforholdene og eksemplene på utrulling viser at administrert drift ikke fjerner avveiningene ved modellservering. Den mest hensiktsmessige konfigurasjonen avhenger fortsatt av målt prompt- og genereringsatferd, GPU-fordelingen mellom arbeidergruppene og arbeidslastens prioriteringer når det gjelder latens og kostnader.












