AI-modeller og platforme
AWS føjer administreret NVIDIA Dynamo til SageMaker HyperPod Inference

NøglepunkterDynamos disaggregatede topologi lader prefill- og decode-puljer skalere uafhængigt…
Vis mere
- Dynamos disaggregatede topologi lader prefill- og decode-puljer skalere uafhængigt, mens begge stadig indlæser fulde modelvægte.
- AWS's gennemstrømningsforbedring på 2,05 gange sammenligner latensbegrænsede resultater ved forskellige samtidighedsniveauer frem for ubegrænsede maksima.
- Managed HyperPod automatiserer koordinering og genopretning, men overlader afvejninger mellem topologi og GPU-tildeling til målt arbejdsbelastningsadfærd.
Amazon Web Services meddelte den 17. november 2026, at Amazon SageMaker HyperPod Inference nu understøtter NVIDIA Dynamo til administreret modelservering på flere noder og opdelt modelservering. Samtidig offentliggjorde AWS benchmarkresultater, der viser en 2,05 gange højere gennemstrømning af outputtokens pr. GPU end det højeste kvalificerende resultat for samlet modelservering inden for AWS’ latenstidsmål.
Tilføjelsen imødekommer to begrænsninger ved servering af store sprogmodeller: at få plads til modellens vægte og den genanvendelige nøgle-værdi-cache (KV-cache) i GPU-hukommelsen og at undgå, at behandling af lange prompts forsinker genereringen af tokens, når begge dele bruger de samme GPU’er. AWS illustrerer presset på hukommelsen med GLM-5.3, hvis 8-bit flydende komma-vægte (FP8) alene fylder mere end de 640 GB GPU-hukommelse på én ml.p5.48xlarge instans, før der medregnes KV-cache og kørselsmiljøets overhead.
HyperPod leverer den administrerede infrastruktur omkring rammeværket: netværk med Elastic Fabric Adapter (EFA), koordineret GPU-planlægning, sundhedsovervågning af noder, GPU’er og EFA samt udskiftning af noder. HyperPod håndterer udskiftningen, mens orkestreringskomponenterne genopretter de berørte arbejdere.
Opdelt modelservering og KV-bevidst routing
Dynamo er et distribueret inferensrammeværk med åben kildekode, der fungerer sammen med vLLM, SGLang og TensorRT-LLM. Den opdelte topologi bruger en frontend til at dirigere anmodninger til arbejdere, der behandler prompts, og arbejdere, der dekoder og genererer tokens. De to puljer kan skaleres og finjusteres uafhængigt af hinanden, men begge indlæser hele modellens vægte; KV-cachen flyttes mellem dem via EFA.
Ved samlet modelservering kører begge trin i den samme arbejder. I begge topologier kan arbejderne køre på én instans eller strække sig over flere instanser ved hjælp af tensor- og pipelineparallelisme, som fordeler modellen på tværs af GPU’er. Dynamos KV-bevidste router tager højde for genanvendelig præfikscache og belastningen på aktive arbejdere. Ifølge AWS kan genbrug af præfikser mindske behovet for at genberegne prompts og forbedre tiden til første token, mens belastningsbevidsthed hjælper med at undgå at overbelaste enkelte arbejdere.
Benchmarks med latenstidsbegrænsninger
Sammenligningen af Qwen3-235B-A22B-FP8 brugte Dynamo og TensorRT-LLM på to p5en.48xlarge instanser med i alt 16 H200-GPU’er. AIPerf genererede anmodninger med 4.000 inputtokens og 200 outputtokens. AWS medtog kun målte resultater, hvor tiden til første token ved 90-percentilen var under ét sekund, og den mediane genereringshastighed var mindst 50 tokens pr. sekund pr. bruger.
AWS oplyste, at opdelt modelservering nåede 207 outputtokens pr. sekund pr. GPU ved en samtidighed på 80, sammenlignet med 101 ved en samtidighed på 32 for det højeste kvalificerende resultat for samlet modelservering. Sammenligningen gælder derfor gennemstrømning under latenstidsbegrænsninger ved forskellige samtidighedsniveauer, ikke en ubegrænset maksimal gennemstrømning for nogen af topologierne.
En separat test af Qwen3.5-397B-A17B-FP8 brugte Dynamo og vLLM til at sammenligne otte H200-GPU’er på én p5en.48xlarge instans med fire GPU’er på hver af to instanser, mens modellen, parallelismen og konfigurationen af arbejdsbelastningen blev holdt uændret. AWS rapporterede 126,4 outputtokens pr. sekund pr. GPU for opsætningen med to noder, svarende til 99,1 % af gennemstrømningen på én node, ved en samtidighed på 32 og høj grad af præfiksgenbrug. Modellen kan være på én instans og ville normalt ikke blive fordelt på flere instanser i praksis, så testen fungerede som et kontrolleret udgangspunkt for at måle gennemstrømningseffekten af at krydse en nodegrænse.
Administreret konfiguration og ressourceplanlægning
Brugerne kan vælge mellem to konfigurationsmuligheder. Eksisterende Dynamo-brugere kan medbringe et DynamoGraphDeployment manifest, der beskriver serveringsgrafen, og selv administrere lager, netværk, placering af pods, endpoints, TLS, registrering og automatisk skalering. Den InferenceEndpointConfig administrerede løsning bruges dynamoSpec til opsætning af administrerede endpoints og Kubernetes Event-driven Autoscaling (KEDA) til begge serveringstopologier. Den bruger som standard vLLM, angiver standardværdier for KV-bevidst routing og antal replikaer og understøtter en OpenAI-kompatibel grænseflade via SageMaker-endpoints.
Tilføjelsesprogrammet installerer Dynamos brugerdefinerede ressourcedefinitioner samt komponenter til servering og planlægning, mens AWS Deep Learning Containers leverer kørselsmiljøet. På den administrerede løsning klargør HyperPod Inference Operator vægte fra Amazon S3 eller FSx og genererer DynamoGraphDeployment. Grove koordinerer relaterede pod-grupper, mens KAI Scheduler bruger gang-planlægning, så alle pods for hver arbejder med flere noder placeres samlet. Hvis man vil anvende en understøttet Dynamo-version, skal tilføjelsesprogrammet opdateres.
AWS’ eksempel med GLM-5.3 konkretiserer valget af GPU-allokering. Den samlede konfiguration kører én modelarbejderreplika på tværs af to ml.p5.48xlarge instanser med 16-vejs tensorparallelisme og to frontend-replikaer. Den opdelte variant konfigurerer én replika til promptbehandling og to dekodningsreplikaer, der hver strækker sig over to instanser, altså seks instanser i alt. De separate replikaantal viser, hvordan en implementering kan afsætte forskellige mængder kapacitet til promptbehandling og generering af tokens i stedet for at skalere én samlet pulje.
AWS anbefaler at kontrollere EFA-kommunikationen før benchmarking, teste repræsentative promptlængder, outputlængder og genbrug af præfikser, afprøve forskellige niveauer af samtidighed op mod servicemål og justere topologi og fordeling af arbejdere ud fra målte flaskehalse, før indstillingerne for inferensmotoren ændres.
HyperPod håndterer nu mere af arbejdet med koordinering og genoprettelse, men benchmarkbetingelserne og implementeringseksemplerne viser, at administreret drift ikke fjerner afvejningerne ved modelafvikling. Den hensigtsmæssige konfiguration afhænger stadig af den målte adfærd for prompts og generering, GPU-fordelingen mellem arbejderpuljer samt arbejdsbelastningens prioriteter med hensyn til latenstid og omkostninger.












