AI-modeller och plattformar

AWS lägger till hanterat NVIDIA Dynamo i SageMaker HyperPod Inference

Theo Nash
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterDynamos disaggregaterade topologi låter prefill- och decode-pooler skalas oberoende av…
Visa mer
  • Dynamos disaggregaterade topologi låter prefill- och decode-pooler skalas oberoende av varandra medan båda fortfarande laddar fulla modellvikter.
  • AWS:s genomströmningsökning på 2,05 gånger jämför latensbegränsade resultat vid olika samtidighetsnivåer snarare än obegränsade maxvärden.
  • Hanterad HyperPod automatiserar samordning och återställning men lämnar avvägningar mellan topologi och GPU-allokering till uppmätt arbetsbelastningsbeteende.

Amazon Web Services meddelade den 17 november 2026 att Amazon SageMaker HyperPod Inference nu stöder NVIDIA Dynamo för hanterad modellservering över flera noder och med uppdelad arkitektur, samtidigt som benchmarkresultat visade 2,05 gånger den högsta godkända aggregerade genomströmningen av utdatatoken per GPU inom AWS:s latensmål.

Tillägget hanterar två begränsningar vid servering av stora språkmodeller: att få plats med modellvikterna och den återanvändbara nyckel-värdecachen (KV-cachen) i GPU-minnet, och att förhindra att bearbetning av långa promptar gör tokengenereringen långsammare när båda delar GPU:er. AWS illustrerar minnesbelastningen med GLM-5.3, vars vikter med 8-bitars flyttalsprecision (FP8) ensamma överskrider de 640 GB GPU-minne som finns på en ml.p5.48xlarge instans, innan KV-cache och körningsöverlagring räknas in.

HyperPod tillhandahåller den hanterade infrastrukturen runt ramverket: nätverk med Elastic Fabric Adapter (EFA), samordnad GPU-schemaläggning, hälsoövervakning av noder, GPU:er och EFA samt ersättning av noder. HyperPod hanterar ersättningen medan orkestreringskomponenterna återskapar de berörda arbetarna.

Uppdelad servering och KV-medveten dirigering

Dynamo är ett distribuerat ramverk för inferens med öppen källkod som fungerar med vLLM, SGLang och TensorRT-LLM. Den uppdelade arkitekturen använder en frontend för att dirigera förfrågningar till prefill-arbetare, som bearbetar promptar, och avkodningsarbetare, som genererar token. Dessa pooler kan skalas och finjusteras oberoende av varandra, men båda läser in hela modellvikterna; KV-cachen flyttas mellan dem via EFA.

Vid aggregerad servering körs båda stegen i samma arbetare. I båda arkitekturerna kan arbetare köras på en enda instans eller sträcka sig över flera instanser, med tensor- och pipelineparallellism för att fördela modellen över GPU:er. Dynamos KV-medvetna router tar hänsyn till återanvändbar prefixcache och den aktuella belastningen på arbetarna. Enligt AWS kan återanvändning av prefix minska behovet av att bearbeta promptar på nytt och förbättra tiden till första token, medan belastningsmedvetenhet bidrar till att undvika att enskilda arbetare överbelastas.

Benchmarktester med latensbegränsningar

Jämförelsen av Qwen3-235B-A22B-FP8 använde Dynamo och TensorRT-LLM på två p5en.48xlarge instanser, med totalt 16 H200-GPU:er. AIPerf genererade förfrågningar med 4 000 indatatoken och 200 utdatatoken. AWS behöll endast mätpunkter där den 90:e percentilen för tiden till första token var under en sekund och den medianbaserade genereringshastigheten var minst 50 token per sekund och användare.

AWS rapporterade att uppdelad servering nådde 207 utdatatoken per sekund per GPU vid samtidighetsnivån 80, jämfört med 101 vid samtidighetsnivån 32 för det högsta godkända resultatet med aggregerad servering. Jämförelsen gäller alltså genomströmning under latensbegränsningar vid olika samtidighetsnivåer, inte en obegränsad maximal genomströmning för någon av arkitekturerna.

I ett separat test med Qwen3.5-397B-A17B-FP8 användes Dynamo och vLLM för att jämföra åtta H200-GPU:er på en p5en.48xlarge instans med fyra GPU:er på vardera av två instanser, medan modellen, parallellismen och arbetsbelastningens konfiguration hölls oförändrade. AWS rapporterade 126,4 utdatatoken per sekund per GPU för konfigurationen med två noder, motsvarande 99,1 % av genomströmningen på en enda nod, vid samtidighetsnivån 32 och hög prefixåteranvändning. Modellen får plats på en instans och skulle normalt inte delas upp i praktiken, så testet fungerade som en kontrollerad baslinje för hur genomströmningen påverkas av att korsa en nodgräns.

Hanterad konfiguration och resursplanering

Användarna har två konfigurationsalternativ. Befintliga Dynamo-användare kan tillhandahålla ett DynamoGraphDeployment manifest som beskriver serveringsgrafen och själva hantera lagring, nätverk, placering av poddar, slutpunkter, TLS, registrering och automatisk skalning. Den InferenceEndpointConfig vägen använder dynamoSpec för konfiguration av hanterade slutpunkter och Kubernetes Event-driven Autoscaling (KEDA) för båda serveringsarkitekturerna. Standardinställningen är vLLM, och lösningen har standardvärden för KV-medveten dirigering och antal repliker samt stöd för ett OpenAI-kompatibelt gränssnitt via SageMaker-slutpunkter.

Tillägget installerar Dynamos anpassade resursdefinitioner samt komponenter för servering och schemaläggning, medan AWS Deep Learning Containers tillhandahåller körmiljön. Med det hanterade alternativet förbereder HyperPod Inference Operator vikterna från Amazon S3 eller FSx och genererar DynamoGraphDeployment. Grove samordnar relaterade poddgrupper, medan KAI Scheduler använder gruppschemaläggning så att varje arbetare med flera noder får sina poddar placerade tillsammans. För att använda en version av Dynamo som stöds måste tillägget uppdateras.

AWS:s exempel med GLM-5.3 visar konkret hur GPU:er kan fördelas. Den aggregerade konfigurationen kör en replik av en modellworker över två ml.p5.48xlarge instanser med 16-vägs tensorparallellism och två frontend-repliker. Den uppdelade varianten konfigurerar en prefill-replik och två avkodningsrepliker, som vardera sträcker sig över två instanser, vilket ger totalt sex instanser. Det separata antalet repliker visar hur en driftsättning kan avsätta olika mycket kapacitet för promptbearbetning och tokengenerering i stället för att skala en enda kombinerad pool.

AWS rekommenderar att EFA-kommunikationen verifieras före prestandamätning, att representativa promptlängder, utdatalängder och återanvändning av prefix testas, att olika nivåer av samtidighet provas mot tjänstemålen samt att topologin och fördelningen av arbetare finjusteras utifrån uppmätta flaskhalsar innan motorinställningarna ändras.

HyperPod hanterar nu mer av samordningen och återställningen, men riktlinjerna för prestandamätning och distributionsexemplen visar att en hanterad drift inte undanröjer avvägningarna vid modellservering. Den lämpliga konfigurationen beror fortfarande på uppmätt beteende vid promptbearbetning och generering, hur GPU-resurserna fördelas mellan arbetargrupperna samt arbetslastens prioriteringar när det gäller svarstid och kostnad.

Theo Nash är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, som täcker AI‑infrastruktur, beräkning och hårdvarusystemen som driver modern artificiell intelligens. Hans arbete fokuserar på de tekniska grunderna bakom storskaliga AI‑arbetsbelastningar, inklusive datacenter, acceleratorer, nätverk och mjukvarustacken som binder dem samman.

Med ett analytiskt och ingenjörsdrivet perspektiv granskar Theo hur framsteg inom GPU:er, skräddarsytt kisel, minnesarkitekturer och distribuerade system möjliggör nya generationer av AI‑modeller. Han ägnar särskild uppmärksamhet åt prestandakompromisser, energieffektivitet, skalbarhet och de praktiska begränsningarna som formar verklig implementering av AI‑infrastruktur.

Artiklar skrivna av Theo Nash är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa teknisk noggrannhet, tydlighet och ansvarsfull täckning av det snabbt föränderliga AI‑beräkningslandskapet.