Modely a platformy AI

AWS přidává spravované NVIDIA Dynamo do SageMaker HyperPod Inference

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyDynamoova disagregovaná topologie umožňuje, aby se fondy pro prefill a decode škálovaly…
Zobrazit více
  • Dynamoova disagregovaná topologie umožňuje, aby se fondy pro prefill a decode škálovaly nezávisle, přičemž oba stále načítají plné váhy modelu.
  • Zvýšení propustnosti AWS o 2,05násobek srovnává výsledky omezené latencí při různých úrovních souběžnosti, nikoli neomezená maxima.
  • Managed HyperPod automatizuje koordinaci a obnovu, ale ponechává kompromisy v topologii a přidělování GPU na měřeném chování pracovní zátěže.

Amazon Web Services oznámila 17. listopadu 2026, že Amazon SageMaker HyperPod Inference nyní podporuje NVIDIA Dynamo pro spravované poskytování modelů na více uzlech a v oddělené topologii. Zveřejnila také výsledky benchmarků, podle nichž dosáhlo agregované poskytování 2,05násobku nejvyšší propustnosti výstupních tokenů na GPU, která splnila cílové hodnoty latence AWS.

Toto rozšíření řeší dvě omezení při poskytování velkých jazykových modelů: umístění vah modelu a opakovaně použitelné mezipaměti klíč-hodnota (KV) do paměti GPU a zajištění toho, aby dlouhé zpracování promptů nezpomalovalo generování tokenů, když obě úlohy využívají stejné GPU. AWS ukazuje nároky na paměť na příkladu modelu GLM-5.3, jehož 8bitové váhy s plovoucí desetinnou čárkou (FP8) samy o sobě přesahují 640 GB paměti GPU v jedné ml.p5.48xlarge instanci, a to ještě před započtením mezipaměti KV a režijních nároků běhového prostředí.

HyperPod poskytuje spravovanou infrastrukturu pro tento framework: síťové propojení Elastic Fabric Adapter (EFA), koordinované plánování úloh GPU, sledování stavu uzlů, GPU a EFA a výměnu uzlů. HyperPod tuto výměnu spravuje, zatímco komponenty orchestrace znovu vytvářejí dotčené workery.

Oddělené poskytování modelů a směrování zohledňující mezipaměť KV

Dynamo je distribuovaný framework pro inferenci s otevřeným zdrojovým kódem, který spolupracuje s vLLM, SGLang a TensorRT-LLM. Jeho oddělená topologie využívá front-end, který směruje požadavky k workerům pro předzpracování, kteří zpracovávají prompty, a k workerům pro dekódování, kteří generují tokeny. Tyto skupiny lze škálovat a ladit nezávisle, obě však načítají úplné váhy modelu; mezipaměť KV se mezi nimi přesouvá prostřednictvím EFA.

Při agregovaném poskytování modelu probíhají obě fáze ve stejném workeru. V obou topologiích mohou workery běžet na jedné instanci nebo se rozprostírat přes více instancí, přičemž pomocí paralelismu tenzorů a pipeline rozdělují model mezi GPU. Směrovač Dynamo zohledňující mezipaměť KV bere v úvahu znovupoužitelnou mezipaměť prefixů i aktuální vytížení workerů. Podle AWS může opětovné využití prefixů omezit opakované zpracování promptů a zkrátit dobu do prvního tokenu, zatímco zohlednění vytížení pomáhá předcházet přetěžování jednotlivých workerů.

Benchmarky s omezeními latence

Srovnání modelu Qwen3-235B-A22B-FP8 využívalo Dynamo a TensorRT-LLM na dvou p5en.48xlarge instancích s celkem 16 GPU H200. AIPerf generoval požadavky obsahující 4 000 vstupních tokenů a 200 výstupních tokenů. AWS ponechala pouze naměřené hodnoty, u nichž doba do prvního tokenu na 90. percentilu nepřesáhla jednu sekundu a medián rychlosti generování dosahoval alespoň 50 tokenů za sekundu na uživatele.

AWS uvedla, že oddělené poskytování dosáhlo při souběžnosti 80 propustnosti 207 výstupních tokenů za sekundu na GPU. Nejvyšší výsledek agregovaného poskytování, který splnil podmínky, činil 101 tokenů při souběžnosti 32. Srovnání se tedy týká propustnosti při omezeních latence a při různých úrovních souběžnosti, nikoli maximální propustnosti kterékoli z topologií bez omezení.

V samostatném testu modelu Qwen3.5-397B-A17B-FP8 se pomocí Dynamo a vLLM porovnávalo osm GPU H200 v jedné p5en.48xlarge instanci se čtyřmi GPU v každé ze dvou instancí; model, nastavení paralelismu i konfigurace zátěže přitom zůstaly stejné. AWS uvedla, že konfigurace se dvěma uzly dosáhla při souběžnosti 32 a vysoké míře opětovného využití prefixů propustnosti 126,4 výstupního tokenu za sekundu na GPU, tedy 99,1 % propustnosti jednoho uzlu. Model se vejde do jedné instance a v praxi by se běžně nerozděloval, takže test posloužil jako kontrolní základ pro měření vlivu překročení hranice uzlu na propustnost.

Spravovaná konfigurace a plánování zdrojů

Uživatelé mají na výběr ze dvou způsobů konfigurace. Stávající uživatelé Dynamo mohou dodat DynamoGraphDeployment manifest popisující graf poskytování modelu a sami spravovat úložiště, síťové propojení, umístění podů, koncové body, TLS, registraci i automatické škálování. Druhá InferenceEndpointConfig cesta využívá dynamoSpec SageMaker pro nastavení spravovaných koncových bodů a Kubernetes Event-driven Autoscaling (KEDA) pro obě topologie poskytování modelu. Ve výchozím nastavení používá vLLM, nabízí přednastavené hodnoty pro směrování zohledňující mezipaměť KV i počty replik a podporuje rozhraní kompatibilní s OpenAI prostřednictvím koncových bodů SageMaker.

Doplněk instaluje vlastní definice prostředků Dynamo a komponenty pro poskytování modelu a plánování, zatímco běhové prostředí zajišťují AWS Deep Learning Containers. Při využití spravované cesty HyperPod Inference Operator připravuje váhy z Amazon S3 nebo FSx a generuje DynamoGraphDeployment. Grove koordinuje související skupiny podů, zatímco KAI Scheduler využívá skupinové plánování, aby byly pody každého workeru s více uzly umístěny společně. Přechod na podporovanou verzi Dynamo vyžaduje aktualizaci doplňku.

Příklad AWS s modelem GLM-5.3 názorně ukazuje, jak se volí přidělení GPU. V agregované konfiguraci běží jedna replika workeru modelu na dvou ml.p5.48xlarge instancích s 16cestným paralelismem tenzorů a dvěma replikami front-endu. Oddělená varianta nastavuje jednu repliku pro předzpracování a dvě repliky pro dekódování, přičemž každá z nich využívá dvě instance; celkem tedy šest instancí. Rozdílný počet replik ukazuje, jak lze v nasazení vyhradit různé kapacity pro zpracování promptů a generování tokenů, místo aby se škálovala jediná společná skupina.

AWS doporučuje před benchmarkováním ověřit komunikaci EFA, testovat reprezentativní délky promptů a výstupů i opětovné využití prefixů, měnit míru souběžnosti s ohledem na cíle na úrovni služby a před úpravou nastavení enginu ladit topologii a rozdělení pracovních procesů podle naměřených úzkých míst.

HyperPod nyní zajišťuje větší část koordinace a obnovy po výpadku, podmínky benchmarků a příklady nasazení však ukazují, že spravovaný provoz neodstraňuje kompromisy spojené s obsluhou modelů. Vhodná konfigurace stále závisí na naměřeném chování při zpracování promptů a generování, rozdělení GPU mezi skupiny pracovních procesů a prioritách úlohy z hlediska latence a nákladů.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.