Modele i platformy AI
AWS dodaje zarządzaną obsługę NVIDIA Dynamo w SageMaker HyperPod Inference

Kluczowe punktyZdezintegrowana topologia Dynamo pozwala pulom prefill i decode skalować się…
Zobacz więcej
- Zdezintegrowana topologia Dynamo pozwala pulom prefill i decode skalować się niezależnie, podczas gdy oba nadal ładują pełne wagi modelu.
- Wzrost przepustowości o 2,05 razy w AWS porównuje wyniki ograniczone opóźnieniem przy różnych poziomach współbieżności, a nie nieograniczone maksima.
- Zarządzany HyperPod automatyzuje koordynację i odzyskiwanie, ale pozostawia kompromisy dotyczące topologii i alokacji GPU mierzonym zachowaniom obciążenia.
Amazon Web Services ogłosiło 17 listopada 2026 r., że SageMaker HyperPod Inference obsługuje teraz NVIDIA Dynamo do zarządzanej, wielowęzłowej i rozdzielonej obsługi modeli. Przedstawiono również wyniki testów porównawczych, które przy celach opóźnienia wyznaczonych przez AWS wykazały przepustowość wyjściowych tokenów na GPU 2,05 raza większą niż najwyższy kwalifikujący się wynik dla obsługi zagregowanej.
To rozszerzenie pozwala sprostać dwóm ograniczeniom związanym z obsługą dużych modeli językowych: konieczności zmieszczenia wag modelu i wielokrotnie wykorzystywanej pamięci podręcznej klucz-wartość (KV) w pamięci GPU oraz zapobieganiu spowalnianiu generowania tokenów przez przetwarzanie długich promptów, gdy oba te zadania korzystają z tych samych GPU. AWS pokazuje skalę obciążenia pamięci na przykładzie GLM-5.3, którego wagi w 8-bitowym formacie zmiennoprzecinkowym (FP8) zajmują więcej niż 640 GB pamięci GPU dostępnej w jednej ml.p5.48xlarge instancji, jeszcze przed uwzględnieniem pamięci podręcznej KV i narzutu środowiska wykonawczego.
HyperPod zapewnia zarządzaną infrastrukturę obsługującą ten framework: sieć Elastic Fabric Adapter (EFA), skoordynowane planowanie zadań GPU, monitorowanie stanu węzłów, GPU i EFA oraz wymianę węzłów. HyperPod zarządza wymianą, a komponenty orkiestracji odtwarzają dotknięte nią procesy robocze.
Rozdzielona obsługa modeli i routing uwzględniający KV
Dynamo to otwartoźródłowy, rozproszony framework do wnioskowania, współpracujący z vLLM, SGLang i TensorRT-LLM. W rozdzielonej topologii warstwa frontendowa kieruje żądania do procesów roboczych etapu prefill, które przetwarzają prompty, oraz do procesów etapu dekodowania, które generują tokeny. Obie pule można niezależnie skalować i dostrajać, ale każda z nich wczytuje pełne wagi modelu; pamięć podręczna KV jest między nimi przesyłana przez EFA.
W zagregowanym trybie obsługi oba etapy działają w tym samym procesie roboczym. W obu topologiach procesy robocze mogą działać na jednej instancji lub obejmować wiele instancji, wykorzystując równoległość tensorową i potokową do rozdzielenia modelu między GPU. Router Dynamo uwzględniający KV bierze pod uwagę możliwość ponownego użycia pamięci podręcznej prefiksów oraz bieżące obciążenie procesów roboczych. Według AWS ponowne użycie prefiksów może ograniczyć ponowne obliczanie promptu i skrócić czas do wygenerowania pierwszego tokenu, a uwzględnianie obciążenia pomaga uniknąć przeciążenia poszczególnych procesów roboczych.
Testy porównawcze z ograniczeniami opóźnienia
W porównaniu Qwen3-235B-A22B-FP8 wykorzystano Dynamo i TensorRT-LLM na dwóch p5en.48xlarge instancjach, łącznie z 16 procesorami GPU H200. AIPerf generował żądania zawierające 4000 tokenów wejściowych i 200 tokenów wyjściowych. AWS uwzględniło tylko zmierzone wyniki, w których 90. percentyl czasu do wygenerowania pierwszego tokenu wynosił poniżej jednej sekundy, a mediana szybkości generowania wynosiła co najmniej 50 tokenów na sekundę na użytkownika.
AWS podało, że rozdzielona obsługa osiągnęła przepustowość 207 tokenów wyjściowych na sekundę na GPU przy współbieżności 80, w porównaniu ze 101 przy współbieżności 32 dla najwyższego kwalifikującego się wyniku obsługi zagregowanej. Porównanie dotyczy zatem przepustowości przy ograniczeniach opóźnienia i różnych poziomach współbieżności, a nie maksymalnej przepustowości którejkolwiek z topologii bez takich ograniczeń.
W osobnym teście Qwen3.5-397B-A17B-FP8 wykorzystano Dynamo i vLLM, aby porównać osiem procesorów GPU H200 na jednej p5en.48xlarge instancji z układem, w którym na każdej z dwóch instancji znajdowały się cztery procesory GPU. Konfiguracja modelu, równoległości i obciążenia pozostała taka sama. AWS podało, że przy współbieżności 32 i intensywnym ponownym użyciu prefiksów konfiguracja dwuwęzłowa osiągnęła przepustowość 126,4 tokenu wyjściowego na sekundę na GPU, czyli 99,1% przepustowości konfiguracji jednowęzłowej. Model mieści się na jednej instancji i w praktyce zwykle nie byłby dzielony, dlatego test posłużył jako kontrolowany punkt odniesienia do oceny wpływu przekroczenia granicy węzła na przepustowość.
Zarządzana konfiguracja i planowanie zasobów
Użytkownicy mają do wyboru dwie ścieżki konfiguracji. Dotychczasowi użytkownicy Dynamo mogą dostarczyć DynamoGraphDeployment manifest opisujący graf obsługi oraz samodzielnie zarządzać pamięcią masową, siecią, rozmieszczeniem podów, punktami końcowymi, TLS, rejestracją i automatycznym skalowaniem. Ścieżka InferenceEndpointConfig korzysta dynamoSpec z narzędzi do konfiguracji zarządzanych punktów końcowych oraz Kubernetes Event-driven Autoscaling (KEDA) w obu topologiach obsługi. Domyślnie używa vLLM, zapewnia domyślne ustawienia routingu uwzględniającego KV i liczby replik oraz obsługuje interfejs zgodny z OpenAI za pośrednictwem punktów końcowych SageMaker.
Dodatek instaluje niestandardowe definicje zasobów Dynamo oraz komponenty obsługi i planowania zadań, a środowisko wykonawcze zapewniają AWS Deep Learning Containers. W zarządzanej ścieżce HyperPod Inference Operator przygotowuje wagi z Amazon S3 lub FSx i generuje DynamoGraphDeployment. Grove koordynuje powiązane grupy podów, a KAI Scheduler wykorzystuje planowanie grupowe, dzięki czemu pody każdego wielowęzłowego procesu roboczego są rozmieszczane razem. Korzystanie z obsługiwanej wersji Dynamo wymaga zaktualizowania dodatku.
Przykład GLM-5.3 podany przez AWS konkretnie pokazuje, jak można przydzielać zasoby GPU. W konfiguracji zagregowanej jedna replika procesu roboczego modelu działa na dwóch ml.p5.48xlarge instancjach z równoległością tensorową 16-kierunkową i dwiema replikami frontendu. W wariancie rozdzielonym skonfigurowano jedną replikę etapu prefill i dwie repliki etapu dekodowania, z których każda obejmuje dwie instancje, co daje łącznie sześć instancji. Różna liczba replik pokazuje, jak wdrożenie może przeznaczyć różną ilość zasobów na przetwarzanie promptów i generowanie tokenów, zamiast skalować jedną połączoną pulę.
AWS zaleca sprawdzenie komunikacji EFA przed testami wydajnościowymi, przetestowanie reprezentatywnych długości promptów i wyników oraz ponownego użycia prefiksów, sprawdzenie różnych poziomów współbieżności pod kątem celów dotyczących poziomu usług, a także dostrojenie topologii i przydziału procesów roboczych na podstawie zmierzonych wąskich gardeł, zanim zmieni się ustawienia silnika.
HyperPod przejmuje teraz większą część zadań związanych z koordynacją i odzyskiwaniem sprawności, ale warunki testów porównawczych i przykłady wdrożeń pokazują, że zarządzana obsługa nie eliminuje kompromisów związanych z obsługą modeli. Przydatna konfiguracja nadal zależy od zmierzonych charakterystyk promptów i generowania, podziału zasobów GPU między pule procesów roboczych oraz priorytetów danego obciążenia w zakresie opóźnień i kosztów.












