Modelli e piattaforme di IA
AWS aggiunge NVIDIA Dynamo in modalità gestita a SageMaker HyperPod Inference

Punti chiaveLa topologia disaggregata di Dynamo consente ai pool di prefill e decode di scalare in…
Vedi di più
- La topologia disaggregata di Dynamo consente ai pool di prefill e decode di scalare in modo indipendente mentre entrambi caricano comunque i pesi completi del modello.
- Il guadagno di throughput di 2,05 volte di AWS confronta risultati vincolati dalla latenza a diversi livelli di concorrenza anziché massimi non vincolati.
- HyperPod gestito automatizza il coordinamento e il ripristino ma lascia i compromessi su topologia e allocazione delle GPU al comportamento misurato del carico di lavoro.
Amazon Web Services ha annunciato il 17 novembre 2026 che Amazon SageMaker HyperPod Inference ora supporta NVIDIA Dynamo per la distribuzione gestita di modelli su più nodi e in modalità disaggregata, presentando anche risultati di benchmark che mostrano un throughput di token generati in output aggregato per GPU pari a 2,05 volte il valore più alto conforme agli obiettivi di latenza di AWS.
Questa aggiunta affronta due vincoli nella distribuzione di modelli linguistici di grandi dimensioni: far entrare i pesi del modello e la cache chiave-valore (KV) riutilizzabile nella memoria della GPU, e impedire che l’elaborazione di prompt lunghi rallenti la generazione dei token quando entrambe le attività condividono le GPU. AWS illustra la pressione sulla memoria con GLM-5.3, i cui soli pesi in formato floating point a 8 bit (FP8) superano i 640 GB di memoria GPU disponibili su una ml.p5.48xlarge istanza, prima ancora di includere la cache KV e il sovraccarico del runtime.
HyperPod fornisce l’infrastruttura gestita che supporta il framework: la rete Elastic Fabric Adapter (EFA), la pianificazione coordinata delle GPU, il monitoraggio dello stato di nodi, GPU ed EFA e la sostituzione dei nodi. HyperPod gestisce la sostituzione, mentre i componenti di orchestrazione ricreano i worker interessati.
Distribuzione disaggregata e instradamento consapevole della cache KV
Dynamo è un framework open source per l’inferenza distribuita, compatibile con vLLM, SGLang e TensorRT-LLM. La sua architettura disaggregata utilizza un frontend per instradare le richieste ai worker di prefill, che elaborano i prompt, e ai worker di decode, che generano i token. Questi gruppi possono essere scalati e ottimizzati in modo indipendente, ma entrambi caricano tutti i pesi del modello; la cache KV viene trasferita dall’uno all’altro tramite EFA.
Nella distribuzione aggregata, entrambe le fasi vengono eseguite dallo stesso worker. In entrambe le architetture, i worker possono operare su una singola istanza o distribuirsi su più istanze, usando il parallelismo tensoriale e quello di pipeline per ripartire il modello tra le GPU. Il router di Dynamo, consapevole della cache KV, tiene conto della cache dei prefissi riutilizzabile e del carico dei worker attivi. Secondo AWS, il riutilizzo dei prefissi può ridurre la rielaborazione dei prompt e migliorare il tempo al primo token, mentre il monitoraggio del carico aiuta a evitare di sovraccaricare i singoli worker.
Benchmark con vincoli di latenza
Il confronto tra Qwen3-235B-A22B-FP8 ha utilizzato Dynamo e TensorRT-LLM su due p5en.48xlarge istanze, per un totale di 16 GPU H200. AIPerf ha generato richieste contenenti 4.000 token di input e 200 token di output. AWS ha mantenuto solo i punti misurati con un tempo al primo token al 90° percentile inferiore a un secondo e una velocità mediana di generazione di almeno 50 token al secondo per utente.
AWS ha riferito che la distribuzione disaggregata ha raggiunto 207 token di output al secondo per GPU con una concorrenza di 80, rispetto ai 101 raggiunti con una concorrenza di 32 dal risultato aggregato più alto conforme ai requisiti. Il confronto riguarda quindi il throughput soggetto a vincoli di latenza a diversi livelli di concorrenza, non il throughput massimo senza restrizioni di nessuna delle due architetture.
Un test separato con Qwen3.5-397B-A17B-FP8 ha utilizzato Dynamo e vLLM per confrontare otto GPU H200 su una p5en.48xlarge istanza con quattro GPU su ciascuna di due istanze, mantenendo invariati il modello, il parallelismo e la configurazione del carico di lavoro. AWS ha riferito che la configurazione a due nodi ha raggiunto 126,4 token di output al secondo per GPU, pari al 99,1% del throughput su un singolo nodo, con una concorrenza di 32 e un elevato riutilizzo dei prefissi. Il modello entra in una sola istanza e, nella pratica, normalmente non verrebbe suddiviso; il test è quindi servito da riferimento controllato per misurare l’effetto sul throughput del passaggio da un nodo all’altro.
Configurazione gestita e pianificazione delle risorse
Gli utenti hanno a disposizione due modalità di configurazione. Chi utilizza già Dynamo può fornire un DynamoGraphDeployment manifesto che descrive il grafo di distribuzione e gestire autonomamente archiviazione, rete, collocazione dei pod, endpoint, TLS, registrazione e scalabilità automatica. Il InferenceEndpointConfig percorso gestito è utilizzato dynamoSpec per configurare gli endpoint in modalità gestita e Kubernetes Event-driven Autoscaling (KEDA) per entrambe le architetture di distribuzione. L’impostazione predefinita è vLLM; sono inoltre disponibili valori predefiniti per l’instradamento consapevole della cache KV e il numero di repliche, oltre a un’interfaccia compatibile con OpenAI tramite gli endpoint SageMaker.
L’add-on installa le definizioni di risorse personalizzate di Dynamo e i componenti di distribuzione e pianificazione, mentre AWS Deep Learning Containers forniscono il runtime. Nella modalità gestita, HyperPod Inference Operator prepara i pesi da Amazon S3 o FSx e genera il DynamoGraphDeployment. Grove coordina i gruppi di pod correlati, mentre KAI Scheduler utilizza la pianificazione in gruppo affinché i pod di ciascun worker su più nodi vengano collocati insieme. Per adottare una versione supportata di Dynamo è necessario aggiornare l’add-on.
L’esempio di AWS con GLM-5.3 rende concreta la scelta di allocazione delle GPU. La configurazione aggregata esegue una replica del worker del modello su due ml.p5.48xlarge istanze con parallelismo tensoriale a 16 vie e due repliche frontend. La variante disaggregata configura una replica di prefill e due repliche di decode, ciascuna distribuita su due istanze, per un totale di sei istanze. Il diverso numero di repliche mostra come una distribuzione possa destinare capacità differenti all’elaborazione dei prompt e alla generazione dei token, anziché scalare un unico gruppo che svolge entrambe le funzioni.
AWS consiglia di verificare la comunicazione EFA prima di eseguire i benchmark, testare lunghezze rappresentative dei prompt e degli output e il riutilizzo dei prefissi, variare il livello di concorrenza rispetto agli obiettivi a livello di servizio e ottimizzare la topologia e l’allocazione dei worker sulla base dei colli di bottiglia rilevati, prima di modificare le impostazioni del motore.
HyperPod ora gestisce una parte maggiore delle attività di coordinamento e ripristino, ma le condizioni dei benchmark e gli esempi di distribuzione mostrano che la gestione automatizzata non elimina i compromessi legati all’inferenza. La configurazione più adatta dipende comunque dal comportamento misurato di prompt e generazione, dalla distribuzione delle GPU tra i pool di worker e dalle priorità del carico di lavoro in termini di latenza e costi.












