Modelos e plataformas de IA
A AWS adiciona o NVIDIA Dynamo gerenciado ao SageMaker HyperPod Inference

Pontos-chaveA topologia desagregada do Dynamo permite que os pools de prefill e decode escalem de…
Ver mais
- A topologia desagregada do Dynamo permite que os pools de prefill e decode escalem de forma independente, enquanto ambos ainda carregam os pesos completos do modelo.
- O ganho de 2,05 vezes em throughput da AWS compara resultados limitados por latência em diferentes níveis de concorrência, em vez de máximos irrestritos.
- O HyperPod gerenciado automatiza a coordenação e a recuperação, mas deixa as compensações de topologia e alocação de GPU para o comportamento medido da carga de trabalho.
A Amazon Web Services anunciou em 17 de novembro de 2026 que o Amazon SageMaker HyperPod Inference agora oferece suporte ao NVIDIA Dynamo para inferência gerenciada de modelos em vários nós e desagregada, além de resultados de benchmarks que mostram uma taxa de transferência de tokens de saída agregada por GPU 2,05 vezes maior que a mais alta que atendeu aos critérios definidos pelas metas de latência da AWS.
A adição aborda duas limitações na inferência de modelos de linguagem grandes: acomodar os pesos do modelo e o cache reutilizável de chave-valor (KV) na memória da GPU; e impedir que o processamento de prompts longos reduza a velocidade de geração de tokens quando ambos compartilham as GPUs. A AWS ilustra a pressão sobre a memória com o GLM-5.3, cujos pesos de ponto flutuante de 8 bits (FP8), por si só, excedem os 640 GB de memória de GPU disponíveis em uma ml.p5.48xlarge instância, antes de incluir o cache KV e a sobrecarga do ambiente de execução.
O HyperPod fornece a infraestrutura gerenciada em torno da estrutura: rede Elastic Fabric Adapter (EFA), agendamento coordenado de GPUs, monitoramento da integridade de nós, GPUs e EFA, e substituição de nós. O HyperPod gerencia essa substituição enquanto os componentes de orquestração recriam os workers afetados.
Inferência desagregada e roteamento com reconhecimento de KV
O Dynamo é uma estrutura distribuída de inferência de código aberto compatível com vLLM, SGLang e TensorRT-LLM. Sua topologia desagregada usa um frontend para encaminhar solicitações a workers de pré-preenchimento, que processam os prompts, e a workers de decodificação, que geram tokens. Esses grupos podem ser dimensionados e ajustados de forma independente, mas ambos carregam todos os pesos do modelo; o cache KV é transferido entre eles pela EFA.
Na inferência agregada, as duas etapas são executadas no mesmo worker. Em ambas as topologias, os workers podem ser executados em uma única instância ou abranger várias instâncias, usando paralelismo de tensores e de pipeline para distribuir o modelo entre as GPUs. O roteador do Dynamo, com reconhecimento de KV, leva em conta o cache de prefixos reutilizável e a carga dos workers ativos. Segundo a AWS, a reutilização de prefixos pode reduzir o recálculo de prompts e melhorar o tempo até o primeiro token, enquanto o reconhecimento da carga ajuda a evitar a sobrecarga de workers individuais.
Benchmarks com restrições de latência
A comparação do Qwen3-235B-A22B-FP8 usou Dynamo e TensorRT-LLM em duas p5en.48xlarge instâncias, totalizando 16 GPUs H200. O AIPerf gerou solicitações com 4.000 tokens de entrada e 200 tokens de saída. A AWS manteve apenas os pontos medidos em que o tempo até o primeiro token, no percentil 90, ficou abaixo de um segundo e a velocidade mediana de geração foi de pelo menos 50 tokens por segundo por usuário.
A AWS informou que a inferência desagregada alcançou 207 tokens de saída por segundo por GPU com concorrência de 80, em comparação com 101, com concorrência de 32, para o resultado agregado mais alto que atendeu aos critérios. Portanto, a comparação se refere à taxa de transferência sob restrições de latência em diferentes níveis de concorrência, e não a um máximo irrestrito de taxa de transferência para qualquer uma das topologias.
Um teste separado do Qwen3.5-397B-A17B-FP8 usou Dynamo e vLLM para comparar oito GPUs H200 em uma p5en.48xlarge instância com quatro GPUs em cada uma de duas instâncias, mantendo iguais o modelo, o paralelismo e a configuração da carga de trabalho. A AWS informou uma taxa de 126,4 tokens de saída por segundo por GPU para a configuração de dois nós, ou 99,1% da taxa de transferência de nó único, com concorrência de 32 e alta reutilização de prefixos. O modelo cabe em uma única instância e, na prática, normalmente não seria dividido; por isso, o teste serviu como referência controlada para medir o efeito de atravessar o limite entre nós sobre a taxa de transferência.
Configuração gerenciada e planejamento de recursos
Os usuários têm duas opções de configuração. Os usuários atuais do Dynamo podem fornecer um DynamoGraphDeployment manifesto que descreva o grafo de inferência e gerenciar por conta própria o armazenamento, a rede, o posicionamento de pods, os endpoints, o TLS, o registro e o dimensionamento automático. O InferenceEndpointConfig caminho usa dynamoSpec para configurar endpoints gerenciados e o Kubernetes Event-driven Autoscaling (KEDA) para qualquer uma das topologias de inferência. A configuração padrão usa vLLM, oferece valores predefinidos para o roteamento com reconhecimento de KV e a quantidade de réplicas, além de oferecer uma interface compatível com OpenAI por meio dos endpoints do SageMaker.
O complemento instala as definições de recursos personalizados do Dynamo e os componentes de inferência e agendamento, enquanto os AWS Deep Learning Containers fornecem o ambiente de execução. No caminho gerenciado, o HyperPod Inference Operator prepara os pesos do Amazon S3 ou do FSx e gera o DynamoGraphDeployment. O Grove coordena grupos de pods relacionados, enquanto o KAI Scheduler usa o agendamento em grupo para posicionar juntos os pods de cada worker multinó. Para adotar uma versão compatível do Dynamo, é necessário atualizar o complemento.
O exemplo da AWS com o GLM-5.3 mostra concretamente a escolha da alocação de GPUs. Sua configuração agregada executa uma réplica de worker do modelo em duas ml.p5.48xlarge instâncias, com paralelismo de tensores de 16 vias e duas réplicas de frontend. A variante desagregada configura uma réplica de pré-preenchimento e duas réplicas de decodificação, cada uma abrangendo duas instâncias, totalizando seis instâncias. A quantidade separada de réplicas mostra como uma implantação pode destinar diferentes capacidades ao processamento de prompts e à geração de tokens, em vez de dimensionar um único grupo combinado.
A AWS recomenda verificar a comunicação EFA antes de avaliar o desempenho, testar comprimentos representativos de prompts e de saídas, bem como a reutilização de prefixos, variar a concorrência em função das metas de nível de serviço e ajustar a topologia e a alocação de workers com base nos gargalos medidos antes de alterar as configurações do mecanismo.
Agora, o HyperPod assume mais tarefas de coordenação e recuperação, mas as condições de benchmark e os exemplos de implantação mostram que a operação gerenciada não elimina as compensações inerentes ao serviço de inferência. A configuração mais adequada ainda depende do comportamento medido dos prompts e da geração, da alocação de GPUs entre os grupos de workers e das prioridades da carga de trabalho em termos de latência e custo.












