A AWS adiciona particionamento de GPUs NVIDIA aos endpoints de inferência do SageMaker

A Amazon Web Services (AWS) anunciou o suporte a GPUs NVIDIA Multi-Instance no Amazon SageMaker Inference em 6 de novembro de 2026, permitindo que vários modelos isolados por hardware compartilhem um acelerador em endpoints em tempo real, em vez de atribuir uma GPU inteira a cada implantação.

O recurso aborda duas limitações da alocação de uma GPU inteira. A quantidade de aceleradores limita o número de modelos que uma instância pode hospedar, independentemente da pouca memória ou capacidade de processamento que cada modelo use, e os clientes que consideram uma GPU mais recente precisam alocar o dispositivo inteiro. A GPU Multi-Instance (MIG), por sua vez, atribui a cada partição uma parcela fixa das unidades de processamento e um bloco exclusivo de memória, com isolamento imposto por hardware. Como cada modelo permanece residente, essa configuração também evita o atraso que ocorre quando um endpoint com vários modelos carrega um modelo no dispositivo compartilhado para o primeiro uso.

O particionamento está limitado a endpoints em tempo real que usam componentes de inferência, o mecanismo do SageMaker para implantar vários modelos em um endpoint e definir a capacidade de processamento que cada um recebe. Não é possível particionar endpoints de modelo único, endpoints sem servidor nem grupos de instâncias heterogêneas. Cargas de trabalho assíncronas também estão fora do escopo do recurso, pois a invocação assíncrona não pode direcionar um componente de inferência.

A Salesforce ajudou a definir os requisitos e validar a implementação inicial. Richard Chang, arquiteto de engenharia de software da Salesforce, disse que a empresa esperava que a MIG consolidasse cargas de trabalho com segurança, aumentasse a utilização das GPUs e reduzisse os custos de inferência, mantendo um desempenho previsível e o isolamento. A Salesforce está se preparando para validar o software com cargas de trabalho de produção representativas; portanto, esses benefícios são expectativas, não resultados de produção já relatados.

Dois campos da API controlam o particionamento

A documentação para desenvolvedores do SageMaker AI define dois campos opcionais: AcceleratorPartitionLayouts declara o particionamento em uma variante de produção, e AcceleratorPartitionType seleciona o perfil usado por um componente de inferência. Não há novas operações de API, tipos de recursos ou ações do AWS Identity and Access Management; se ambos os campos forem omitidos, o comportamento atual dos endpoints será mantido.

O layout selecionado se aplica uniformemente a todos os aceleradores de todas as instâncias da variante. No exemplo da AWS, cada uma das oito A100s de uma ml.p4d.24xlarge em mig-4g.20gb, mig-2g.10gb e mig-1g.5gb partições, totalizando 24 partições no endpoint. Cada cópia de um componente de inferência ocupa uma partição solicitada, enquanto InvokeEndpoint continua a acessar os modelos pelo nome do componente, sem um identificador de partição. Em seus testes, a AWS informou que o particionamento dos aceleradores acrescentou cerca de 17 segundos ao provisionamento.

O isolamento abrange o processamento e a memória da GPU, mas não todo o host. Os modelos em uma mesma instância continuam compartilhando a CPU do host, a memória do host, o armazenamento, a rede e o roteamento do endpoint. Um componente que solicita um perfil inexistente no layout é rejeitado, em vez de receber uma GPU inteira. Alterar o layout de um endpoint em execução exige criar um novo endpoint e migrar o tráfego; transferir um componente para outro perfil exige criar um novo componente.

A AWS testa uma partição H100 em comparação com uma A100 inteira

A AWS comparou uma mig-3g.40gb partição H100 com uma A100-40GB inteira, usando Llama-3.1-8B-Instruct em endpoints de inferência em tempo real do SageMaker em produção. Ambos os lados usaram uma réplica do modelo, contêineres, tokenizadores e configurações de cliente idênticos, com o genai-bench gerando cinco padrões de tráfego em níveis de simultaneidade de 2 a 512. O guia de perfis da NVIDIA aloca ao perfil H100 testado três das sete parcelas de multiprocessadores de streaming e quatro das oito unidades de memória. As duas configurações têm capacidades de memória comparáveis, mas alocações de processamento diferentes.

Nos testes, a AWS relatou de 53% a 89% mais tokens de saída por segundo na partição H100, na carga em que o benefício de custo de cada cenário era maior. A latência entre tokens foi de 8,9% a 42,1% menor, e o tempo até o primeiro token foi de 5,6% a 47,5% menor. Na simultaneidade máxima, em cargas de trabalho de 6.000 e 8.000 tokens, a A100 não cumpriu o prazo de atendimento de um terço a metade das solicitações, enquanto a partição não deixou de atender a nenhuma.

A análise de custos da AWS, apresentada como uma comparação caso a caso, e não como uma conclusão universal, constatou uma redução de 18% a 34% no custo por milhão de tokens de saída quando o tráfego ultrapassava um ponto de equilíbrio específico para cada carga de trabalho. Esse ponto ocorria com simultaneidade de 64 para prompts de 100 tokens e de 4 para prompts de 8.000 tokens. Abaixo dele, a A100 inteira continuava mais barata, o que pode tornar a GPU antiga inteira mais adequada para cargas de trabalho com entradas curtas ou baixa simultaneidade. A comparação do custo unitário dividiu os preços das instâncias sob demanda pelo número de unidades testadas em cada instância.

Hardware compatível e limites operacionais

O lançamento abrange quatro famílias de instâncias; o número de partições e os perfis dependem do acelerador:

O particionamento de GPU está disponível nas regiões Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Tóquio), Europa (Frankfurt) e Europa (Irlanda), sujeito à disponibilidade regional de instâncias e à cota do endpoint. Nenhuma partição abrange vários aceleradores; portanto, modelos que exigem uma GPU inteira ou várias GPUs ainda precisam de dispositivos inteiros.

Os clientes continuam pagando pela instância de GPU completa; o particionamento pode aumentar a capacidade utilizável, mas não reduz o preço por hora. Os endpoints particionados e seus componentes de inferência também não publicam no CloudWatch métricas de utilização de GPU, CPU ou memória, embora as métricas de invocação e latência continuem disponíveis. No P4d, o mig-1g.10gb perfil exige o driver R525 da NVIDIA ou uma versão mais recente, e a AWS orienta os clientes a usar uma AMI de inferência mais recente, pois a imagem padrão não o inclui.

Para o planejamento de capacidade, o lançamento transforma cada acelerador compatível em vários tamanhos fixos de GPU, mas a implantação mais densa com isolamento por hardware vem acompanhada da cobrança pela instância completa, de configurações que não podem ser alteradas no local e de uma telemetria de utilização reduzida. O benchmark da AWS mostra o valor de medir o tráfego real: nos testes, a partição H100 apresentou vantagens de desempenho e custo sob condições mais exigentes de contexto longo, enquanto os resultados do ponto de equilíbrio indicaram que uma A100 inteira era mais barata para cargas de trabalho mais leves.