Modelos e plataformas de IA
A AWS encaminha a inferência do HyperPod entre regiões a partir de um único endpoint

Pontos-chaveO gateway global adiciona uma camada de seleção de cluster acima do roteamento…
Ver mais
- O gateway global adiciona uma camada de seleção de cluster acima do roteamento existente do Inference Gateway no nível de pod.
- Os operadores ajustam quatro sinais ponderados, incluindo RegionProximity em 0,40, para equilibrar a latência em relação à resiliência.
- A AWS afirma que o gateway não registra nem armazena prompts ou completions e encaminha apenas por meio do PrivateLink.
Em 20 de novembro de 2026, a AWS lançou o gateway global de inferência do Amazon SageMaker HyperPod, oferecendo aos clientes um único endpoint gerenciado para solicitações de inferência em clusters do HyperPod registrados em uma única região da AWS ou em várias regiões. O serviço seleciona um cluster com base em sinais de capacidade, fila, proximidade e erros, com failover automático quando um cluster fica indisponível.
O lançamento acrescenta uma segunda camada de roteamento acima do gateway de inferência do SageMaker HyperPod já existente. Esse gateway no nível do cluster continua selecionando pods de modelos individuais com base em sinais como a utilização do cache de chave-valor (KV) e o tamanho da fila; a nova camada global seleciona primeiro o cluster, sem alterar a seleção de pods.
A AWS está resolvendo um problema de utilização da capacidade: as solicitações podem ficar na fila de um cluster saturado enquanto GPUs já provisionadas permanecem ociosas em outros locais. No exemplo da empresa, em que quatro modelos são atendidos por cinco clusters em duas regiões, o atendimento por modelo exige que os clientes acompanhem 20 endpoints. Os gateways no nível do cluster reduzem esse número para cinco, enquanto o gateway global oferece um único endpoint. A camada gerenciada elimina a necessidade de criar e manter balanceadores de carga, DNS e redes entre regiões para esse roteamento, além de permitir que o tráfego de pico seja direcionado a clusters com capacidade disponível.
Seleção configurável de clusters
Um operador publica cada cluster participante ativando spec.globalRouting no seu InferenceGatewayConfig, e então chama CreateGlobalInferenceGateway com os clusters que deseja agrupar. A publicação cria um Network Load Balancer, um serviço de endpoint de nuvem privada virtual (VPC) e recursos de certificado na conta do cliente. Não é possível adicionar um cluster com sucesso sem publicá-lo.
Os clientes enviam solicitações compatíveis com a OpenAI, assinadas com a versão 4 da assinatura da AWS (SigV4), ao endpoint regional. O gateway autentica quem faz a solicitação e seleciona um cluster íntegro; a AWS PrivateLink transporta a solicitação dentro da mesma região ou entre regiões, e o gateway de inferência do cluster escolhe o pod do modelo. A SageMaker opera a frota de roteamento, os endpoints privados, a validação de certificados, as verificações de integridade, a autenticação e a limitação de taxa; um publicador gerenciado pelo serviço em cada cluster fornece métricas de carga.
Para cada solicitação, o gateway atribui pontuações aos clusters íntegros usando quatro sinais configuráveis:
| Sinal | O que mede | Peso padrão |
|---|---|---|
KVHeadroom |
Cache KV disponível e memória de GPU no cluster | 0.20 |
QueueDepth |
O nível de congestionamento do cluster | 0.25 |
RegionProximity |
Distância entre o cluster e a região do gateway | 0.40 |
ErrorRate |
Solicitações recentes com falha no cluster | 0.15 |
Os clientes que substituírem os valores padrão precisam definir os quatro pesos, usando valores de 0,0 a 1,0 cuja soma seja 1,0; também podem desativar um sinal atribuindo-lhe o valor zero. UpdateGlobalInferenceGateway altera a ponderação das novas solicitações sem exigir novo provisionamento, enquanto as solicitações em andamento são concluídas com as configurações antigas. Segundo a AWS, cargas de trabalho que priorizam a resiliência em vez da proximidade podem aumentar ErrorRate e reduzir RegionProximity.
Failover e privacidade
O gateway verifica a integridade de todos os clusters e, após uma falha, transfere o tráfego para o próximo cluster mais adequado sem exigir alterações por parte dos clientes; quando um cluster se recupera, o tráfego volta a ser direcionado para ele gradualmente. Uma solicitação com falha é repetida uma vez em outro cluster, a menos que a transmissão em fluxo já tenha começado; se não restar nenhum cluster íntegro, o gateway retorna HTTP 503. A inclusão de um cluster íntegro não altera o endpoint nem interrompe os demais clusters, enquanto a remoção de um cluster impede novas solicitações, mas permite que as solicitações em andamento sejam concluídas.
O IAM controla separadamente as invocações padrão e em fluxo e, quando usados, os tokens JSON Web Token dos clientes são enviados dentro da assinatura SigV4. As solicitações chegam aos clusters somente por meio da AWS PrivateLink, e a AWS afirma que o gateway não registra nem armazena prompts ou respostas. A exclusão do gateway global desativa seu endpoint, mas mantém em funcionamento os endpoints de cada cluster.
Jinhyung Park, vice-presidente de Plataforma de IA da Bagelcode, afirmou no anúncio da AWS que, durante os testes beta, as solicitações foram encaminhadas pelo gateway entre duas regiões e continuaram sendo atendidas quando um dos clusters deixou de conseguir servir o modelo. Isso proporcionou à pequena equipe de plataforma da empresa failover entre regiões sem que precisasse criar ou manter sua própria camada de roteamento.
Disponibilidade e migração
O serviço está disponível em 13 regiões: Leste dos EUA (Norte da Virgínia e Ohio), Oeste dos EUA (Norte da Califórnia e Oregon), América do Sul (São Paulo), Europa (Frankfurt, Irlanda, Londres e Estocolmo) e Ásia-Pacífico (Tóquio, Mumbai, Singapura e Sydney).
A AWS recomenda que os usuários com um único cluster continuem usando o endpoint do gateway de inferência do cluster e adotem o serviço global quando adicionarem um segundo cluster. Os endpoints existentes de cada cluster continuam atendendo às solicitações durante a migração dos clientes, e um gateway que contenha clusters de uma única região pode manter uma carga de trabalho nessa região. Um cluster publicado que não esteja associado a nenhum gateway não recebe tráfego, embora seu Network Load Balancer continue em execução e gerando cobranças.
Ao reunir sinais de proximidade, capacidade e falha em uma única política, o serviço transforma o uso da capacidade de GPU que, de outro modo, ficaria ociosa em uma decisão de configuração, em vez de exigir um projeto de rede separado.












