Modelos e plataformas de IA
Amazon SageMaker AI adiciona roteador regional de failover, agora disponível ao público em geral

Pontos-chaveO roteador transfere a engenharia de failover para o SageMaker AI, mas os clientes…
Ver mais
- O roteador transfere a engenharia de failover para o SageMaker AI, mas os clientes ainda precisam pagar pela capacidade de reserva em outro lugar.
- As pontuações de saúde ignoram a latência do modelo, então os endpoints que retornam respostas bem-sucedidas mantêm seu tráfego apesar da lentidão.
- Os clientes não podem definir limites de pesos ou o momento do failover porque o roteador controla todas as decisões de roteamento automaticamente.
A Amazon Web Services disponibilizou em caráter geral o roteamento de inferência entre regiões no Amazon SageMaker AI em 19 de novembro de 2026, permitindo que as aplicações chamem um único roteador para acessar recursos existentes de disponibilização de modelos em diferentes regiões e contas da AWS quando a capacidade local se esgota.
Um endpoint do SageMaker AI é executado em uma única região e conta. Quando o dimensionamento automático não consegue adicionar o tipo de instância necessário, as solicitações podem sofrer limitação de taxa e expirar, mesmo que o mesmo modelo tenha capacidade disponível em outro lugar. Antes, os clientes que usavam endpoints gerenciados precisavam criar seu próprio roteamento entre regiões, incluindo detecção de falhas, novas tentativas seguras, tratamento da recuperação e acesso entre contas.
O novo roteador regional de inferência usa um destino de roteamento identificado por nome para cada modelo lógico. Um destino pode combinar endpoints em tempo real e componentes de inferência em diferentes regiões e contas, ou conter apenas endpoints assíncronos. A aplicação chama o destino por meio do roteador. Os modelos, as configurações de endpoint, os grupos de instâncias, os contêineres e o dimensionamento automático permanecem inalterados, e as chamadas diretas InvokeEndpoint continuam funcionando. O roteador não cria capacidade, implanta modelos nem dimensiona endpoints; por isso, cada destino já precisa estar em execução na respectiva região.
Sinais de integridade orientam o failover
O roteador dá preferência a destinos íntegros na própria região e distribui as solicitações uniformemente entre vários destinos locais íntegros. A pontuação de integridade considera solicitações recentes, medidas na região de cada destino: erros do servidor, limitações de taxa e tempos limite reduzem a pontuação; erros da plataforma têm o maior impacto, e falhas causadas pelas solicitações, como entradas inválidas, não a afetam. A latência do modelo não é considerada; assim, um endpoint que continua retornando respostas bem-sucedidas mantém seu tráfego. O SageMaker AI publica healthy, overloaded e degraded estados no CloudWatch; destinos sobrecarregados perdem parte do tráfego, enquanto destinos degradados mantêm apenas uma pequena parcela, para que o roteador possa detectar a recuperação.
Segundo a AWS, o tráfego começa a ser redirecionado após cerca de um minuto de erros contínuos, ou mais tarde no caso de destinos com pouco tráfego, e retorna ao longo de vários minutos após a recuperação. Os clientes não podem definir pesos, ordem de fallback, limites nem o momento do failover. Se as informações de integridade dos destinos remotos ficarem desatualizadas, o roteador mantém o tráfego na própria região.
O comportamento de novas tentativas é mais restrito na inferência em tempo real. O roteador faz uma segunda tentativa em outro destino apenas quando o modelo não chegou a ser executado, inclusive após uma limitação de taxa, um erro 503, um modelo que não está pronto, uma rejeição por limite de tráfego ou uma negação de acesso ao destino. Nunca tenta novamente em caso de tempos limite, erros 500 ou erros do modelo. As solicitações assíncronas são enviadas uma vez a cada destino elegível, começando pelos destinos locais, até que um deles as aceite.
Cada resposta em tempo real identifica o destino que a atendeu em InvokedRoutedResourceArn e fornece um RoutingReason de local-preferred, capacity-available, failover ou only-healthy. As métricas do OpenTelemetry no CloudWatch acrescentam dados por destino sobre solicitações e erros, duração no destino, sobrecarga de rede do roteador e entre regiões, além de informações de integridade. As respostas assíncronas não identificam o destino, embora as métricas do CloudWatch mostrem onde as solicitações foram encaminhadas.
Limites de capacidade e controles de acesso continuam sob responsabilidade dos proprietários dos endpoints
O tráfego excedente pode levar o endpoint receptor a sofrer limitações de taxa. Por padrão, um endpoint em tempo real aceita qualquer volume de tráfego entre regiões. Um limite opcional permite que seu proprietário defina uma taxa de invocações por instância validada por testes de carga e a porcentagem máxima de capacidade disponível para outras regiões. A capacidade permitida resultante acompanha o número de instâncias em serviço, inclusive as alterações decorrentes do dimensionamento automático. No exemplo da AWS, 50 invocações por segundo por instância, um limite de 20% e quatro instâncias permitem 40 solicitações por segundo entre regiões; o número sobe para 60 quando duas instâncias são adicionadas.
Apenas as solicitações de outras regiões contam para esse limite, e as chamadas da própria região do endpoint nunca sofrem limitações por esse mecanismo. As solicitações excedentes são rejeitadas antes da execução do modelo e tentadas novamente uma vez em outro destino; se nenhum destino puder aceitá-las, a aplicação recebe um erro de limitação de taxa. Todos os componentes de inferência em um endpoint compartilham o limite.
Para destinos entre contas, ambas as contas precisam autorizar as solicitações. Uma política de endpoint pode restringir o acesso a um único roteador identificado por nome, e o roteador não concede ao solicitante acesso a um endpoint que ele não poderia invocar diretamente.
Limites de implantação e preços
O serviço está disponível em caráter geral na maioria das regiões comerciais da AWS, exceto me-south-1 e me-central-1, para inferência em tempo real e assíncrona. Ele não oferece suporte à transmissão de respostas. As solicitações em tempo real têm cerca de um minuto para receber uma resposta do destino, as cargas úteis em tempo real podem ter até 6 MB, e cada roteador aceita até 20 destinos de roteamento, com até 10 destinos por alvo.
O próprio roteador é regional; por isso, a AWS recomenda criar roteadores em duas regiões e alternar entre eles no lado do cliente para garantir a resiliência do ponto de entrada. Os limites de residência de dados também precisam ser configurados explicitamente, pois uma solicitação pode ser processada na região do roteador ou na região de qualquer destino registrado.
Não há cobrança adicional pelo roteamento. Os clientes pagam as tarifas padrão dos endpoints e dos componentes de inferência do SageMaker AI, quer as solicitações cheguem diretamente, quer passem por um roteador, além das tarifas padrão do CloudWatch para métricas e consultas do roteador.
O lançamento transfere para o SageMaker AI a engenharia de failover, mas mantém com os clientes a principal decisão econômica relacionada à computação: a continuidade do serviço durante uma escassez em uma Região ainda depende de pagar por capacidade de inferência utilizável em outra Região e posicioná-la nela.












