Modelos e plataformas de IA
A AWS habilita o monitoramento padrão para endpoints de inferência do SageMaker AI

Pontos-chaveO monitoramento padrão sinaliza desvio de latência e GPUs ociosas sem exigir que os…
Ver mais
- O monitoramento padrão sinaliza desvio de latência e GPUs ociosas sem exigir que os usuários definam limites com antecedência.
- As descobertas abrem um fluxo de trabalho agêntico no SageMaker Studio que avalia alternativas em computação separada antes de mudanças em produção.
- O monitoramento é isento de custo extra de GPU e pode ser desativado por meio da variável de ambiente OPT_OUT_TRACKING.
A Amazon Web Services (AWS) habilitou, em 19 de novembro de 2026, o monitoramento padrão para endpoints elegíveis de inferência de IA generativa do Amazon SageMaker AI, adicionando alertas do AWS Health sobre desvios de latência, capacidade ociosa de GPU e otimizações de serviço não aplicadas.
O monitoramento não exige configuração nos endpoints que usam contêineres de serviço vLLM e instâncias com GPU. Ele lê a latência no nível do endpoint, a utilização da GPU e a configuração do serviço, mas não o conteúdo das solicitações ou respostas. O objetivo é detectar desvios graduais após a implantação, à medida que mudam o tráfego, o tamanho dos prompts, o software de serviço e os requisitos de recursos do modelo.
O anúncio amplia as recomendações para otimizar a inferência de IA generativa que a AWS apresentou em 22 de abril de 2026. Esse fluxo de trabalho permite que os usuários escolham custo, latência ou taxa de transferência como objetivo, comparem até três tipos de instância e avaliem configurações em GPUs reais com o NVIDIA AIPerf. Também permite avaliar endpoints de produção existentes; a nova camada acrescenta observação contínua e notificações a esse processo decisório iniciado pelo usuário.
O que o monitoramento detecta
Os alertas de desvio de latência comparam a latência mediana de ponta a ponta (p50) e a mediana do tempo até o primeiro token com os valores da semana anterior do próprio endpoint. Como a referência é histórica, os usuários não precisam definir um limite de antemão. A avaliação resultante testa configurações de paralelismo de tensores e tipos ou tamanhos alternativos de instância.
Outros alertas identificam GPUs que permanecem muito abaixo da capacidade, decodificação especulativa compatível, mas desativada, kernels de GPU não ajustados e contêineres de serviço sem melhorias de desempenho mais recentes ou correções para vulnerabilidades críticas e de alta gravidade. Para a capacidade não utilizada, a avaliação testa tipos de instância mais baratos e tamanhos menores com base no pico de tráfego observado. Os testes de configuração comparam a configuração atual com alternativas, conforme aplicável: decodificação especulativa ativada, kernels ajustados ou um contêiner atualizado.
Os exemplos da AWS são demonstrações passo a passo, não medições de toda a frota: um mostra um aumento de cerca de 200 milissegundos no tempo mediano até o primeiro token em relação à semana anterior; outro indica que até a GPU mais ocupada usou, no máximo, 12% da capacidade durante a maior parte de uma semana.
Do alerta de integridade à avaliação comparativa
Os alertas são enviados pelo AWS Health e por e-mail. Cada endpoint recebe no máximo uma notificação por vez, que abrange todos os alertas aplicáveis; a AWS limita o número de notificações que uma conta recebe de uma só vez, e elas são específicas da região da AWS do endpoint.
A notificação informa o que foi observado, por que isso importa para a latência, a capacidade ou o custo, e recomenda uma ação, identificando claramente as estimativas como estimativas. Trata-se de uma observação, não de uma avaliação já concluída. A ação abre uma experiência agêntica no SageMaker Studio, com o endpoint e o tráfego observado preenchidos previamente.
Após a confirmação do usuário, o agente gera um notebook editável do SageMaker Python SDK usando o modelo do endpoint e um perfil de tráfego derivado de suas métricas. O notebook associa a tarefa de recomendação ao evento do AWS Health, para que os resultados possam ser vinculados ao alerta. A tarefa compara a configuração atual com alternativas em termos de tempo de resposta, taxa de transferência e custo por milhão de tokens, usando recursos computacionais separados; a produção não é alterada até que o usuário aplique um resultado.
A AWS recomenda aplicar primeiro a configuração escolhida a uma única variante de produção, mantendo a configuração existente disponível para reversão. Também é normal manter ou descartar um alerta, que permanece no histórico de eventos do AWS Health.
Custos e opções para desativar
O monitoramento não gera custos adicionais de GPU. As avaliações usam as tarifas padrão do SageMaker AI ou uma reserva existente de aprendizado de máquina. Para agir com base em um alerta, é necessário ter um domínio do SageMaker Studio, permissões do AWS Identity and Access Management para executar tarefas de recomendação e atualizar endpoints, além de cota suficiente para as instâncias de avaliação.
Os clientes podem gerenciar o envio por meio do AWS User Notifications e, se desejarem, programar recomendações recorrentes, como execuções mensais. Definir a OPT_OUT_TRACKING variável de ambiente no contêiner de um modelo interrompe a coleta das métricas do mecanismo, das métricas de GPU e dos detalhes de configuração da inicialização daquele endpoint, além de impedir o envio de notificações.
O suporte a uma otimização não garante benefícios. Segundo a AWS, os resultados da decodificação especulativa dependem da simultaneidade e do tamanho dos prompts e das respostas, e podem variar entre períodos de pico e fora de pico. Essa distinção define a função prática do recurso: a telemetria padrão emite o alerta, enquanto a avaliação determina se uma possível economia ou aceleração se confirma no tráfego que realmente importa.












