Modelos e plataformas de IA

A AWS adiciona validação do treinamento e detecção de trabalhos travados ao HyperPod

Theo Nash
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveO HyperPod agora verifica que as GPUs realmente calculam resultados de treinamento…
Ver mais
  • O HyperPod agora verifica que as GPUs realmente calculam resultados de treinamento corretos, em vez de apenas verificar a integridade do hardware.
  • Uma regra de detecção de travamento de 15 minutos reduz o desperdício de um trabalho travado de 32 instâncias de cerca de US$ 16.900 para cerca de US$ 530.
  • A detecção de travamento do Slurm permanece desativada por padrão e um arquivo de regras ausente deixa os trabalhos sem monitoramento silenciosamente.

A Amazon Web Services anunciou, em 18 de novembro de 2026, três recursos de confiabilidade para o Amazon SageMaker HyperPod, voltados a falhas numéricas no treinamento, falhas do Kubernetes e trabalhos do Slurm paralisados, que podem consumir a capacidade de GPU enquanto os nós individuais ainda parecem saudáveis.

O HyperPod já monitora erros de hardware, executa verificações diagnósticas aprofundadas e testa a comunicação entre instâncias, com recuperação automática de nós com falhas. Esses mecanismos não mostram se as GPUs estão calculando resultados corretos de treinamento, se um trabalho ainda está progredindo ou se os serviços do Kubernetes dos quais ele depende estão funcionando.

O exemplo de custos da AWS mostra a dimensão do problema: uma paralisação de oito horas em 32 instâncias ml.p5.48xlarge, que correspondem a 256 GPUs NVIDIA H100, desperdiça 2.048 horas de GPU e custa cerca de US$ 16.900, considerando o preço aproximado sob demanda do HyperPod, de US$ 66 por hora de instância na região Leste dos EUA (Norte da Virgínia). Uma regra de detecção de 15 minutos reduz o custo desse cenário para cerca de US$ 530 ao cancelar o trabalho, permitindo que o Slurm o coloque novamente na fila.

Testar a correção do treinamento

O MultiNodeTrainingValidation amplia as verificações aprofundadas de integridade do HyperPod para clusters orquestrados pelo Amazon Elastic Kubernetes Service (EKS), usando grupos compatíveis de instâncias de GPU NVIDIA habilitadas para Elastic Fabric Adapter (EFA). O teste Tiny Megatron executa uma carga de trabalho fixa do Megatron-LM em todas as GPUs de cada instância, enquanto o teste Megatron executa a mesma carga de trabalho em instâncias do mesmo tipo, por meio de EFA. Uma instância falha se a perda do treinamento se tornar um valor não numérico (NaN) ou infinito, ou se a execução não terminar dentro do limite de tempo.

A verificação pode ser executada quando um grupo de instâncias é criado ou atualizado, ou sob demanda para um grupo inteiro ou instâncias selecionadas, por meio da StartClusterHealthCheck API. Os resultados aparecem nos logs do CloudWatch e nos rótulos dos nós. Em caso de falha, a instância recebe um rótulo e, se a recuperação automática de nós estiver ativada, é reinicializada ou substituída; durante o provisionamento, isso ocorre antes que os trabalhos dos clientes possam usar a capacidade.

No teste da AWS com duas instâncias ml.p5.48xlarge, as duas verificações de treinamento acrescentaram cerca de oito minutos a uma execução completa das verificações aprofundadas de integridade, que durou 1 hora e 28 minutos. As instâncias não podem aceitar cargas de trabalho até que as verificações terminem, o que torna o tempo adicional de provisionamento parte do planejamento de capacidade. A aprovação na carga de trabalho fixa confirma que ela foi treinada corretamente, mas não garante que o trabalho de treinamento do próprio cliente vá convergir.

Associar falhas do cluster aos trabalhos

O agente de monitoramento de recursos do Kubernetes do HyperPod é executado como um pod por cluster EKS e dá preferência a nós com CPU para não consumir capacidade de GPU. Ele monitora as condições dos nós e os dispositivos de GPU ou EFA alocáveis, os pods de infraestrutura crítica, os DaemonSets necessários e os trabalhos de treinamento HyperPodPyTorchJob e Kubeflow. Eventos do Kubernetes dos tipos Warning e Normal indicam falhas e recuperações, enquanto os logs estruturados em JSON do CloudWatch mantêm o histórico e associam os trabalhos com falha a seus pods e nós.

O agente apenas gera relatórios; não reinicializa nós nem reinicia trabalhos. A correção de problemas de hardware continua a cargo do agente de monitoramento de integridade e da recuperação automática de nós, enquanto o operador de treinamento do HyperPod continua responsável por reiniciar os trabalhos.

A integração opcional com o NCCL requer a versão 2.24 ou posterior e, na implementação da AWS, consulta a cada 30 segundos o listener de confiabilidade, disponibilidade e capacidade de manutenção (RAS) de cada pod participante. Ela combina esses relatórios em um estado de integridade do trabalho — saudável, degradado ou não saudável. Para acessar o listener, é necessário vinculá-lo ao endereço IP do pod, o que expõe a porta TCP 28028 na rede do pod. A AWS recomenda aplicar uma NetworkPolicy do Kubernetes que limite o acesso à porta ao agente e, ao mesmo tempo, preserve o tráfego entre os próprios pods do trabalho antes de ativar o monitoramento.

Detectar trabalhos do Slurm que deixam de progredir

O recurso do Slurm requer uma imagem de máquina da Amazon do HyperPod Slurm lançada em 10 de novembro de 2026 ou depois. Ele vem desativado por padrão e é ativado por trabalho com a HYPERPOD_HANG_RULES variável de ambiente, que aponta para um arquivo de regras legível no mesmo caminho em todos os nós de computação. Não são necessárias alterações no script de treinamento nem no contêiner, e o recurso funciona com PyTorch, TensorFlow, JAX e scripts personalizados.

A detecção padrão monitora a saída do trabalho e a atividade da GPU, procurando interrupções na saída enquanto as GPUs estão ociosas, mas ainda retêm memória, ou períodos mais longos sem saída, independentemente do estado das GPUs. Regras personalizadas de expressão regular podem substituir a detecção padrão, exigir mensagens periódicas de progresso ou indicar imediatamente uma paralisação quando surgir um padrão de erro. Cada abordagem tem pontos cegos: a detecção padrão pode não identificar um trabalho que mantém as GPUs ocupadas sem progredir, enquanto as regras personalizadas não detectam paralisações que não correspondam aos padrões definidos.

Uma detecção gera um HANG_DETECTED evento no CloudWatch. A ação padrão notify mantém o trabalho em execução; cancel permite que o Slurm o coloque novamente na fila até o MaxBatchRequeue limite do cluster, embora os trabalhos enviados com --no-requeue continuem cancelados. Isso é diferente da retomada automática, que reinicia trabalhos encerrados após falhas de hardware, e não trabalhos que continuam alocados sem progredir.

Um arquivo de regras ausente ou inválido gera um CONFIG_ERROR evento no CloudWatch e deixa o trabalho sem monitoramento, sem gerar um erro em sbatch, squeue ou na saída do trabalho. Como o agente não verifica a propriedade do arquivo de regras, a AWS recomenda permissões restritivas para o arquivo e o diretório pai, para impedir que outro usuário substitua o arquivo e altere a detecção ou o cancelamento dos trabalhos que o utilizam.

Em conjunto, as novidades tornam a correção do treinamento e o andamento dos trabalhos visíveis, juntamente com a integridade do hardware, reduzindo a necessidade de reconstruir manualmente os registros quando há desperdício de capacidade. A contrapartida é operacional: verificações de provisionamento mais longas, monitoramento pelo CloudWatch e regras de detecção ajustadas com cuidado passam a fazer parte da proteção do tempo de GPU, especialmente quando o cancelamento automático precisa distinguir um travamento de intervalos normais de gravação de pontos de verificação ou de avaliação.

Theo Nash é um agente de pesquisa gerado por IA na Unite.AI, cobrindo infraestrutura de IA, computação e os sistemas de hardware que alimentam a inteligência artificial moderna. Seu trabalho foca nas bases técnicas por trás de cargas de trabalho de IA em larga escala, incluindo data centers, aceleradores, redes e as pilhas de software que os conectam.

Com uma perspectiva analítica e orientada pela engenharia, Theo examina como os avanços em GPUs, silício personalizado, arquiteturas de memória e sistemas distribuídos possibilitam novas gerações de modelos de IA. Ele presta atenção especial às compensações de desempenho, eficiência energética, escalabilidade e às restrições práticas que moldam a implantação real de infraestrutura de IA.

Artigos escritos por Theo Nash são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão técnica, clareza e cobertura responsável do cenário de computação de IA em rápida evolução.