AI 모델 및 플랫폼
AWS, HyperPod에 학습 검증 및 중단 작업 감지 기능 추가

핵심 포인트HyperPod는 이제 하드웨어 상태만 확인하는 것이 아니라 GPU가 실제로 올바른 훈련 결과를 계산하는지 검증합니다.
더 보기
- HyperPod는 이제 하드웨어 상태만 확인하는 것이 아니라 GPU가 실제로 올바른 훈련 결과를 계산하는지 검증합니다.
- 15분 정지 감지 규칙은 정체된 32개 인스턴스 작업의 낭비를 약 $16,900에서 약 $530으로 줄입니다.
- Slurm 정지 감지는 기본적으로 꺼져 있으며 규칙 파일이 없으면 작업이 조용히 모니터링되지 않은 채 남습니다.
Amazon Web Services는 2026년 11월 18일 Amazon SageMaker HyperPod의 안정성을 높이는 세 가지 기능을 발표했다. 이 기능은 개별 노드가 여전히 정상으로 보이는 동안 GPU 용량을 소모할 수 있는 수치적 학습 오류, Kubernetes 장애, 멈춰 선 Slurm 작업을 겨냥한다.
HyperPod는 이미 하드웨어 오류를 모니터링하고, 심층 진단 검사를 실행하며, 인스턴스 간 통신을 테스트하고, 결함이 있는 노드를 자동으로 복구한다. 하지만 이러한 기능만으로는 GPU가 올바른 학습 결과를 계산하는지, 작업이 계속 진행 중인지, 작업에 필요한 Kubernetes 서비스가 정상적으로 작동하는지 확인할 수 없다.
AWS가 제시한 비용 사례는 잠재적 손실을 보여준다. NVIDIA H100 GPU 256개에 해당하는 ml.p5.48xlarge 인스턴스 32개에서 작업이 8시간 동안 멈추면 GPU 사용 시간 2,048시간이 낭비되고, 미국 동부(북부 버지니아)에서 HyperPod 인스턴스 시간당 온디맨드 요금이 약 66달러라고 가정할 때 비용은 약 16,900달러에 이른다. 15분 감지 규칙을 적용하면 작업을 취소해 Slurm이 다시 대기열에 넣도록 하므로 이 사례의 비용을 약 530달러로 줄일 수 있다.
학습 정확성 테스트
MultiNodeTrainingValidation은 Amazon Elastic Kubernetes Service(EKS)가 오케스트레이션하는 클러스터의 HyperPod 심층 상태 검사를 확장하며, 지원되는 Elastic Fabric Adapter(EFA) 지원 NVIDIA GPU 인스턴스 그룹을 대상으로 한다. Tiny Megatron 테스트는 각 인스턴스의 모든 GPU에서 정해진 Megatron-LM 작업을 실행하고, Megatron 테스트는 같은 유형의 여러 인스턴스에서 EFA를 통해 동일한 작업을 실행한다. 학습 손실이 숫자가 아닌 값(NaN)이나 무한대가 되거나, 제한 시간 내에 실행이 끝나지 않으면 인스턴스는 실패로 판정된다.
인스턴스 그룹을 생성하거나 업데이트할 때, 또는 전체 그룹이나 선택한 인스턴스에 대해 필요에 따라 실행할 수 있으며, 이때 StartClusterHealthCheck API를 사용한다. 결과는 CloudWatch 로그와 노드 레이블에 표시된다. 실패가 발생하면 해당 인스턴스에 레이블이 지정되며, 자동 노드 복구가 활성화된 경우 인스턴스가 재부팅되거나 교체된다. 프로비저닝 중에는 고객 작업이 해당 용량을 사용하기 전에 이 과정이 진행된다.
AWS가 ml.p5.48xlarge 인스턴스 2개에서 테스트한 결과, 두 가지 학습 검사를 추가하자 총 1시간 28분이 걸린 전체 심층 상태 검사 시간이 약 8분 늘어났다. 검사가 끝날 때까지 인스턴스는 작업을 받을 수 없으므로, 늘어난 프로비저닝 시간도 용량 계획에 반영해야 한다. 정해진 작업을 통과하면 해당 작업이 올바르게 학습되었음을 확인할 수 있지만, 고객의 실제 학습 작업이 수렴한다고 보장하지는 않는다.
클러스터 장애와 작업 연결
HyperPod Kubernetes Resource Monitoring Agent는 EKS 클러스터마다 하나의 파드로 실행되며, GPU 용량을 소모하지 않도록 CPU 노드를 우선 사용한다. 이 에이전트는 노드 상태와 할당 가능한 GPU 또는 EFA 장치, 핵심 인프라 파드, 필수 DaemonSet, HyperPodPyTorchJob 및 Kubeflow 학습 작업을 감시한다. Kubernetes의 Warning 및 Normal 이벤트는 장애와 복구를 표시하고, 구조화된 JSON CloudWatch 로그는 이력을 보존하며 실패한 작업을 해당 파드 및 노드와 연결한다.
이 에이전트는 상태를 보고하기만 하며 노드를 재부팅하거나 작업을 다시 시작하지는 않는다. 하드웨어 문제의 복구는 상태 모니터링 에이전트와 자동 노드 복구가 담당하고, HyperPod 학습 오퍼레이터는 계속해서 작업 재시작을 처리한다.
선택 사항인 NCCL 통합 기능을 사용하려면 버전 2.24 이상이 필요하다. AWS 구현에서는 참여하는 각 파드의 안정성·가용성·서비스 용이성(RAS) 리스너를 30초마다 확인한다. 이 보고를 종합해 작업 수준의 상태를 정상, 성능 저하 또는 비정상으로 판정한다. 리스너에 연결하려면 파드 IP에 바인딩해야 하므로 파드 네트워크에서 TCP 포트 28028이 노출된다. AWS는 모니터링을 활성화하기 전에 작업 자체의 파드 간 트래픽은 허용하면서 에이전트만 포트에 접근하도록 제한하는 Kubernetes NetworkPolicy를 적용할 것을 권장한다.
진행이 멈춘 Slurm 작업 감지
Slurm 기능을 사용하려면 2026년 11월 10일 또는 그 이후에 출시된 HyperPod Slurm Amazon Machine Image가 필요하다. 기본적으로 비활성화되어 있으며 작업별로 환경 변수를 통해 활성화한다. HYPERPOD_HANG_RULES 이 환경 변수는 모든 컴퓨팅 노드에서 같은 경로로 읽을 수 있는 규칙 파일을 지정한다. 학습 스크립트나 컨테이너를 변경할 필요가 없으며, PyTorch, TensorFlow, JAX 및 사용자 지정 스크립트에서 이 기능을 사용할 수 있다.
기본 감지 방식은 작업 출력과 GPU 활동을 살펴본다. GPU가 메모리를 계속 점유한 채 유휴 상태인 동안 출력이 멈추는 경우나 GPU 상태와 관계없이 출력이 장시간 없는 경우를 찾는다. 사용자 지정 정규식 규칙으로 기본 감지 방식을 대체하거나, 주기적인 진행 메시지를 요구하거나, 오류 패턴이 나타나는 즉시 작업 중단을 판정할 수 있다. 각 방식에는 놓치는 경우가 있다. 기본 감지는 GPU를 계속 사용하면서도 진행하지 않는 작업을 놓칠 수 있고, 사용자 지정 규칙은 패턴으로 설명하지 못하는 작업 중단을 감지하지 못한다.
감지 시 HANG_DETECTED CloudWatch에 이벤트를 기록한다. 기본 notify 동작은 작업을 계속 실행 상태로 두는 것이며, cancel Slurm이 작업을 다시 대기열에 넣도록 해 클러스터의 MaxBatchRequeue 제한 횟수까지 다시 대기열에 넣을 수 있지만, 해당 설정으로 제출된 작업은 --no-requeue 계속 취소된 상태로 남는다. 이는 하드웨어 장애로 종료된 작업을 재시작하는 자동 재개 기능과는 별개다. 자동 재개는 용량을 할당받은 채 진행되지 않는 작업이 아니라 하드웨어 장애로 종료된 작업을 재시작한다.
규칙 파일이 없거나 유효하지 않으면 다음과 같은 결과가 발생한다. CONFIG_ERROR CloudWatch에 이벤트를 기록하고 작업을 모니터링하지 않는 상태로 두며, sbatch, squeue 오류를 CloudWatch나 작업 출력에 남기지 않습니다. 에이전트는 규칙 파일의 소유권을 확인하지 않으므로, 다른 사용자가 파일을 바꿔치기해 해당 파일을 사용하는 작업의 감지 또는 취소 동작을 변경하지 못하도록 파일과 상위 디렉터리에 제한적인 권한을 설정할 것을 AWS는 권장합니다.
이러한 추가 기능을 통해 하드웨어 상태와 함께 학습의 정확성과 작업 진행 상황을 확인할 수 있어, 용량이 낭비될 때 로그를 수동으로 재구성하는 데 덜 의존하게 됩니다. 다만 운영 측면에서는 대가가 따릅니다. 특히 자동 취소 기능이 작업 중단과 정상적인 체크포인트 저장 또는 평가 공백을 구분해야 하는 경우, GPU 시간을 보호하려면 프로비저닝 확인에 더 많은 시간을 들이고 CloudWatch를 모니터링하며 감지 규칙을 세심하게 조정해야 합니다.












