AI 모델 및 플랫폼
AWS, SageMaker HyperPod Slurm에 관리형 클러스터 확장 기능 추가

핵심 포인트클러스터 확장은 노드 소프트웨어를 HyperPod가 지속적으로 검증하고 조정하는 선언된 상태로 전환합니다.
더 보기
- 클러스터 확장은 노드 소프트웨어를 HyperPod가 지속적으로 검증하고 조정하는 선언된 상태로 전환합니다.
- 관리자는 노드를 교체하거나 라이프사이클 스크립트를 다시 실행하지 않고도 설정이나 확장 버전을 업데이트할 수 있습니다.
- 기존 클러스터를 마이그레이션하려면 유지 관리 기간 동안 스크립트로 설치된 에이전트를 수동으로 제거해야 합니다.
Amazon Web Services는 2026년 11월 20일 Amazon SageMaker HyperPod Slurm용 관리형 클러스터 확장 기능을 출시했습니다. 이 기능을 사용하면 API 또는 SageMaker AI 콘솔을 통해 실행 중인 노드의 소프트웨어를 선언적으로 구성할 수 있습니다. 첫 번째 확장 기능 두 가지는 관측성과 사용자 관리를 다루며, 디렉터리 통합도 지원합니다.
이번 출시는 프로비저닝 이후에도 변경되는 공유 AI 학습 클러스터의 구성 요소를 관리하기 위한 것입니다. HyperPod는 2026년에 API 기반 Slurm 구성, AMI 기반 노드 설정, 지속적 프로비저닝, 자동 토폴로지 관리, 심층 상태 점검 기능을 이미 추가했습니다. 이러한 기능은 클러스터 정의, 용량, 네트워크 구성, 하드웨어 상태를 관리합니다. 클러스터 확장 기능은 연구팀, 모니터링 요구사항, 패키지 버전이 바뀌면서 함께 변경되는 노드 소프트웨어에도 같은 접근 방식을 적용합니다.
노드 소프트웨어의 원하는 상태
관리자는 콘솔, AWS CLI 또는 SDK를 통해 AWS 관리형 패키지를 설치, 구성, 업데이트 및 제거할 수 있습니다. HyperPod는 배포 전에 설정을 선택한 확장 기능 버전의 스키마와 대조해 검증하고, 요청된 버전과 설정을 원하는 상태로 기록합니다. 그런 다음 노드 에이전트가 각 노드의 역할에 필요한 구성 요소만 적용하며, 여기에는 스케일링이나 교체로 추가된 노드도 포함됩니다.
업데이트할 때는 변경되는 설정만 제출하면 됩니다. HyperPod는 해당 설정을 저장된 구성에 병합하고, 노드를 교체하거나 수명 주기 스크립트를 다시 실행하지 않은 채 영향을 받는 구성 요소만 재시작합니다. AMI를 업데이트하지 않고도 새 확장 기능 버전을 설치할 수 있습니다. HyperPod는 배포 전에 저장된 설정을 새 버전의 스키마와 대조해 확인하며, 업그레이드는 상위 버전으로만 진행됩니다.
배포 중에는 각 확장 기능의 상태가 생성 중 또는 업데이트 중으로 표시됩니다. 모든 노드가 요청된 구성을 실행하고 보고된 문제가 없으면 활성으로 표시되며, 노드 실행이 실패하거나 문제가 보고되면 성능 저하로 표시됩니다. DescribeClusterExtension은 노드 수준의 상태 문제를 원인별로 묶어 코드, 메시지, 영향을 받는 노드 수와 함께 보여 줍니다. HyperPod는 내부 오류가 발생하면 재시도합니다. 관리자는 그 밖의 원인을 해결한 뒤 구성 변경 없이 업데이트를 호출해 영향을 받은 노드에서 다시 시도할 수 있습니다.
관측성과 사용자 관리
sagemaker-observability 확장 기능은 노드, GPU, Elastic Fabric Adapter, Slurm 작업 및 Slurm 클러스터 지표를 수집해 Amazon CloudWatch 또는 Amazon Managed Service for Prometheus로 전송합니다. 지표 범주, 수준, 수집 간격은 구성할 수 있으며, 각 노드에서는 역할에 필요한 구성 요소만 실행됩니다. 예를 들어 GPU 노드에서는 DCGM 및 EFA 내보내기를 실행하고, 컨트롤러에서는 Slurm 클러스터 지표를 수집합니다.
선택 사항인 Amazon Managed Grafana 워크스페이스를 추가하면 미리 만들어진 Clusters 및 Jobs 대시보드를 이용할 수 있습니다. 이 대시보드는 클러스터 전체 상태와 Slurm 상태를 노드별 인프라 지표 및 개별 작업의 리소스 사용량과 연결해 보여 줍니다. 여기에는 CPU, 메모리, GPU 사용률, 디스크 I/O 및 NCCL 데이터가 포함됩니다.
sagemaker-user-management 확장 기능은 노드 전반에서 일관된 ID를 사용하는 Linux 사용자와 그룹을 만들고, 노드 유형별로 SSH 및 비밀번호 없는 sudo 접근을 제어하며, 사용자를 Slurm 계정 관리에 등록합니다. 계정은 로컬에서 선언하거나, LDAPS를 통해 Active Directory에서 가져오거나, 두 방식을 함께 사용할 수 있습니다. 여기에는 AWS Directory Service for Microsoft Active Directory에 연결하는 방식도 포함됩니다. 새 노드와 교체 노드에는 동일한 구성이 적용되며, 관리자는 각 노드에 로그인하지 않고도 API를 통해 접근 권한을 검토할 수 있습니다.
마이그레이션, 권한 및 비용
클러스터 확장 기능을 사용하려면 2026년 11월 2일 버전 또는 그 이후 버전의 HyperPod AMI를 사용하는 HyperPod Slurm 클러스터에서 지속적 프로비저닝을 활성화해야 합니다. 확장 기능은 루트 권한으로 소프트웨어를 실행하므로 AWS는 확장 기능의 생성, 업데이트, 삭제 권한을 관리자 권한으로 간주하며, 클러스터 실행 역할에는 이러한 권한을 부여하지 말 것을 권고합니다. 이 역할에는 여전히 지표 대상과 Active Directory 보안 암호에 대한 접근 권한이 필요하며, 사용자 관리에는 홈 디렉터리를 위한 공유 파일 시스템이 필요합니다. 확장 기능마다 별도의 ARN을 사용하므로 플랫폼 팀과 모니터링 팀이 서로 다른 확장 기능을 관리할 수 있습니다.
기존 클러스터는 스크립트와 확장 기능을 함께 사용하면서 기능을 한 번에 하나씩 마이그레이션할 수 있습니다. 이 과정에서는 클러스터 소프트웨어를 업데이트하고, 수명 주기 스크립트에서 해당 기능을 비활성화하며, 유지보수 시간에 스크립트로 설치한 에이전트를 수동으로 제거한 다음, 정리된 클러스터에 확장 기능을 만들어야 합니다. 각 구성 요소는 한 가지 방식으로만 관리해야 합니다. 동일한 내보내기 도구, 사용자 또는 서비스를 두 방식으로 모두 관리하면 설치 또는 실행 중 충돌이 발생할 수 있습니다. 조직별 소프트웨어에는 사용자 지정 AMI와 수명 주기 스크립트를 계속 사용할 수 있으며, 관리자는 컨트롤러를 포함한 모든 노드에 SSH로 접속해 직접 구성을 변경할 수 있습니다.
두 확장 기능은 SageMaker HyperPod가 지원되는 모든 리전에서 사용할 수 있습니다. 클러스터 확장 기능에는 추가 요금이 없지만, 고객은 CloudWatch, Amazon Managed Service for Prometheus, AWS Secrets Manager와 같은 기반 리소스의 사용료를 지불해야 합니다.
기반 모델을 공유하는 클러스터에서는 공통 노드 소프트웨어가 프로비저닝 스크립트의 모음이 아니라, 선언되고 지속적으로 점검되는 클러스터 상태의 일부가 됩니다. 스크립트로 설치한 에이전트를 제거하는 작업은 전체 플릿에 걸쳐 수동으로 진행해야 하는 유일한 마이그레이션 단계입니다. 이 작업이 끝나면 이후 확장된 노드와 교체 노드에는 동일한 확장 설정이 적용되며, 조직별 도구는 계속 클러스터 팀의 관리하에 둡니다.












