AI 模型与平台
AWS 为 SageMaker HyperPod Slurm 新增托管集群扩展

要点集群扩展将节点软件转变为声明式状态,HyperPod会持续验证并协调该状态。
查看更多
- 集群扩展将节点软件转变为声明式状态,HyperPod会持续验证并协调该状态。
- 管理员可以更新设置或扩展版本,而无需更换节点或重新运行生命周期脚本。
- 迁移现有集群需要在维护窗口期间手动移除脚本安装的代理。
Amazon Web Services 于 2026 年 11 月 20 日推出了适用于 Amazon SageMaker HyperPod Slurm 的托管集群扩展,让用户能够通过 API 或 SageMaker AI 控制台,以声明式方式配置运行中节点上的软件。首批两种扩展涵盖可观测性和用户管理,包括目录集成。
此次发布针对的是共享 AI 训练集群中在完成预置后仍会发生变化的部分。2026 年期间,HyperPod 已新增由 API 驱动的 Slurm 配置、基于 AMI 的节点设置、持续预置、自动拓扑管理和深度健康检查。这些功能负责管理集群定义、容量、网络布局和硬件健康状况;集群扩展则将同样的方法应用于节点软件,以应对其随研究团队、监控需求和软件包版本变化而不断演进的情况。
为节点软件设定期望状态
管理员可以通过控制台、AWS CLI 或 SDK 安装、配置、更新和移除 AWS 托管的软件包。HyperPod 会在部署前根据所选扩展版本的架构验证设置,并将请求的版本和设置记录为期望状态。随后,节点代理会仅应用各节点角色所需的组件,包括通过扩容或替换新增的节点。
更新时只需提交发生变更的设置。HyperPod 会将这些设置合并到已存储的配置中,并仅重启受影响的组件,无需替换节点或重新运行生命周期脚本。安装新版扩展也无需更新 AMI。HyperPod 会在部署前根据新版本的架构检查已存储的设置,且升级只能向前进行。
部署期间,每个扩展都会报告“创建中”或“更新中”;当所有节点均运行所请求的配置且未报告问题时,状态为“活跃”;若节点发生故障或报告问题,状态则为“降级”。DescribeClusterExtension 会按原因汇总节点级健康问题,并提供代码、消息和受影响节点的数量。对于内部故障,HyperPod 会自动重试;对于其他原因,管理员可以先予以解决,再通过不包含任何配置变更的更新调用重试受影响的节点。
可观测性与用户管理
sagemaker-observability 扩展会收集节点、GPU、Elastic Fabric Adapter、Slurm 作业和 Slurm 集群指标,并将其发送到 Amazon CloudWatch 或 Amazon Managed Service for Prometheus。指标类别、级别和收集间隔均可配置;节点则只运行与自身角色相关的组件,例如在 GPU 节点上运行 DCGM 和 EFA 导出器,在控制器上运行 Slurm 集群指标组件。
可选的 Amazon Managed Grafana 工作区会提供预先创建的“集群”和“作业”仪表板。这些仪表板将集群范围的健康状况和 Slurm 状态,与逐节点基础设施指标以及各项作业的资源使用情况关联起来,其中包括 CPU、内存、GPU 利用率、磁盘 I/O 和 NCCL 数据。
sagemaker-user-management 扩展会创建 Linux 用户和组,确保各节点上的 ID 保持一致;按节点类型控制 SSH 和免密码 sudo 访问权限;并将用户注册到 Slurm 记账系统。账户可以在本地声明、从通过 LDAPS 连接的 Active Directory 获取,或同时采用这两种方式,其中也包括连接 AWS Directory Service for Microsoft Active Directory。新节点和替换节点会获得相同的配置,管理员则可以通过 API 检查访问权限,无需逐一登录每个节点。
迁移、权限与费用
集群扩展要求 HyperPod Slurm 集群使用 2026 年 11 月 2 日或之后发布的 HyperPod AMI,并启用持续预置。由于扩展会以 root 身份运行软件,AWS 将创建、更新和删除权限视为管理员权限,并建议不要向集群执行角色授予这些权限。该角色仍需能够访问指标目的地和 Active Directory 密钥,而用户管理则需要共享文件系统来存放主目录。独立的扩展 ARN 可让平台团队和监控团队分别管理不同的扩展。
现有集群可以逐项迁移功能,同时让脚本和扩展并存。迁移过程需要更新集群软件、在生命周期脚本中禁用相应功能、在维护窗口内手动移除由脚本安装的代理,并在清理后的集群上创建扩展。每个组件都必须由单一机制负责:若通过两种机制管理同一个导出器、用户或服务,可能导致安装或运行时冲突。组织专用软件仍可使用自定义 AMI 和生命周期脚本,管理员也仍可通过 SSH 直接访问和配置所有节点,包括控制器。
这两种扩展均可在支持 SageMaker HyperPod 的所有区域使用。集群扩展不收取额外费用,但客户仍需为底层资源付费,例如 CloudWatch、Amazon Managed Service for Prometheus 和 AWS Secrets Manager。
对于共享基础模型集群而言,实际影响是:通用节点软件将成为集群状态中声明式且持续接受检查的一部分,而不再只是分散在各处的配置脚本。移除通过脚本安装的代理,是整个集群范围内唯一需要手动完成的迁移步骤;此后,扩容节点和替换节点都会沿用相同的扩展设置,而组织专用工具仍由集群团队掌控。












