AI 模型与平台
AWS 为 HyperPod 新增训练验证和作业挂起检测功能

要点HyperPod现在会验证GPU是否真正计算出正确的训练结果,而不仅仅是检查硬件健康状况。
查看更多
- HyperPod现在会验证GPU是否真正计算出正确的训练结果,而不仅仅是检查硬件健康状况。
- 一条15分钟的挂起检测规则将停滞的32实例作业的浪费从约16,900美元降至约530美元。
- Slurm挂起检测默认保持关闭,而缺少规则文件会使作业在无提示的情况下处于未监控状态。
Amazon Web Services 于 2026 年 11 月 18 日 宣布,将为 Amazon SageMaker HyperPod 增添三项可靠性功能,针对数值训练故障、Kubernetes 故障和停滞的 Slurm 作业;这些问题可能会占用 GPU 容量,而单个节点看起来仍然运行正常。
HyperPod 已能监控硬件错误、运行深度诊断检查并测试实例间的通信,还能自动恢复故障节点。但这些机制无法判断 GPU 是否计算出了正确的训练结果、作业是否仍在推进,或作业所依赖的 Kubernetes 服务是否正常运行。
AWS 的成本示例显示了潜在损失:32 个 ml.p5.48xlarge 实例挂起 8 小时,相当于 256 个 NVIDIA H100 GPU,浪费 2,048 个 GPU 小时;按美国东部(弗吉尼亚北部)HyperPod 约 66 美元的按需实例小时价格计算,成本约为 16,900 美元。若设置 15 分钟的检测规则,并取消作业以便 Slurm 将其重新排队,该场景的成本可降至约 530 美元。
测试训练正确性
MultiNodeTrainingValidation 扩展了 HyperPod 的深度运行状况检查,适用于由 Amazon Elastic Kubernetes Service (EKS) 编排、使用受支持的 Elastic Fabric Adapter (EFA) 的 NVIDIA GPU 实例组。其 Tiny Megatron 测试会在每个实例的所有 GPU 上运行固定的 Megatron-LM 工作负载;Megatron 测试则通过 EFA,在同类型实例之间运行相同的工作负载。如果训练损失变为非数值(NaN)或无穷大,或者运行未能在时限内完成,该实例就会被判定为失败。
在创建或更新实例组时可以运行此检查,也可以按需针对整个实例组或选定实例运行,调用 StartClusterHealthCheck API。结果会显示在 CloudWatch 日志和节点标签中。检查失败时,系统会为该实例添加标签;如果启用了自动节点恢复功能,则会重启或替换该实例。在资源配置期间,这一过程会在客户作业能够使用这些容量之前完成。
在 AWS 对两个 ml.p5.48xlarge 实例进行的测试中,两项训练检查使完整的深度运行状况检查流程增加了约 8 分钟;该流程总时长为 1 小时 28 分钟。检查完成前,实例无法接收工作负载,因此额外的配置时间必须纳入容量规划。通过固定工作负载测试,说明该工作负载训练正确,但不能保证客户自己的训练作业会收敛。
将集群故障关联到作业
HyperPod Kubernetes Resource Monitoring Agent 在每个 EKS 集群中运行一个 Pod,并优先使用 CPU 节点,以免占用 GPU 容量。它会监控节点状况和可分配的 GPU 或 EFA 设备、关键基础设施 Pod、必需的 DaemonSet,以及 HyperPodPyTorchJob 和 Kubeflow 训练作业。Kubernetes 的 Warning 和 Normal 事件会标记故障及恢复情况;结构化的 JSON CloudWatch 日志则会保留历史记录,并将失败的作业关联到其 Pod 和节点。
该代理只负责报告,不会重启节点或重新启动作业。硬件故障处理仍由运行状况监控代理和自动节点恢复功能负责,而 HyperPod 训练运算符继续处理作业重启。
可选的 NCCL 集成要求版本为 2.24 或更高版本;在 AWS 的实现中,它每隔 30 秒轮询每个参与 Pod 的可靠性、可用性和可服务性(RAS)监听器,并将这些报告汇总为作业级别的健康、降级或不健康状态。要访问该监听器,必须将其绑定到 Pod IP,这会在 Pod 网络上开放 TCP 端口 28028。AWS 建议在启用监控之前应用 Kubernetes NetworkPolicy,将端口访问限制为仅代理可用,同时保留作业自身各 Pod 之间的流量。
检测停止推进的 Slurm 作业
这项 Slurm 功能要求使用 2026 年 11 月 10 日或之后发布的 HyperPod Slurm Amazon Machine Image。该功能默认关闭,必须为每个作业启用,方法是设置 HYPERPOD_HANG_RULES 环境变量。该变量指向一个规则文件,并且每个计算节点都必须能在同一路径读取该文件。无需更改训练脚本或容器;该功能适用于 PyTorch、TensorFlow、JAX 和自定义脚本。
默认检测方式会监控作业输出和 GPU 活动,查找 GPU 空闲但仍占用显存时输出停止的情况,或查找无论 GPU 状态如何、输出静默时间过长的情况。自定义正则表达式规则可以取代默认检测方式、要求定期发送进度消息,或在出现错误模式时立即判定为挂起。每种方式都有盲点:默认检测可能漏掉持续占用 GPU 却没有进展的作业;自定义规则则无法检测其模式未描述的挂起情况。
检测到挂起时,会向 HANG_DETECTED CloudWatch 写入一条事件。默认 notify 操作会让作业继续运行; cancel 则允许 Slurm 将作业重新排队,次数最多达到集群的 MaxBatchRequeue 上限;不过,使用相关设置提交的作业 --no-requeue 仍会保持取消状态。这与自动恢复不同:自动恢复会重启因硬件故障而退出的作业,而不是那些仍占用资源却没有进展的作业。
规则文件缺失或无效时,会产生一条 CONFIG_ERROR 在 CloudWatch 中记录事件,并使作业处于无人监控状态,而且不会在 sbatch, squeue 或作业输出中出现错误。由于代理不会检查规则文件的所有权,AWS 建议对文件及其父目录设置严格的权限,防止其他用户替换文件,从而改变使用该文件的作业的检测或取消行为。
这些新增功能让训练正确性和作业进度与硬件健康状况一样清晰可见,减少了容量被浪费时依赖手动重建日志的情况。代价在于运维方面:更长的资源配置检查、CloudWatch 监控以及经过仔细调校的检测规则,都将成为保障 GPU 使用时间的一部分;尤其是在自动取消作业时,必须能够区分作业挂起与正常的检查点保存或评估间隔。












