Mô hình và nền tảng AI
AWS bổ sung tính năng xác thực quá trình huấn luyện và phát hiện tác vụ bị treo cho HyperPod

Điểm chínhHyperPod hiện xác minh rằng GPU thực sự tính toán kết quả huấn luyện chính xác thay vì…
Xem thêm
- HyperPod hiện xác minh rằng GPU thực sự tính toán kết quả huấn luyện chính xác thay vì chỉ kiểm tra tình trạng phần cứng.
- Quy tắc phát hiện treo 15 phút cắt giảm lãng phí của một công việc 32 phiên bản bị đình trệ từ khoảng 16.900 đô la xuống còn khoảng 530 đô la.
- Phát hiện treo Slurm mặc định tắt và một tệp quy tắc bị thiếu khiến các công việc bị giám sát một cách âm thầm.
Amazon Web Services công bố ba tính năng nâng cao độ tin cậy cho Amazon SageMaker HyperPod vào ngày 18 tháng 11 năm 2026, nhằm xử lý lỗi số học trong quá trình huấn luyện, sự cố Kubernetes và tác vụ Slurm bị đình trệ — những vấn đề có thể làm tiêu hao năng lực GPU trong khi từng nút riêng lẻ vẫn có vẻ hoạt động bình thường.
HyperPod vốn đã giám sát lỗi phần cứng, chạy các bước chẩn đoán chuyên sâu và kiểm tra khả năng giao tiếp giữa các phiên bản, đồng thời tự động khôi phục các nút bị lỗi. Tuy nhiên, những biện pháp này không cho biết GPU có tính toán chính xác kết quả huấn luyện hay không, tác vụ có còn tiến triển hay không, hoặc các dịch vụ Kubernetes mà tác vụ phụ thuộc vào có hoạt động hay không.
Ví dụ về chi phí của AWS cho thấy mức độ rủi ro: một tác vụ bị treo tám giờ trên 32 phiên bản ml.p5.48xlarge, tương đương 256 GPU NVIDIA H100, làm lãng phí 2.048 giờ GPU và tiêu tốn khoảng 16.900 USD, theo mức giá HyperPod theo nhu cầu ước tính là 66 USD mỗi giờ cho mỗi phiên bản tại khu vực US East (N. Virginia). Quy tắc phát hiện sau 15 phút giúp giảm chi phí trong tình huống đó xuống còn khoảng 530 USD bằng cách hủy tác vụ để Slurm có thể đưa tác vụ trở lại hàng đợi.
Kiểm tra tính chính xác của quá trình huấn luyện
MultiNodeTrainingValidation mở rộng các bước kiểm tra tình trạng chuyên sâu của HyperPod cho những cụm do Amazon Elastic Kubernetes Service (EKS) điều phối, sử dụng các nhóm phiên bản GPU NVIDIA có bật Elastic Fabric Adapter (EFA) được hỗ trợ. Bài kiểm tra Tiny Megatron chạy một khối lượng công việc Megatron-LM cố định trên tất cả GPU của mỗi phiên bản, trong khi bài kiểm tra Megatron chạy cùng khối lượng công việc trên các phiên bản cùng loại thông qua EFA. Một phiên bản bị đánh dấu lỗi nếu tổn thất huấn luyện trở thành giá trị không phải số (NaN) hoặc vô hạn, hoặc nếu lần chạy không hoàn tất trong thời hạn quy định.
Bước kiểm tra có thể chạy khi tạo hoặc cập nhật một nhóm phiên bản, hoặc theo yêu cầu cho toàn bộ nhóm hay các phiên bản được chọn thông qua StartClusterHealthCheck API. Kết quả xuất hiện trong nhật ký CloudWatch và nhãn nút. Nếu xảy ra lỗi, phiên bản sẽ được gắn nhãn và, khi bật tính năng tự động khôi phục nút, sẽ được khởi động lại hoặc thay thế; trong quá trình cấp phát, việc này diễn ra trước khi các tác vụ của khách hàng có thể sử dụng năng lực đó.
Trong thử nghiệm của AWS trên hai phiên bản ml.p5.48xlarge, hai bước kiểm tra huấn luyện làm tăng khoảng tám phút cho quy trình kiểm tra tình trạng chuyên sâu đầy đủ, vốn kéo dài 1 giờ 28 phút. Các phiên bản không thể nhận khối lượng công việc cho đến khi hoàn tất kiểm tra, vì vậy thời gian cấp phát bổ sung cần được tính đến khi lập kế hoạch năng lực. Việc vượt qua khối lượng công việc cố định xác nhận rằng khối lượng đó được huấn luyện chính xác, nhưng không bảo đảm tác vụ huấn luyện riêng của khách hàng sẽ hội tụ.
Liên kết sự cố cụm với tác vụ
HyperPod Kubernetes Resource Monitoring Agent chạy dưới dạng một pod cho mỗi cụm EKS và ưu tiên các nút CPU để không tiêu tốn năng lực GPU. Tác nhân này theo dõi trạng thái nút và các thiết bị GPU hoặc EFA có thể cấp phát, các pod hạ tầng trọng yếu, các DaemonSet bắt buộc, cùng các tác vụ huấn luyện HyperPodPyTorchJob và Kubeflow. Các sự kiện Kubernetes Warning và Normal đánh dấu lỗi và quá trình khôi phục, trong khi nhật ký CloudWatch dạng JSON có cấu trúc lưu lại lịch sử và liên kết các tác vụ thất bại với pod và nút tương ứng.
Tác nhân chỉ báo cáo; không khởi động lại nút hay chạy lại tác vụ. Việc khắc phục sự cố phần cứng vẫn do tác nhân giám sát tình trạng và tính năng tự động khôi phục nút đảm nhiệm, còn HyperPod training operator tiếp tục xử lý việc khởi động lại tác vụ.
Tích hợp NCCL là tùy chọn, yêu cầu phiên bản 2.24 trở lên và, theo cách triển khai của AWS, thăm dò bộ lắng nghe độ tin cậy, tính sẵn sàng và khả năng bảo trì (RAS) của từng pod tham gia cứ mỗi 30 giây. Tích hợp này tổng hợp các báo cáo thành trạng thái ở cấp tác vụ: khỏe mạnh, suy giảm hoặc không khỏe mạnh. Để truy cập bộ lắng nghe, cần liên kết bộ này với địa chỉ IP của pod, qua đó mở cổng TCP 28028 trên mạng pod. AWS khuyến nghị áp dụng Kubernetes NetworkPolicy để giới hạn quyền truy cập cổng chỉ cho tác nhân, đồng thời vẫn cho phép lưu lượng giữa các pod thuộc cùng tác vụ, trước khi bật tính năng giám sát.
Phát hiện tác vụ Slurm ngừng tiến triển
Tính năng dành cho Slurm yêu cầu Amazon Machine Image của HyperPod Slurm được phát hành vào hoặc sau ngày 10 tháng 11 năm 2026. Tính năng này mặc định bị tắt và được bật riêng cho từng tác vụ bằng HYPERPOD_HANG_RULES biến môi trường, biến này trỏ đến một tệp quy tắc có thể đọc được tại cùng một đường dẫn trên mọi nút tính toán. Không cần thay đổi tập lệnh huấn luyện hay vùng chứa, và tính năng này hoạt động với PyTorch, TensorFlow, JAX cùng các tập lệnh tùy chỉnh.
Cơ chế phát hiện mặc định theo dõi đầu ra của tác vụ và hoạt động GPU, tìm trường hợp đầu ra ngừng xuất hiện trong khi GPU ở trạng thái nhàn rỗi nhưng vẫn giữ bộ nhớ, hoặc trường hợp đầu ra im bặt trong thời gian dài hơn bất kể trạng thái GPU. Các quy tắc biểu thức chính quy tùy chỉnh có thể thay thế cơ chế phát hiện mặc định, yêu cầu thông báo tiến độ định kỳ hoặc lập tức xác định tác vụ bị treo khi xuất hiện một mẫu lỗi. Mỗi phương pháp đều có điểm mù: cơ chế phát hiện mặc định có thể bỏ sót tác vụ vẫn khiến GPU hoạt động nhưng không tiến triển, còn các quy tắc tùy chỉnh sẽ bỏ sót những trường hợp treo không được mô tả bằng mẫu quy tắc.
Mỗi lần phát hiện, hệ thống ghi một HANG_DETECTED sự kiện vào CloudWatch. Theo mặc định, notify hành động này để tác vụ tiếp tục chạy; cancel cho phép Slurm đưa tác vụ trở lại hàng đợi, tối đa theo MaxBatchRequeue giới hạn của cụm, mặc dù các tác vụ được gửi bằng --no-requeue vẫn bị hủy. Cơ chế này tách biệt với tính năng tự động tiếp tục, vốn khởi động lại các tác vụ kết thúc sau sự cố phần cứng chứ không phải các tác vụ vẫn được cấp phát tài nguyên nhưng không tiến triển.
Tệp quy tắc bị thiếu hoặc không hợp lệ sẽ tạo ra một CONFIG_ERROR ghi nhận sự kiện trong CloudWatch và để tác vụ không được giám sát, mà không có lỗi trong sbatch, squeue hoặc đầu ra của tác vụ. Vì tác nhân không kiểm tra quyền sở hữu tệp quy tắc, AWS khuyến nghị đặt quyền hạn chế cho tệp và thư mục cha để người dùng khác không thể thay thế tệp, làm thay đổi việc phát hiện hoặc hủy các tác vụ sử dụng tệp đó.
Những bổ sung này giúp theo dõi tính chính xác của quá trình huấn luyện và tiến độ tác vụ bên cạnh tình trạng phần cứng, giảm sự phụ thuộc vào việc tự tổng hợp nhật ký khi năng lực tính toán bị lãng phí. Đổi lại, quy trình vận hành sẽ phức tạp hơn: việc kiểm tra cấp phát kéo dài hơn, giám sát qua CloudWatch và các quy tắc phát hiện được tinh chỉnh cẩn thận trở thành những yếu tố cần thiết để bảo vệ thời gian sử dụng GPU, đặc biệt khi việc tự động hủy tác vụ phải phân biệt được tình trạng treo với quá trình tạo checkpoint bình thường hoặc những khoảng gián đoạn để đánh giá.












