โมเดลและแพลตฟอร์ม AI
AWS เพิ่มการตรวจสอบความถูกต้องของการฝึกและการตรวจจับงานที่ค้างใน HyperPod

ประเด็นสำคัญHyperPod ตรวจสอบแล้วว่าหน่วยประมวลผลกราฟิก (GPU) คำนวณผลลัพธ์การฝึกที่ถูกต้องจริง…
ดูเพิ่มเติม
- HyperPod ตรวจสอบแล้วว่าหน่วยประมวลผลกราฟิก (GPU) คำนวณผลลัพธ์การฝึกที่ถูกต้องจริง แทนที่จะตรวจสอบเพียงสุขภาพของฮาร์ดแวร์เท่านั้น
- กฎการตรวจจับการค้าง 15 นาทีช่วยลดความสูญเปล่าของงาน 32 อินสแตนซ์ที่หยุดชะงักจากประมาณ $16,900 เหลือประมาณ $530
- การตรวจจับการค้างของ Slurm ยังคงปิดอยู่โดยค่าเริ่มต้น และไฟล์กฎที่หายไปทำให้งานไม่ถูกตรวจสอบอย่างเงียบ ๆ
เมื่อวันที่ 18 พฤศจิกายน 2026 Amazon Web Services ประกาศความสามารถด้านความเสถียร 3 ประการสำหรับ Amazon SageMaker HyperPod เพื่อรับมือกับข้อผิดพลาดทางตัวเลข การขัดข้องของ Kubernetes และงาน Slurm ที่หยุดชะงัก ซึ่งอาจใช้ทรัพยากร GPU ต่อไปได้แม้โหนดแต่ละเครื่องจะยังดูเหมือนทำงานปกติ
HyperPod ตรวจสอบข้อผิดพลาดของฮาร์ดแวร์ ทำการวินิจฉัยเชิงลึก และทดสอบการสื่อสารระหว่างอินสแตนซ์อยู่แล้ว พร้อมกู้คืนโหนดที่มีปัญหาโดยอัตโนมัติ อย่างไรก็ตาม กลไกเหล่านี้ไม่สามารถบอกได้ว่า GPU คำนวณผลการฝึกได้ถูกต้องหรือไม่ งานยังคงคืบหน้าหรือไม่ หรือบริการ Kubernetes ที่งานต้องพึ่งพายังทำงานอยู่หรือไม่
ตัวอย่างค่าใช้จ่ายของ AWS แสดงให้เห็นถึงความเสี่ยงนี้: หากงานค้างนาน 8 ชั่วโมงบนอินสแตนซ์ ml.p5.48xlarge จำนวน 32 เครื่อง ซึ่งมี GPU NVIDIA H100 รวม 256 ตัว จะสูญเสียเวลาประมวลผล GPU ไป 2,048 ชั่วโมง และมีค่าใช้จ่ายประมาณ 16,900 ดอลลาร์สหรัฐ เมื่อคิดตามราคา HyperPod แบบออนดีมานด์โดยประมาณที่ 66 ดอลลาร์สหรัฐต่ออินสแตนซ์-ชั่วโมงใน US East (N. Virginia) หากตั้งกฎตรวจจับไว้ที่ 15 นาที ค่าใช้จ่ายในกรณีนี้จะลดลงเหลือประมาณ 530 ดอลลาร์สหรัฐ โดยยกเลิกงานเพื่อให้ Slurm นำงานกลับเข้าคิวได้
ทดสอบความถูกต้องของการฝึก
MultiNodeTrainingValidation ขยายการตรวจสอบสถานะเชิงลึกของ HyperPod สำหรับคลัสเตอร์ที่จัดการด้วย Amazon Elastic Kubernetes Service (EKS) โดยใช้อินสแตนซ์กลุ่ม GPU ของ NVIDIA ที่รองรับ Elastic Fabric Adapter (EFA) การทดสอบ Tiny Megatron จะเรียกใช้งาน Megatron-LM ที่กำหนดไว้บน GPU ทุกตัวในแต่ละอินสแตนซ์ ส่วนการทดสอบ Megatron จะเรียกใช้งานเดียวกันบนอินสแตนซ์ชนิดเดียวกันหลายเครื่องผ่าน EFA อินสแตนซ์จะถือว่าล้มเหลวหากค่าความสูญเสียในการฝึกกลายเป็นค่าที่ไม่ใช่ตัวเลข (NaN) หรือเป็นอนันต์ หรือหากการทำงานไม่เสร็จภายในเวลาที่กำหนด
การตรวจสอบนี้ทำงานได้เมื่อสร้างหรืออัปเดตกลุ่มอินสแตนซ์ หรือสั่งให้ทำงานได้ตามต้องการกับทั้งกลุ่มหรืออินสแตนซ์ที่เลือกผ่านทาง StartClusterHealthCheck API ผลการตรวจสอบจะแสดงในบันทึก CloudWatch และป้ายกำกับโหนด หากพบความล้มเหลว ระบบจะติดป้ายกำกับอินสแตนซ์ และหากเปิดใช้การกู้คืนโหนดอัตโนมัติไว้ ก็จะรีบูตหรือเปลี่ยนอินสแตนซ์นั้น ในระหว่างการจัดเตรียมระบบ ขั้นตอนนี้จะเกิดขึ้นก่อนที่งานของลูกค้าจะใช้ทรัพยากรดังกล่าวได้
ในการทดสอบของ AWS บนอินสแตนซ์ ml.p5.48xlarge จำนวน 2 เครื่อง การตรวจสอบการฝึกทั้ง 2 รายการเพิ่มเวลาประมาณ 8 นาทีให้กับการตรวจสอบสถานะเชิงลึกทั้งหมด ซึ่งใช้เวลา 1 ชั่วโมง 28 นาที อินสแตนซ์จะยังรับงานไม่ได้จนกว่าการตรวจสอบจะเสร็จสิ้น ดังนั้นจึงต้องนำเวลาจัดเตรียมระบบที่เพิ่มขึ้นนี้มาพิจารณาในการวางแผนความจุด้วย การผ่านการทดสอบด้วยงานที่กำหนดไว้ยืนยันได้ว่างานนั้นฝึกได้ถูกต้อง แต่ไม่ได้รับประกันว่างานฝึกของลูกค้าเองจะลู่เข้าสู่ผลลัพธ์ที่ต้องการ
เชื่อมโยงความล้มเหลวของคลัสเตอร์กับงาน
HyperPod Kubernetes Resource Monitoring Agent ทำงานเป็นพ็อดหนึ่งตัวต่อคลัสเตอร์ EKS และเลือกใช้โหนด CPU เพื่อไม่ให้กินทรัพยากร GPU โดยจะเฝ้าติดตามสถานะของโหนด อุปกรณ์ GPU หรือ EFA ที่จัดสรรได้ พ็อดโครงสร้างพื้นฐานที่สำคัญ DaemonSets ที่จำเป็น รวมถึงงานฝึก HyperPodPyTorchJob และ Kubeflow เหตุการณ์ Kubernetes ประเภท Warning และ Normal จะระบุความล้มเหลวและการกู้คืน ส่วนบันทึก CloudWatch ในรูปแบบ JSON ที่มีโครงสร้างจะเก็บประวัติไว้ และเชื่อมโยงงานที่ล้มเหลวกับพ็อดและโหนดที่เกี่ยวข้อง
เอเจนต์มีหน้าที่รายงานสถานะเท่านั้น ไม่ได้รีบูตโหนดหรือเริ่มงานใหม่ การแก้ไขปัญหาฮาร์ดแวร์ยังคงเป็นหน้าที่ของเอเจนต์ตรวจสอบสถานะและระบบกู้คืนโหนดอัตโนมัติ ขณะที่ตัวดำเนินการฝึกของ HyperPod ยังคงจัดการการเริ่มงานใหม่
การผสานรวม NCCL ซึ่งเป็นทางเลือก ต้องใช้เวอร์ชัน 2.24 ขึ้นไป และในระบบที่ AWS พัฒนาขึ้น จะตรวจสอบตัวรับฟังสถานะ reliability, availability and serviceability (RAS) ของพ็อดที่เข้าร่วมแต่ละตัวทุก 30 วินาที จากนั้นนำรายงานมาประมวลเป็นสถานะระดับงาน ได้แก่ ปกติ ประสิทธิภาพลดลง หรือไม่ปกติ การเข้าถึงตัวรับฟังนี้ต้องผูกกับ IP ของพ็อด ซึ่งจะเปิดพอร์ต TCP 28028 บนเครือข่ายพ็อด AWS แนะนำให้ใช้ Kubernetes NetworkPolicy จำกัดการเข้าถึงพอร์ตไว้เฉพาะเอเจนต์ พร้อมอนุญาตให้พ็อดภายในงานเดียวกันสื่อสารกันได้ ก่อนเปิดใช้การตรวจสอบ
ตรวจจับงาน Slurm ที่หยุดคืบหน้า
ความสามารถสำหรับ Slurm ต้องใช้ Amazon Machine Image ของ HyperPod Slurm ที่เผยแพร่ตั้งแต่วันที่ 10 พฤศจิกายน 2026 เป็นต้นไป โดยปิดไว้เป็นค่าเริ่มต้น และเปิดใช้แยกเป็นรายงานได้ด้วย HYPERPOD_HANG_RULES ตัวแปรสภาพแวดล้อม ซึ่งชี้ไปยังไฟล์กฎที่อ่านได้จากพาธเดียวกันบนโหนดประมวลผลทุกเครื่อง ไม่จำเป็นต้องแก้ไขสคริปต์การฝึกหรือคอนเทนเนอร์ และฟีเจอร์นี้ใช้งานได้กับ PyTorch, TensorFlow, JAX และสคริปต์ที่กำหนดเอง
การตรวจจับเริ่มต้นจะเฝ้าดูเอาต์พุตของงานและกิจกรรม GPU โดยตรวจหากรณีที่เอาต์พุตหยุดลงขณะที่ GPU ว่างแต่ยังคงใช้หน่วยความจำอยู่ หรือกรณีที่ไม่มีเอาต์พุตเป็นเวลานานขึ้นโดยไม่คำนึงถึงสถานะของ GPU ผู้ใช้สามารถใช้กฎนิพจน์ทั่วไปที่กำหนดเองแทนการตรวจจับเริ่มต้น กำหนดให้มีข้อความแจ้งความคืบหน้าเป็นระยะ หรือให้ถือว่างานค้างทันทีเมื่อพบรูปแบบข้อผิดพลาด แต่ละวิธีมีจุดบอด: การตรวจจับเริ่มต้นอาจพลาดงานที่ยังใช้ GPU อย่างต่อเนื่องแต่ไม่คืบหน้า ขณะที่กฎที่กำหนดเองจะตรวจไม่พบงานค้างที่ไม่ตรงกับรูปแบบที่ระบุไว้
เมื่อระบบตรวจพบ จะเขียน HANG_DETECTED เหตุการณ์ลงใน CloudWatch การดำเนินการเริ่มต้น notify จะปล่อยให้งานทำงานต่อไป ส่วนการดำเนินการอีกแบบหนึ่ง cancel ให้ Slurm นำงานกลับเข้าคิวได้สูงสุดตาม MaxBatchRequeue ขีดจำกัดของคลัสเตอร์ แม้งานที่ส่งด้วย --no-requeue จะยังคงถูกยกเลิก ทั้งนี้แยกจากการทำงานต่อโดยอัตโนมัติ ซึ่งจะเริ่มงานใหม่หลังจากงานสิ้นสุดลงเนื่องจากความล้มเหลวของฮาร์ดแวร์ ไม่ใช่กรณีที่งานยังคงได้รับการจัดสรรทรัพยากรแต่ไม่มีความคืบหน้า
หากไม่มีไฟล์กฎหรือไฟล์กฎไม่ถูกต้อง ระบบจะสร้าง CONFIG_ERROR เหตุการณ์ใน CloudWatch และปล่อยให้งานไม่ได้รับการตรวจสอบ โดยไม่มีข้อผิดพลาดใน sbatch, squeue หรือเอาต์พุตของงาน เนื่องจากเอเจนต์ไม่ได้ตรวจสอบสิทธิ์ความเป็นเจ้าของไฟล์กฎ AWS จึงแนะนำให้กำหนดสิทธิ์ของไฟล์และไดเรกทอรีหลักอย่างเข้มงวด เพื่อป้องกันไม่ให้ผู้ใช้อื่นแทนที่ไฟล์และเปลี่ยนแปลงการตรวจจับหรือการยกเลิกงานที่ใช้ไฟล์ดังกล่าว
เมื่อพิจารณารวมกัน คุณสมบัติที่เพิ่มเข้ามาช่วยให้มองเห็นความถูกต้องของการฝึกและความคืบหน้าของงานควบคู่กับสถานะของฮาร์ดแวร์ ลดการพึ่งพาการรวบรวมข้อมูลจากบันทึกด้วยตนเองเมื่อทรัพยากรถูกปล่อยให้สูญเปล่า อย่างไรก็ตาม สิ่งที่ต้องแลกมาคือภาระในการปฏิบัติงาน ได้แก่ การตรวจสอบระหว่างจัดสรรทรัพยากรที่ใช้เวลานานขึ้น การเฝ้าติดตามผ่าน CloudWatch และการปรับแต่งกฎตรวจจับอย่างรอบคอบ ซึ่งล้วนเป็นส่วนหนึ่งของการปกป้องเวลาใช้งาน GPU โดยเฉพาะเมื่อการยกเลิกงานโดยอัตโนมัติต้องแยกแยะภาวะงานค้างออกจากการบันทึกจุดตรวจตามปกติหรือช่วงเว้นระหว่างการประเมินผล












