โมเดลและแพลตฟอร์ม AI
AWS เพิ่มส่วนขยายคลัสเตอร์ที่ AWS จัดการให้กับ SageMaker HyperPod Slurm

ประเด็นสำคัญส่วนขยายคลัสเตอร์เปลี่ยนซอฟต์แวร์โหนดให้เป็นสถานะที่ประกาศไว้ซึ่ง HyperPod…
ดูเพิ่มเติม
- ส่วนขยายคลัสเตอร์เปลี่ยนซอฟต์แวร์โหนดให้เป็นสถานะที่ประกาศไว้ซึ่ง HyperPod ตรวจสอบและปรับให้สอดคล้องอย่างต่อเนื่อง
- ผู้ดูแลระบบสามารถอัปเดตการตั้งค่าหรือเวอร์ชันของส่วนขยายได้โดยไม่ต้องเปลี่ยนโหนดหรือรันสคริปต์วงจรชีวิตใหม่
- การย้ายคลัสเตอร์ที่มีอยู่ต้องลบเอเจนต์ที่ติดตั้งโดยสคริปต์ด้วยตนเองในช่วงเวลาบำรุงรักษา
Amazon Web Services เปิดตัวส่วนขยายคลัสเตอร์ที่ AWS จัดการสำหรับ Amazon SageMaker HyperPod Slurm เมื่อวันที่ 20 พฤศจิกายน 2026 โดยนำการกำหนดค่าแบบประกาศสถานะมาใช้กับซอฟต์แวร์บนโหนดที่กำลังทำงาน ผ่าน API หรือคอนโซล SageMaker AI ส่วนขยายสองรายการแรกครอบคลุมการตรวจสอบระบบและการจัดการผู้ใช้ รวมถึงการเชื่อมต่อกับไดเรกทอรี
การเปิดตัวครั้งนี้ช่วยจัดการส่วนของคลัสเตอร์ฝึก AI แบบใช้ร่วมกันที่เปลี่ยนแปลงหลังจากจัดเตรียมระบบแล้ว ก่อนหน้านี้ในปี 2026 HyperPod ได้เพิ่มการกำหนดค่า Slurm ที่ขับเคลื่อนด้วย API การตั้งค่าโหนดโดยใช้ AMI การจัดเตรียมระบบอย่างต่อเนื่อง การจัดการโทโพโลยีโดยอัตโนมัติ และการตรวจสอบสถานะเชิงลึกแล้ว ฟีเจอร์เหล่านั้นจัดการคำจำกัดความของคลัสเตอร์ ความจุ โครงร่างเครือข่าย และสถานะฮาร์ดแวร์ ส่วนส่วนขยายคลัสเตอร์นำแนวทางเดียวกันนี้มาใช้กับซอฟต์แวร์บนโหนด ซึ่งเปลี่ยนแปลงไปตามการพัฒนาของทีมวิจัย ข้อกำหนดในการตรวจสอบระบบ และเวอร์ชันของแพ็กเกจ
กำหนดสถานะที่ต้องการสำหรับซอฟต์แวร์บนโหนด
ผู้ดูแลระบบสามารถติดตั้ง กำหนดค่า อัปเดต และนำแพ็กเกจที่ AWS จัดการออกได้ผ่านคอนโซล AWS CLI หรือ SDK HyperPod ตรวจสอบการตั้งค่ากับสคีมาของเวอร์ชันส่วนขยายที่เลือกก่อนเริ่มใช้งาน และบันทึกเวอร์ชันกับการตั้งค่าที่ร้องขอไว้เป็นสถานะที่ต้องการ จากนั้นเอเจนต์บนโหนดจะนำเฉพาะองค์ประกอบที่จำเป็นสำหรับบทบาทของแต่ละโหนดไปใช้ รวมถึงโหนดที่เพิ่มเข้ามาจากการขยายระบบหรือการเปลี่ยนโหนด
เมื่ออัปเดต ให้ส่งเฉพาะการตั้งค่าที่ต้องการเปลี่ยน HyperPod จะผสานการตั้งค่าเหล่านั้นเข้ากับการกำหนดค่าที่จัดเก็บไว้ แล้วเริ่มเฉพาะองค์ประกอบที่ได้รับผลกระทบใหม่ โดยไม่เปลี่ยนโหนดหรือเรียกใช้สคริปต์วงจรชีวิตซ้ำ นอกจากนี้ยังติดตั้งเวอร์ชันส่วนขยายใหม่ได้โดยไม่ต้องอัปเดต AMI ก่อนเริ่มใช้งาน HyperPod จะตรวจสอบการตั้งค่าที่จัดเก็บไว้กับสคีมาของเวอร์ชันใหม่ และการอัปเกรดทำได้เฉพาะไปข้างหน้าเท่านั้น
ส่วนขยายแต่ละรายการจะแสดงสถานะ Creating หรือ Updating ระหว่างการนำไปใช้ แสดงสถานะ Active เมื่อทุกโหนดใช้การกำหนดค่าที่ร้องขอและไม่มีรายงานปัญหา และแสดงสถานะ Degraded เมื่อโหนดทำงานล้มเหลวหรือรายงานปัญหา DescribeClusterExtension จะจัดกลุ่มปัญหาสถานะของโหนดตามสาเหตุ พร้อมรหัส ข้อความ และจำนวนโหนดที่ได้รับผลกระทบ HyperPod จะลองดำเนินการซ้ำเมื่อเกิดข้อผิดพลาดภายใน ส่วนสาเหตุอื่น ๆ ผู้ดูแลระบบสามารถแก้ไขได้ แล้วลองดำเนินการกับโหนดที่ได้รับผลกระทบอีกครั้งด้วยคำขออัปเดตที่ไม่มีการเปลี่ยนแปลงการกำหนดค่า
การตรวจสอบระบบและการจัดการผู้ใช้
ส่วนขยาย sagemaker-observability รวบรวมเมตริกของโหนด GPU Elastic Fabric Adapter งาน Slurm และคลัสเตอร์ Slurm แล้วส่งไปยัง Amazon CloudWatch หรือ Amazon Managed Service for Prometheus โดยกำหนดค่าหมวดหมู่ ระดับ และช่วงเวลาในการรวบรวมเมตริกได้ ขณะที่แต่ละโหนดจะเรียกใช้เฉพาะองค์ประกอบที่เกี่ยวข้องกับบทบาทของตน เช่น DCGM และตัวส่งออก EFA บนโหนด GPU และเมตริกคลัสเตอร์ Slurm บนโหนดตัวควบคุม
พื้นที่ทำงาน Amazon Managed Grafana ซึ่งเป็นตัวเลือกเสริมจะเพิ่มแดชบอร์ด Clusters และ Jobs ที่สร้างไว้ล่วงหน้า แดชบอร์ดเหล่านี้เชื่อมโยงสถานะของคลัสเตอร์โดยรวมและสถานะ Slurm เข้ากับเมตริกโครงสร้างพื้นฐานรายโหนดและการใช้ทรัพยากรของแต่ละงาน ซึ่งรวมถึง CPU หน่วยความจำ การใช้ GPU การรับส่งข้อมูลดิสก์ และข้อมูล NCCL
ส่วนขยาย sagemaker-user-management สร้างผู้ใช้และกลุ่ม Linux ที่มี ID ตรงกันทุกโหนด ควบคุมการเข้าถึง SSH และ sudo แบบไม่ใช้รหัสผ่านตามประเภทโหนด และลงทะเบียนผู้ใช้กับระบบบัญชีของ Slurm โดยประกาศบัญชีไว้ภายในเครื่อง ดึงข้อมูลจาก Active Directory ผ่าน LDAPS หรือใช้ทั้งสองวิธีร่วมกันก็ได้ รวมถึงเชื่อมต่อกับ AWS Directory Service for Microsoft Active Directory โหนดใหม่และโหนดที่นำมาแทนจะได้รับการกำหนดค่าแบบเดียวกัน และผู้ดูแลระบบตรวจสอบสิทธิ์การเข้าถึงผ่าน API ได้โดยไม่ต้องลงชื่อเข้าใช้แต่ละโหนด
การย้ายระบบ สิทธิ์ และค่าใช้จ่าย
ส่วนขยายคลัสเตอร์ต้องใช้กับคลัสเตอร์ HyperPod Slurm ที่ใช้ HyperPod AMI รุ่นวันที่ 2 พฤศจิกายน 2026 หรือใหม่กว่า และเปิดใช้การจัดเตรียมระบบอย่างต่อเนื่อง เนื่องจากส่วนขยายเรียกใช้ซอฟต์แวร์ในฐานะ root, AWS จึงถือว่าสิทธิ์สร้าง อัปเดต และลบเป็นสิทธิ์ระดับผู้ดูแลระบบ และแนะนำไม่ให้มอบสิทธิ์เหล่านี้แก่บทบาทการดำเนินงานของคลัสเตอร์ บทบาทดังกล่าวยังต้องเข้าถึงปลายทางเมตริกและข้อมูลลับของ Active Directory ได้ ขณะที่การจัดการผู้ใช้ต้องใช้ระบบไฟล์ที่ใช้ร่วมกันสำหรับไดเรกทอรีโฮม ARN ของส่วนขยายที่แยกจากกันช่วยให้ทีมแพลตฟอร์มและทีมตรวจสอบระบบดูแลส่วนขยายคนละรายการได้
คลัสเตอร์ที่มีอยู่แล้วสามารถย้ายความสามารถทีละรายการ โดยให้สคริปต์และส่วนขยายทำงานร่วมกันได้ กระบวนการนี้ต้องอัปเดตซอฟต์แวร์คลัสเตอร์ ปิดใช้ความสามารถนั้นในสคริปต์วงจรชีวิต นำเอเจนต์ที่ติดตั้งผ่านสคริปต์ออกด้วยตนเองในช่วงเวลาบำรุงรักษา และสร้างส่วนขยายบนคลัสเตอร์ที่ล้างองค์ประกอบเดิมแล้ว แต่ละองค์ประกอบต้องมีผู้ดูแลเพียงรายเดียว การจัดการตัวส่งออก ผู้ใช้ หรือบริการเดียวกันผ่านทั้งสองวิธีอาจทำให้เกิดข้อขัดแย้งในการติดตั้งหรือขณะทำงาน ทั้งนี้ยังใช้ AMI แบบกำหนดเองและสคริปต์วงจรชีวิตกับซอฟต์แวร์เฉพาะขององค์กรได้ และผู้ดูแลระบบยังคงเข้าถึงทุกโหนดผ่าน SSH และกำหนดค่าโดยตรงได้ รวมถึงโหนดตัวควบคุม
ส่วนขยายทั้งสองรายการพร้อมให้ใช้งานในทุกรีเจียนที่รองรับ SageMaker HyperPod โดยไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับส่วนขยายคลัสเตอร์ แต่ลูกค้าต้องชำระค่าใช้จ่ายของทรัพยากรพื้นฐาน เช่น CloudWatch, Amazon Managed Service for Prometheus และ AWS Secrets Manager
สำหรับคลัสเตอร์โมเดลพื้นฐานที่ใช้ร่วมกัน ผลต่อการดำเนินงานคือ ซอฟต์แวร์ที่ใช้ร่วมกันบนโหนดจะกลายเป็นส่วนหนึ่งของสถานะคลัสเตอร์ที่มีการประกาศกำหนดไว้และตรวจสอบอย่างต่อเนื่อง แทนที่จะเป็นชุดสคริปต์สำหรับจัดเตรียมระบบ การนำเอเจนต์ที่ติดตั้งด้วยสคริปต์ออกเป็นขั้นตอนการย้ายระบบเพียงขั้นตอนเดียวที่ต้องทำด้วยตนเองทั่วทั้งฟลีต หลังจากนั้น โหนดที่เพิ่มขึ้นเมื่อขยายระบบและโหนดที่เข้ามาแทนที่โหนดเดิมจะใช้การตั้งค่าส่วนขยายเดียวกัน ขณะที่ทีมคลัสเตอร์ยังคงควบคุมเครื่องมือเฉพาะขององค์กรได้












