โมเดลและแพลตฟอร์ม AI

AWS เพิ่มส่วนขยายคลัสเตอร์ที่ AWS จัดการให้กับ SageMaker HyperPod Slurm

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญส่วนขยายคลัสเตอร์เปลี่ยนซอฟต์แวร์โหนดให้เป็นสถานะที่ประกาศไว้ซึ่ง HyperPod…
ดูเพิ่มเติม
  • ส่วนขยายคลัสเตอร์เปลี่ยนซอฟต์แวร์โหนดให้เป็นสถานะที่ประกาศไว้ซึ่ง HyperPod ตรวจสอบและปรับให้สอดคล้องอย่างต่อเนื่อง
  • ผู้ดูแลระบบสามารถอัปเดตการตั้งค่าหรือเวอร์ชันของส่วนขยายได้โดยไม่ต้องเปลี่ยนโหนดหรือรันสคริปต์วงจรชีวิตใหม่
  • การย้ายคลัสเตอร์ที่มีอยู่ต้องลบเอเจนต์ที่ติดตั้งโดยสคริปต์ด้วยตนเองในช่วงเวลาบำรุงรักษา

Amazon Web Services เปิดตัวส่วนขยายคลัสเตอร์ที่ AWS จัดการสำหรับ Amazon SageMaker HyperPod Slurm เมื่อวันที่ 20 พฤศจิกายน 2026 โดยนำการกำหนดค่าแบบประกาศสถานะมาใช้กับซอฟต์แวร์บนโหนดที่กำลังทำงาน ผ่าน API หรือคอนโซล SageMaker AI ส่วนขยายสองรายการแรกครอบคลุมการตรวจสอบระบบและการจัดการผู้ใช้ รวมถึงการเชื่อมต่อกับไดเรกทอรี

การเปิดตัวครั้งนี้ช่วยจัดการส่วนของคลัสเตอร์ฝึก AI แบบใช้ร่วมกันที่เปลี่ยนแปลงหลังจากจัดเตรียมระบบแล้ว ก่อนหน้านี้ในปี 2026 HyperPod ได้เพิ่มการกำหนดค่า Slurm ที่ขับเคลื่อนด้วย API การตั้งค่าโหนดโดยใช้ AMI การจัดเตรียมระบบอย่างต่อเนื่อง การจัดการโทโพโลยีโดยอัตโนมัติ และการตรวจสอบสถานะเชิงลึกแล้ว ฟีเจอร์เหล่านั้นจัดการคำจำกัดความของคลัสเตอร์ ความจุ โครงร่างเครือข่าย และสถานะฮาร์ดแวร์ ส่วนส่วนขยายคลัสเตอร์นำแนวทางเดียวกันนี้มาใช้กับซอฟต์แวร์บนโหนด ซึ่งเปลี่ยนแปลงไปตามการพัฒนาของทีมวิจัย ข้อกำหนดในการตรวจสอบระบบ และเวอร์ชันของแพ็กเกจ

กำหนดสถานะที่ต้องการสำหรับซอฟต์แวร์บนโหนด

ผู้ดูแลระบบสามารถติดตั้ง กำหนดค่า อัปเดต และนำแพ็กเกจที่ AWS จัดการออกได้ผ่านคอนโซล AWS CLI หรือ SDK HyperPod ตรวจสอบการตั้งค่ากับสคีมาของเวอร์ชันส่วนขยายที่เลือกก่อนเริ่มใช้งาน และบันทึกเวอร์ชันกับการตั้งค่าที่ร้องขอไว้เป็นสถานะที่ต้องการ จากนั้นเอเจนต์บนโหนดจะนำเฉพาะองค์ประกอบที่จำเป็นสำหรับบทบาทของแต่ละโหนดไปใช้ รวมถึงโหนดที่เพิ่มเข้ามาจากการขยายระบบหรือการเปลี่ยนโหนด

เมื่ออัปเดต ให้ส่งเฉพาะการตั้งค่าที่ต้องการเปลี่ยน HyperPod จะผสานการตั้งค่าเหล่านั้นเข้ากับการกำหนดค่าที่จัดเก็บไว้ แล้วเริ่มเฉพาะองค์ประกอบที่ได้รับผลกระทบใหม่ โดยไม่เปลี่ยนโหนดหรือเรียกใช้สคริปต์วงจรชีวิตซ้ำ นอกจากนี้ยังติดตั้งเวอร์ชันส่วนขยายใหม่ได้โดยไม่ต้องอัปเดต AMI ก่อนเริ่มใช้งาน HyperPod จะตรวจสอบการตั้งค่าที่จัดเก็บไว้กับสคีมาของเวอร์ชันใหม่ และการอัปเกรดทำได้เฉพาะไปข้างหน้าเท่านั้น

ส่วนขยายแต่ละรายการจะแสดงสถานะ Creating หรือ Updating ระหว่างการนำไปใช้ แสดงสถานะ Active เมื่อทุกโหนดใช้การกำหนดค่าที่ร้องขอและไม่มีรายงานปัญหา และแสดงสถานะ Degraded เมื่อโหนดทำงานล้มเหลวหรือรายงานปัญหา DescribeClusterExtension จะจัดกลุ่มปัญหาสถานะของโหนดตามสาเหตุ พร้อมรหัส ข้อความ และจำนวนโหนดที่ได้รับผลกระทบ HyperPod จะลองดำเนินการซ้ำเมื่อเกิดข้อผิดพลาดภายใน ส่วนสาเหตุอื่น ๆ ผู้ดูแลระบบสามารถแก้ไขได้ แล้วลองดำเนินการกับโหนดที่ได้รับผลกระทบอีกครั้งด้วยคำขออัปเดตที่ไม่มีการเปลี่ยนแปลงการกำหนดค่า

การตรวจสอบระบบและการจัดการผู้ใช้

ส่วนขยาย sagemaker-observability รวบรวมเมตริกของโหนด GPU Elastic Fabric Adapter งาน Slurm และคลัสเตอร์ Slurm แล้วส่งไปยัง Amazon CloudWatch หรือ Amazon Managed Service for Prometheus โดยกำหนดค่าหมวดหมู่ ระดับ และช่วงเวลาในการรวบรวมเมตริกได้ ขณะที่แต่ละโหนดจะเรียกใช้เฉพาะองค์ประกอบที่เกี่ยวข้องกับบทบาทของตน เช่น DCGM และตัวส่งออก EFA บนโหนด GPU และเมตริกคลัสเตอร์ Slurm บนโหนดตัวควบคุม

พื้นที่ทำงาน Amazon Managed Grafana ซึ่งเป็นตัวเลือกเสริมจะเพิ่มแดชบอร์ด Clusters และ Jobs ที่สร้างไว้ล่วงหน้า แดชบอร์ดเหล่านี้เชื่อมโยงสถานะของคลัสเตอร์โดยรวมและสถานะ Slurm เข้ากับเมตริกโครงสร้างพื้นฐานรายโหนดและการใช้ทรัพยากรของแต่ละงาน ซึ่งรวมถึง CPU หน่วยความจำ การใช้ GPU การรับส่งข้อมูลดิสก์ และข้อมูล NCCL

ส่วนขยาย sagemaker-user-management สร้างผู้ใช้และกลุ่ม Linux ที่มี ID ตรงกันทุกโหนด ควบคุมการเข้าถึง SSH และ sudo แบบไม่ใช้รหัสผ่านตามประเภทโหนด และลงทะเบียนผู้ใช้กับระบบบัญชีของ Slurm โดยประกาศบัญชีไว้ภายในเครื่อง ดึงข้อมูลจาก Active Directory ผ่าน LDAPS หรือใช้ทั้งสองวิธีร่วมกันก็ได้ รวมถึงเชื่อมต่อกับ AWS Directory Service for Microsoft Active Directory โหนดใหม่และโหนดที่นำมาแทนจะได้รับการกำหนดค่าแบบเดียวกัน และผู้ดูแลระบบตรวจสอบสิทธิ์การเข้าถึงผ่าน API ได้โดยไม่ต้องลงชื่อเข้าใช้แต่ละโหนด

การย้ายระบบ สิทธิ์ และค่าใช้จ่าย

ส่วนขยายคลัสเตอร์ต้องใช้กับคลัสเตอร์ HyperPod Slurm ที่ใช้ HyperPod AMI รุ่นวันที่ 2 พฤศจิกายน 2026 หรือใหม่กว่า และเปิดใช้การจัดเตรียมระบบอย่างต่อเนื่อง เนื่องจากส่วนขยายเรียกใช้ซอฟต์แวร์ในฐานะ root, AWS จึงถือว่าสิทธิ์สร้าง อัปเดต และลบเป็นสิทธิ์ระดับผู้ดูแลระบบ และแนะนำไม่ให้มอบสิทธิ์เหล่านี้แก่บทบาทการดำเนินงานของคลัสเตอร์ บทบาทดังกล่าวยังต้องเข้าถึงปลายทางเมตริกและข้อมูลลับของ Active Directory ได้ ขณะที่การจัดการผู้ใช้ต้องใช้ระบบไฟล์ที่ใช้ร่วมกันสำหรับไดเรกทอรีโฮม ARN ของส่วนขยายที่แยกจากกันช่วยให้ทีมแพลตฟอร์มและทีมตรวจสอบระบบดูแลส่วนขยายคนละรายการได้

คลัสเตอร์ที่มีอยู่แล้วสามารถย้ายความสามารถทีละรายการ โดยให้สคริปต์และส่วนขยายทำงานร่วมกันได้ กระบวนการนี้ต้องอัปเดตซอฟต์แวร์คลัสเตอร์ ปิดใช้ความสามารถนั้นในสคริปต์วงจรชีวิต นำเอเจนต์ที่ติดตั้งผ่านสคริปต์ออกด้วยตนเองในช่วงเวลาบำรุงรักษา และสร้างส่วนขยายบนคลัสเตอร์ที่ล้างองค์ประกอบเดิมแล้ว แต่ละองค์ประกอบต้องมีผู้ดูแลเพียงรายเดียว การจัดการตัวส่งออก ผู้ใช้ หรือบริการเดียวกันผ่านทั้งสองวิธีอาจทำให้เกิดข้อขัดแย้งในการติดตั้งหรือขณะทำงาน ทั้งนี้ยังใช้ AMI แบบกำหนดเองและสคริปต์วงจรชีวิตกับซอฟต์แวร์เฉพาะขององค์กรได้ และผู้ดูแลระบบยังคงเข้าถึงทุกโหนดผ่าน SSH และกำหนดค่าโดยตรงได้ รวมถึงโหนดตัวควบคุม

ส่วนขยายทั้งสองรายการพร้อมให้ใช้งานในทุกรีเจียนที่รองรับ SageMaker HyperPod โดยไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับส่วนขยายคลัสเตอร์ แต่ลูกค้าต้องชำระค่าใช้จ่ายของทรัพยากรพื้นฐาน เช่น CloudWatch, Amazon Managed Service for Prometheus และ AWS Secrets Manager

สำหรับคลัสเตอร์โมเดลพื้นฐานที่ใช้ร่วมกัน ผลต่อการดำเนินงานคือ ซอฟต์แวร์ที่ใช้ร่วมกันบนโหนดจะกลายเป็นส่วนหนึ่งของสถานะคลัสเตอร์ที่มีการประกาศกำหนดไว้และตรวจสอบอย่างต่อเนื่อง แทนที่จะเป็นชุดสคริปต์สำหรับจัดเตรียมระบบ การนำเอเจนต์ที่ติดตั้งด้วยสคริปต์ออกเป็นขั้นตอนการย้ายระบบเพียงขั้นตอนเดียวที่ต้องทำด้วยตนเองทั่วทั้งฟลีต หลังจากนั้น โหนดที่เพิ่มขึ้นเมื่อขยายระบบและโหนดที่เข้ามาแทนที่โหนดเดิมจะใช้การตั้งค่าส่วนขยายเดียวกัน ขณะที่ทีมคลัสเตอร์ยังคงควบคุมเครื่องมือเฉพาะขององค์กรได้

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว