AWS เพิ่มการแบ่งพาร์ทิชัน GPU ของ NVIDIA ให้กับ SageMaker Inference Endpoints

Amazon Web Services (AWS) ประกาศรองรับ NVIDIA Multi-Instance GPU สำหรับ Amazon SageMaker Inference เมื่อวันที่ 6 พฤศจิกายน 2026 ทำให้โมเดลหลายตัวที่แยกการทำงานกันด้วยฮาร์ดแวร์สามารถใช้ตัวเร่งประมวลผลตัวเดียวร่วมกันบนเอนด์พอยต์แบบเรียลไทม์ได้ แทนการจัดสรร GPU ทั้งตัวให้กับการติดตั้งใช้งานแต่ละครั้ง

ฟีเจอร์นี้ช่วยแก้ข้อจำกัดสองประการของการจัดสรร GPU ทั้งตัว จำนวนตัวเร่งประมวลผลเป็นตัวกำหนดว่าอินสแตนซ์หนึ่งจะรองรับโมเดลได้กี่ตัว โดยไม่คำนึงว่าแต่ละโมเดลใช้หน่วยความจำหรือกำลังประมวลผลน้อยเพียงใด และลูกค้าที่พิจารณาใช้ GPU รุ่นใหม่กว่าก็ต้องจัดสรรอุปกรณ์ทั้งตัวให้โมเดลนั้น ขณะที่ Multi-Instance GPU (MIG) จะแบ่งแต่ละพาร์ทิชันให้มีส่วนแบ่งหน่วยประมวลผลคงที่และบล็อกหน่วยความจำเฉพาะ โดยใช้ฮาร์ดแวร์ควบคุมการแยกการทำงาน เนื่องจากแต่ละโมเดลยังคงอยู่ในหน่วยความจำ การจัดสรรรูปแบบนี้จึงช่วยเลี่ยงความล่าช้าที่เกิดขึ้นเมื่อเอนด์พอยต์แบบหลายโมเดลโหลดโมเดลลงในอุปกรณ์ที่ใช้ร่วมกันเพื่อเรียกใช้งานครั้งแรกด้วย

การแบ่งพาร์ทิชันใช้ได้เฉพาะกับเอนด์พอยต์แบบเรียลไทม์ที่ใช้คอมโพเนนต์การอนุมาน ซึ่งเป็นโครงสร้างของ SageMaker สำหรับติดตั้งใช้งานโมเดลหลายตัวบนเอนด์พอยต์เดียวและกำหนดกำลังประมวลผลที่แต่ละโมเดลจะได้รับ เอนด์พอยต์ที่มีโมเดลเดียว เอนด์พอยต์แบบไร้เซิร์ฟเวอร์ และพูลอินสแตนซ์แบบผสมไม่สามารถแบ่งพาร์ทิชันได้ งานแบบอะซิงโครนัสก็อยู่นอกขอบเขตของฟีเจอร์นี้เช่นกัน เนื่องจากการเรียกใช้งานแบบอะซิงโครนัสไม่สามารถระบุคอมโพเนนต์การอนุมานได้

Salesforce มีส่วนช่วยกำหนดข้อกำหนดและตรวจสอบการใช้งานเวอร์ชันแรก Richard Chang สถาปนิกวิศวกรรมซอฟต์แวร์ของ Salesforce กล่าวว่า บริษัทคาดว่า MIG จะช่วยรวมงานไว้ด้วยกันอย่างปลอดภัย เพิ่มอัตราการใช้งาน GPU และลดต้นทุนการอนุมาน พร้อมทั้งรักษาประสิทธิภาพและการแยกการทำงานให้คาดการณ์ได้ Salesforce กำลังเตรียมตรวจสอบซอฟต์แวร์ด้วยภาระงานจริงที่เป็นตัวแทนของการใช้งานจริง ดังนั้นประโยชน์เหล่านี้จึงยังเป็นเพียงสิ่งที่คาดหวัง ไม่ใช่ผลลัพธ์จากการใช้งานจริงที่มีการรายงานแล้ว

ฟิลด์ API สองรายการควบคุมการแบ่งพาร์ทิชัน

เอกสารสำหรับนักพัฒนาของ SageMaker AI ระบุฟิลด์ที่ไม่บังคับสองรายการ ได้แก่: AcceleratorPartitionLayouts ใช้ประกาศการแบ่งส่วนบนตัวแปรการใช้งานจริง และ AcceleratorPartitionType ใช้เลือกโปรไฟล์สำหรับคอมโพเนนต์การอนุมาน ไม่มีการดำเนินการ API ประเภททรัพยากร หรือการดำเนินการใน AWS Identity and Access Management เพิ่มเติม และหากไม่ระบุฟิลด์ทั้งสองรายการ ลักษณะการทำงานของเอนด์พอยต์จะยังคงเหมือนเดิม

เลย์เอาต์ที่เลือกจะมีผลเหมือนกันกับตัวเร่งประมวลผลทุกตัวในทุกอินสแตนซ์ของตัวแปรนั้น ตัวอย่างของ AWS แบ่ง A100 ทั้งแปดตัวใน ml.p4d.24xlarge ออกเป็น mig-4g.20gb, mig-2g.10gb และ mig-1g.5gb พาร์ทิชัน รวมเป็น 24 พาร์ทิชันทั่วทั้งเอนด์พอยต์ สำเนาของคอมโพเนนต์การอนุมานแต่ละชุดจะใช้พาร์ทิชันที่ร้องขอหนึ่งพาร์ทิชัน ขณะที่ InvokeEndpoint ยังคงระบุโมเดลด้วยชื่อคอมโพเนนต์ โดยไม่ต้องใช้ตัวระบุพาร์ทิชัน AWS ระบุว่าในการทดสอบ การแบ่งส่วนตัวเร่งประมวลผลทำให้เวลาเตรียมใช้งานเพิ่มขึ้นประมาณ 17 วินาที

การแยกการทำงานครอบคลุมกำลังประมวลผลและหน่วยความจำของ GPU แต่ไม่ครอบคลุมโฮสต์ทั้งเครื่อง โมเดลที่อยู่ในอินสแตนซ์เดียวกันยังคงใช้ CPU ของโฮสต์ หน่วยความจำของโฮสต์ พื้นที่จัดเก็บ เครือข่าย และการกำหนดเส้นทางของเอนด์พอยต์ร่วมกัน หากคอมโพเนนต์ร้องขอโปรไฟล์ที่ไม่มีอยู่ในเลย์เอาต์ ระบบจะปฏิเสธคำขอ แทนที่จะจัดสรร GPU ทั้งตัวให้ การเปลี่ยนเลย์เอาต์ของเอนด์พอยต์ที่กำลังทำงานต้องสร้างเอนด์พอยต์ใหม่และย้ายทราฟฟิก ส่วนการย้ายคอมโพเนนต์ไปยังโปรไฟล์อื่นต้องสร้างคอมโพเนนต์ใหม่

AWS ทดสอบพาร์ทิชัน H100 เทียบกับ A100 แบบเต็มตัว

AWS เปรียบเทียบพาร์ทิชัน mig-3g.40gb H100 หนึ่งพาร์ทิชันกับ A100-40GB แบบเต็มตัว โดยใช้ Llama-3.1-8B-Instruct บนเอนด์พอยต์ SageMaker แบบเรียลไทม์สำหรับการใช้งานจริง ทั้งสองฝั่งใช้แบบจำลองหนึ่งชุด คอนเทนเนอร์ โทเค็นไนเซอร์ และการกำหนดค่าไคลเอนต์ที่เหมือนกัน โดยให้ genai-bench สร้างรูปแบบทราฟฟิกห้ารูปแบบที่ระดับการทำงานพร้อมกันตั้งแต่ 2 ถึง 512 คู่มือโปรไฟล์ของ NVIDIA ระบุว่าโปรไฟล์ H100 ที่ทดสอบจัดสรรส่วนแบ่งมัลติโปรเซสเซอร์แบบสตรีมมิง 3 จาก 7 ส่วน และหน่วยความจำ 4 จาก 8 หน่วยให้กับพาร์ทิชัน การกำหนดค่าทั้งสองมีความจุหน่วยความจำใกล้เคียงกัน แต่จัดสรรกำลังประมวลผลแตกต่างกัน

จากการทดสอบ AWS รายงานว่าพาร์ทิชัน H100 ประมวลผลโทเค็นเอาต์พุตต่อวินาทีได้มากกว่า 53% ถึง 89% ณ ระดับโหลดที่แต่ละสถานการณ์ให้ประโยชน์ด้านต้นทุนสูงสุด ความหน่วงระหว่างโทเค็นลดลง 8.9% ถึง 42.1% และเวลาจนได้โทเค็นแรกลดลง 5.6% ถึง 47.5% เมื่อมีการทำงานพร้อมกันสูงสุดในงานที่มีโทเค็น 6,000 และ 8,000 โทเค็น A100 ไม่สามารถส่งผลลัพธ์ได้ทันกำหนดในคำขอหนึ่งในสามถึงครึ่งหนึ่ง ขณะที่พาร์ทิชันไม่พลาดกำหนดแม้แต่คำขอเดียว

การวิเคราะห์ต้นทุนของ AWS ซึ่งนำเสนอเป็นการเปรียบเทียบแยกตามกรณี ไม่ใช่ข้อสรุปที่ใช้ได้กับทุกสถานการณ์ พบว่าต้นทุนต่อโทเค็นเอาต์พุตหนึ่งล้านโทเค็นลดลง 18% ถึง 34% เมื่อทราฟฟิกเกินจุดคุ้มทุนเฉพาะของแต่ละงาน จุดดังกล่าวอยู่ที่การทำงานพร้อมกันระดับ 64 สำหรับพรอมป์ต์ 100 โทเค็น และระดับ 4 สำหรับพรอมป์ต์ 8,000 โทเค็น เมื่อปริมาณยังต่ำกว่าจุดนี้ A100 แบบเต็มตัวยังคงมีต้นทุนต่ำกว่า ทำให้งานที่มีอินพุตสั้นหรือมีการทำงานพร้อมกันน้อยอาจเหมาะกับ GPU รุ่นเก่าแบบเต็มตัวมากกว่า การเปรียบเทียบต้นทุนต่อหน่วยคำนวณจากการนำราคาอินสแตนซ์แบบออนดีมานด์หารด้วยจำนวนหน่วยที่ทดสอบได้ในแต่ละอินสแตนซ์

ฮาร์ดแวร์ที่รองรับและข้อจำกัดในการใช้งาน

การเปิดตัวครั้งนี้ครอบคลุมอินสแตนซ์สี่ตระกูล โดยจำนวนพาร์ทิชันและโปรไฟล์จะขึ้นอยู่กับตัวเร่งประมวลผล:

การแบ่งพาร์ทิชัน GPU พร้อมใช้งานใน US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) และ Europe (Ireland) โดยขึ้นอยู่กับความพร้อมให้บริการของอินสแตนซ์ในแต่ละรีเจียนและโควตาของเอนด์พอยต์ พาร์ทิชันไม่สามารถครอบคลุมตัวเร่งประมวลผลหลายตัวได้ ดังนั้นโมเดลที่ต้องใช้ GPU เต็มตัวหรือ GPU หลายตัวจึงยังต้องใช้อุปกรณ์ทั้งตัว

ลูกค้ายังคงชำระค่าบริการสำหรับอินสแตนซ์ GPU เต็มตัว การแบ่งพาร์ทิชันอาจเพิ่มความจุที่ใช้งานได้ แต่ไม่ได้ลดราคาต่อชั่วโมงของอินสแตนซ์นั้น ทั้งเอนด์พอยต์ที่แบ่งพาร์ทิชันและคอมโพเนนต์สำหรับการอนุมานของเอนด์พอยต์เหล่านั้นยังไม่ส่งค่าตัวชี้วัดการใช้ GPU, CPU หรือหน่วยความจำไปยัง CloudWatch แม้ว่าจะยังมีค่าตัวชี้วัดการเรียกใช้งานและเวลาแฝงให้ใช้งานก็ตาม สำหรับ P4d โปรไฟล์ดังกล่าว mig-1g.10gb ต้องใช้ไดรเวอร์ R525 ของ NVIDIA หรือใหม่กว่า และ AWS แนะนำให้ลูกค้าใช้ AMI สำหรับการอนุมานเวอร์ชันใหม่กว่า เนื่องจากอิมเมจเริ่มต้นไม่มีไดรเวอร์ดังกล่าว

สำหรับการวางแผนความจุ การเปิดตัวนี้ทำให้ตัวเร่งประมวลผลแต่ละรุ่นที่รองรับแบ่งออกเป็น GPU หลายขนาดแบบตายตัวได้ แต่การติดตั้งใช้งานที่หนาแน่นขึ้นและแยกฮาร์ดแวร์ออกจากกันมาพร้อมกับการคิดค่าบริการเต็มอินสแตนซ์ การจัดวางที่ไม่สามารถปรับเปลี่ยนได้ในภายหลัง และข้อมูลการใช้ทรัพยากรที่มีให้ติดตามลดลง ผลการทดสอบมาตรฐานของ AWS แสดงให้เห็นถึงประโยชน์ของการวัดปริมาณงานจริง โดยพาร์ทิชัน H100 ให้ประสิทธิภาพและความคุ้มค่าด้านต้นทุนที่ดีกว่าเมื่อทำงานกับบริบทที่ยาวขึ้นภายใต้ภาระงานหนักในการทดสอบเหล่านั้น ขณะที่ผลการทดสอบจุดคุ้มทุนแสดงให้เห็นว่า A100 แบบเต็มตัวมีราคาถูกกว่าสำหรับเวิร์กโหลดที่เบากว่า