โมเดลและแพลตฟอร์ม AI
AWS เพิ่ม NVIDIA Dynamo แบบมีการจัดการให้กับ SageMaker HyperPod Inference

ประเด็นสำคัญโทโพโลยีแบบแยกส่วนของ Dynamo ช่วยให้พูล prefill และ decode ขยายขนาดได้อย่างอิสระ…
ดูเพิ่มเติม
- โทโพโลยีแบบแยกส่วนของ Dynamo ช่วยให้พูล prefill และ decode ขยายขนาดได้อย่างอิสระ ในขณะที่ทั้งสองยังคงโหลดน้ำหนักโมเดลเต็มรูปแบบ
- การเพิ่มปริมาณงาน 2.05 เท่าของ AWS เปรียบเทียบผลลัพธ์ที่จำกัดด้วยความหน่วงในระดับการทำงานพร้อมกันที่แตกต่างกัน แทนที่จะเป็นค่าสูงสุดแบบไม่จำกัด
- HyperPod แบบจัดการอัตโนมัติจัดการประสานงานและการกู้คืนโดยอัตโนมัติ แต่ปล่อยให้การแลกเปลี่ยนระหว่างโทโพโลยีและการจัดสรร GPU ขึ้นอยู่กับพฤติกรรมปริมาณงานที่วัดได้
Amazon Web Services ประกาศเมื่อวันที่ 17 พฤศจิกายน 2026 ว่า Amazon SageMaker HyperPod Inference รองรับ NVIDIA Dynamo แล้ว สำหรับการให้บริการโมเดลแบบมีการจัดการทั้งในรูปแบบหลายโหนดและแบบแยกส่วน พร้อมเผยผลการทดสอบประสิทธิภาพที่แสดงปริมาณการสร้างโทเค็นเอาต์พุตแบบรวมต่อ GPU ซึ่งผ่านเกณฑ์สูงสุดด้านอัตราการส่งข้อมูล สูงกว่าเกณฑ์ดังกล่าว 2.05 เท่า ภายใต้เป้าหมายด้านเวลาแฝงของ AWS
การเพิ่มความสามารถนี้ช่วยแก้ข้อจำกัดสองประการในการให้บริการโมเดลภาษาขนาดใหญ่ ได้แก่ การจัดเก็บน้ำหนักโมเดลและแคชคีย์-แวลู (KV) ที่นำกลับมาใช้ซ้ำได้ไว้ในหน่วยความจำ GPU และการป้องกันไม่ให้การประมวลผลพรอมต์ที่ยาวทำให้การสร้างโทเค็นช้าลงเมื่อทั้งสองกระบวนการใช้ GPU ร่วมกัน AWS ยกตัวอย่างแรงกดดันด้านหน่วยความจำด้วย GLM-5.3 ซึ่งมีน้ำหนักแบบเลขทศนิยม 8 บิต (FP8) เพียงอย่างเดียวมากกว่าหน่วยความจำ GPU ขนาด 640 GB บนหนึ่ง ml.p5.48xlarge อินสแตนซ์ ก่อนรวมแคช KV และค่าใช้จ่ายส่วนเกินขณะทำงาน
HyperPod จัดหาโครงสร้างพื้นฐานแบบมีการจัดการให้กับเฟรมเวิร์ก ซึ่งประกอบด้วยเครือข่าย Elastic Fabric Adapter (EFA) การจัดตาราง GPU แบบประสานงาน การตรวจสอบสถานะของโหนด GPU และ EFA รวมถึงการเปลี่ยนโหนด HyperPod จัดการการเปลี่ยนโหนด ขณะที่ส่วนประกอบสำหรับประสานงานจะสร้างเวิร์กเกอร์ที่ได้รับผลกระทบขึ้นใหม่
การให้บริการแบบแยกส่วนและการกำหนดเส้นทางที่คำนึงถึง KV
Dynamo เป็นเฟรมเวิร์กอนุมานแบบกระจายที่เป็นโอเพนซอร์ส ซึ่งทำงานร่วมกับ vLLM, SGLang และ TensorRT-LLM ได้ สถาปัตยกรรมแบบแยกส่วนใช้ส่วนหน้าเพื่อกำหนดเส้นทางคำขอไปยังเวิร์กเกอร์ prefill ซึ่งประมวลผลพรอมต์ และเวิร์กเกอร์ decode ซึ่งสร้างโทเค็น พูลทั้งสองสามารถปรับขนาดและปรับแต่งแยกจากกันได้ แต่ทั้งคู่โหลดน้ำหนักโมเดลทั้งหมด ส่วนแคช KV จะย้ายระหว่างพูลผ่าน EFA
การให้บริการแบบรวมจะดำเนินการทั้งสองขั้นตอนในเวิร์กเกอร์เดียว ไม่ว่าจะใช้สถาปัตยกรรมแบบใด เวิร์กเกอร์จะทำงานบนอินสแตนซ์เดียวหรือกระจายอยู่บนหลายอินสแตนซ์ก็ได้ โดยใช้การประมวลผลแบบขนานระดับเทนเซอร์และไปป์ไลน์เพื่อแบ่งโมเดลข้าม GPU เราเตอร์ของ Dynamo ที่คำนึงถึง KV จะพิจารณาแคชคำนำหน้าที่นำกลับมาใช้ซ้ำได้และภาระงานของเวิร์กเกอร์ที่กำลังทำงานอยู่ AWS ระบุว่าการใช้คำนำหน้าซ้ำช่วยลดการคำนวณพรอมต์ซ้ำและทำให้เวลาจนถึงโทเค็นแรกดีขึ้น ขณะที่การคำนึงถึงภาระงานช่วยป้องกันไม่ให้เวิร์กเกอร์แต่ละตัวรับภาระมากเกินไป
การทดสอบประสิทธิภาพภายใต้ข้อจำกัดด้านเวลาแฝง
การเปรียบเทียบ Qwen3-235B-A22B-FP8 ใช้ Dynamo และ TensorRT-LLM บน p5en.48xlarge อินสแตนซ์สองเครื่อง รวม GPU H200 ทั้งหมด 16 ตัว AIPerf สร้างคำขอที่มีโทเค็นอินพุต 4,000 โทเค็นและโทเค็นเอาต์พุต 200 โทเค็น AWS เก็บไว้เฉพาะข้อมูลที่วัดได้ซึ่งมีเวลาจนถึงโทเค็นแรกที่เปอร์เซ็นไทล์ที่ 90 ต่ำกว่า 1 วินาที และมีความเร็วในการสร้างโทเค็นค่ามัธยฐานอย่างน้อย 50 โทเค็นต่อวินาทีต่อผู้ใช้
AWS รายงานว่าการให้บริการแบบแยกส่วนทำได้ 207 โทเค็นเอาต์พุตต่อวินาทีต่อ GPU ที่ระดับการทำงานพร้อมกัน 80 ราย เทียบกับ 101 โทเค็นที่ระดับการทำงานพร้อมกัน 32 ราย สำหรับผลการให้บริการแบบรวมที่ผ่านเกณฑ์สูงสุด ดังนั้น การเปรียบเทียบนี้จึงเป็นการวัดอัตราการส่งข้อมูลภายใต้ข้อจำกัดด้านเวลาแฝงที่ระดับการทำงานพร้อมกันต่างกัน ไม่ใช่การเปรียบเทียบค่าสูงสุดของอัตราการส่งข้อมูลแบบไม่จำกัดสำหรับสถาปัตยกรรมทั้งสองรูปแบบ
การทดสอบ Qwen3.5-397B-A17B-FP8 อีกชุดหนึ่งใช้ Dynamo และ vLLM เพื่อเปรียบเทียบ GPU H200 แปดตัวบนหนึ่ง p5en.48xlarge อินสแตนซ์ กับ GPU สี่ตัวบนอินสแตนซ์แต่ละเครื่องจากทั้งหมดสองเครื่อง โดยคงโมเดล การประมวลผลแบบขนาน และการกำหนดค่าเวิร์กโหลดให้เหมือนกัน AWS รายงานว่าการตั้งค่าแบบสองโหนดทำได้ 126.4 โทเค็นเอาต์พุตต่อวินาทีต่อ GPU หรือคิดเป็น 99.1% ของอัตราการส่งข้อมูลเมื่อใช้โหนดเดียว ที่ระดับการทำงานพร้อมกัน 32 รายและมีการใช้คำนำหน้าซ้ำในระดับสูง โมเดลนี้สามารถทำงานบนอินสแตนซ์เดียวได้ และโดยปกติจะไม่แบ่งโมเดลในการใช้งานจริง ดังนั้น การทดสอบนี้จึงเป็นค่าฐานควบคุมสำหรับวัดผลของการข้ามขอบเขตโหนดที่มีต่ออัตราการส่งข้อมูล
การกำหนดค่าแบบมีการจัดการและการวางแผนทรัพยากร
ผู้ใช้มีแนวทางการกำหนดค่าให้เลือกสองแบบ ผู้ใช้ Dynamo ที่มีอยู่แล้วสามารถนำ DynamoGraphDeployment ไฟล์ manifest ที่อธิบายกราฟการให้บริการมาใช้ และจัดการพื้นที่จัดเก็บข้อมูล เครือข่าย การจัดวางพ็อด จุดปลายทาง TLS การลงทะเบียน และการปรับขนาดอัตโนมัติด้วยตนเอง ส่วน InferenceEndpointConfig แนวทางนี้ใช้ dynamoSpec สำหรับการตั้งค่าจุดปลายทางแบบมีการจัดการ และใช้ Kubernetes Event-driven Autoscaling (KEDA) กับสถาปัตยกรรมการให้บริการทั้งสองรูปแบบ โดยค่าเริ่มต้นจะใช้ vLLM พร้อมค่าตั้งต้นสำหรับการกำหนดเส้นทางที่คำนึงถึง KV และจำนวนเรพลิกา อีกทั้งรองรับอินเทอร์เฟซที่เข้ากันได้กับ OpenAI ผ่านจุดปลายทาง SageMaker
ส่วนเสริมนี้ติดตั้งนิยามทรัพยากรแบบกำหนดเองของ Dynamo รวมถึงส่วนประกอบสำหรับการให้บริการและการจัดตาราง ขณะที่ AWS Deep Learning Containers จัดเตรียมสภาพแวดล้อมขณะทำงาน สำหรับแนวทางแบบมีการจัดการ HyperPod Inference Operator จะจัดเตรียมน้ำหนักโมเดลจาก Amazon S3 หรือ FSx และสร้าง DynamoGraphDeployment. Grove ประสานงานกลุ่มพ็อดที่เกี่ยวข้องกัน ส่วน KAI Scheduler ใช้การจัดตารางงานแบบกลุ่มเพื่อให้พ็อดของเวิร์กเกอร์หลายโหนดแต่ละตัวถูกจัดวางไว้ด้วยกัน การนำ Dynamo รุ่นที่รองรับมาใช้จำเป็นต้องอัปเดตส่วนเสริม
ตัวอย่าง GLM-5.3 ของ AWS แสดงให้เห็นทางเลือกในการจัดสรร GPU อย่างเป็นรูปธรรม การตั้งค่าแบบรวมจะเรียกใช้เรพลิกาของเวิร์กเกอร์โมเดลหนึ่งตัวบน ml.p5.48xlarge อินสแตนซ์ที่ใช้การประมวลผลแบบขนานระดับเทนเซอร์ 16 ทาง และมีเรพลิกาส่วนหน้าสองตัว ส่วนการตั้งค่าแบบแยกส่วนกำหนดให้มีเรพลิกา prefill หนึ่งตัวและเรพลิกา decode สองตัว โดยแต่ละตัวกระจายอยู่บนสองอินสแตนซ์ รวมทั้งหมดหกอินสแตนซ์ จำนวนเรพลิกาที่แยกกันแสดงให้เห็นว่าการติดตั้งใช้งานสามารถจัดสรรขีดความสามารถให้กับการประมวลผลพรอมต์และการสร้างโทเค็นในปริมาณที่ต่างกันได้ แทนที่จะปรับขนาดพูลที่รวมทั้งสองงานเข้าด้วยกันเพียงพูลเดียว
AWS แนะนำให้ตรวจสอบการสื่อสารผ่าน EFA ก่อนทดสอบประสิทธิภาพ ทดสอบความยาวพรอมป์ต์และเอาต์พุตที่เป็นตัวแทน รวมถึงการนำคำนำหน้ากลับมาใช้ซ้ำ ทดสอบระดับการทำงานพร้อมกันหลายระดับเทียบกับเป้าหมายระดับบริการ และปรับโทโพโลยีกับการจัดสรรเวิร์กเกอร์ตามคอขวดที่วัดได้ ก่อนเปลี่ยนการตั้งค่าเอ็นจิน
ขณะนี้ HyperPod จัดการงานประสานงานและกู้คืนได้มากขึ้น แต่เงื่อนไขการทดสอบประสิทธิภาพและตัวอย่างการติดตั้งใช้งานแสดงให้เห็นว่า การดำเนินงานแบบมีการจัดการไม่ได้ขจัดข้อแลกเปลี่ยนในการให้บริการออกไป การกำหนดค่าที่เหมาะสมยังคงขึ้นอยู่กับพฤติกรรมการประมวลผลพรอมป์ต์และการสร้างผลลัพธ์ที่วัดได้ การจัดสรร GPU ระหว่างกลุ่มเวิร์กเกอร์ และลำดับความสำคัญด้านเวลาแฝงและต้นทุนของเวิร์กโหลด












