โมเดลและแพลตฟอร์ม AI

AWS กำหนดเส้นทางการอนุมานของ HyperPod ข้ามรีเจียนผ่านเอ็นด์พอยต์เดียว

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญเกตเวย์ระดับโลกเพิ่มชั้นการเลือกคลัสเตอร์เหนือการกำหนดเส้นทางของ Inference Gateway…
ดูเพิ่มเติม
  • เกตเวย์ระดับโลกเพิ่มชั้นการเลือกคลัสเตอร์เหนือการกำหนดเส้นทางของ Inference Gateway ระดับพอดที่มีอยู่
  • ผู้ปฏิบัติงานปรับสัญญาณถ่วงน้ำหนักสี่รายการ รวมถึง RegionProximity ที่ 0.40 เพื่อสร้างสมดุลระหว่างความหน่วงและความยืดหยุ่น
  • AWS ระบุว่าเกตเวย์ไม่บันทึกหรือจัดเก็บพรอมต์หรือผลลัพธ์ และกำหนดเส้นทางผ่าน PrivateLink เท่านั้น

เมื่อวันที่ 20 พฤศจิกายน 2026 AWS เปิดตัว เกตเวย์อนุมานส่วนกลางของ Amazon SageMaker HyperPod ซึ่งให้ลูกค้าใช้เอ็นด์พอยต์ที่มีการจัดการเพียงจุดเดียวสำหรับคำขออนุมานไปยังคลัสเตอร์ HyperPod ที่ลงทะเบียนไว้ใน AWS Region เดียวหรือหลายรีเจียน บริการจะเลือกคลัสเตอร์โดยพิจารณาจากสัญญาณด้านความจุ คิว ความใกล้เคียง และข้อผิดพลาด พร้อมสลับไปใช้คลัสเตอร์อื่นโดยอัตโนมัติเมื่อคลัสเตอร์หนึ่งไม่พร้อมใช้งาน

การเปิดตัวนี้เพิ่มชั้นการกำหนดเส้นทางอีกชั้นเหนือ เกตเวย์อนุมาน HyperPod ของ SageMaker ที่มีอยู่เดิม เกตเวย์ระดับคลัสเตอร์ดังกล่าวยังคงเลือกพ็อดโมเดลแต่ละรายการโดยใช้สัญญาณต่าง ๆ ซึ่งรวมถึงการใช้แคชคีย์-แวลู (KV) และความยาวของคิว ส่วนชั้นส่วนกลางใหม่นี้จะเลือกคลัสเตอร์ก่อน โดยไม่เปลี่ยนแปลงการเลือกพ็อด

AWS กำลังแก้ปัญหาการใช้ความจุให้เกิดประโยชน์สูงสุด โดยคำขออาจต้องรอในคิวของคลัสเตอร์ที่มีงานเต็ม ขณะที่ GPU ซึ่งจัดเตรียมไว้แล้วในคลัสเตอร์อื่นกลับไม่ได้ใช้งาน ในตัวอย่างของ AWS มีการให้บริการโมเดล 4 รายการผ่าน 5 คลัสเตอร์ใน 2 รีเจียน หากให้บริการแยกตามโมเดล ไคลเอ็นต์ต้องติดตามเอ็นด์พอยต์ 20 จุด เกตเวย์ระดับคลัสเตอร์ช่วยลดจำนวนดังกล่าวเหลือ 5 จุด ส่วนเกตเวย์ส่วนกลางทำให้เหลือเพียงจุดเดียว ชั้นบริการแบบมีการจัดการนี้ช่วยให้ไม่ต้องสร้างและดูแลตัวจัดสรรภาระงาน, DNS และเครือข่ายข้ามรีเจียนสำหรับการกำหนดเส้นทางดังกล่าว อีกทั้งยังช่วยกระจายปริมาณการใช้งานช่วงสูงสุดไปยังคลัสเตอร์ที่มีความจุเหลือ

กำหนดค่าการเลือกคลัสเตอร์ได้

ผู้ดูแลระบบเผยแพร่คลัสเตอร์แต่ละแห่งที่จะเข้าร่วมได้โดยเปิดใช้ spec.globalRouting ในส่วนที่มีอยู่เดิมของ InferenceGatewayConfigจากนั้นเรียกใช้ CreateGlobalInferenceGateway โดยระบุคลัสเตอร์ที่จะจัดกลุ่มไว้ด้วย การเผยแพร่จะสร้าง Network Load Balancer, บริการเอ็นด์พอยต์ของคลาวด์ส่วนตัวเสมือน (VPC) และทรัพยากรใบรับรองในบัญชีของลูกค้า คลัสเตอร์ที่ยังไม่ได้เผยแพร่จะไม่สามารถเพิ่มได้สำเร็จ

ไคลเอ็นต์ส่งคำขอที่เข้ากันได้กับ OpenAI และลงนามด้วย AWS Signature Version 4 (SigV4) ไปยังเอ็นด์พอยต์ระดับรีเจียน เกตเวย์จะตรวจสอบสิทธิ์ผู้เรียกใช้และเลือกคลัสเตอร์ที่พร้อมทำงาน จากนั้น AWS PrivateLink จะส่งคำขอภายในรีเจียนหรือข้ามรีเจียน และ Inference Gateway ของคลัสเตอร์จะเลือกพ็อดโมเดล ส่วน SageMaker จะดูแลระบบกำหนดเส้นทาง เอ็นด์พอยต์ส่วนตัว การตรวจสอบใบรับรอง การตรวจสอบสถานะ การยืนยันตัวตน และการจำกัดอัตราการเรียกใช้ ขณะที่ตัวเผยแพร่ข้อมูลซึ่งบริการจัดการให้ในแต่ละคลัสเตอร์จะส่งตัวชี้วัดการโหลด

สำหรับคำขอแต่ละรายการ เกตเวย์จะให้คะแนนคลัสเตอร์ที่พร้อมทำงานโดยใช้สัญญาณ 4 รายการที่กำหนดค่าได้ ดังนี้

สัญญาณ สิ่งที่ใช้วัด น้ำหนักเริ่มต้น
KVHeadroom แคช KV และหน่วยความจำ GPU ที่พร้อมใช้งานในคลัสเตอร์ 0.20
QueueDepth ระดับความคับคั่งของคลัสเตอร์ 0.25
RegionProximity ระยะห่างระหว่างคลัสเตอร์กับรีเจียนของเกตเวย์ 0.40
ErrorRate คำขอที่ล้มเหลวในคลัสเตอร์เมื่อไม่นานมานี้ 0.15

ลูกค้าที่ปรับค่าน้ำหนักจากค่าเริ่มต้นต้องกำหนดน้ำหนักให้ครบทั้ง 4 รายการ โดยใช้ค่าตั้งแต่ 0.0 ถึง 1.0 ซึ่งรวมกันแล้วต้องเท่ากับ 1.0 และสามารถปิดใช้สัญญาณใดก็ได้ด้วยการกำหนดค่าเป็นศูนย์ UpdateGlobalInferenceGateway จะเปลี่ยนการให้น้ำหนักสำหรับคำขอใหม่โดยไม่ต้องจัดเตรียมทรัพยากรใหม่ ส่วนคำขอที่กำลังดำเนินการจะทำงานต่อไปภายใต้การตั้งค่าเดิม AWS ระบุว่าเวิร์กโหลดที่ให้ความสำคัญกับความทนทานต่อความขัดข้องมากกว่าความใกล้เคียงสามารถเพิ่มค่า ErrorRate และลดค่า RegionProximity.

การสลับระบบเมื่อขัดข้องและความเป็นส่วนตัว

เกตเวย์จะตรวจสอบสถานะของทุกคลัสเตอร์ และเปลี่ยนเส้นทางการรับส่งข้อมูลไปยังคลัสเตอร์ที่เหมาะสมลำดับถัดไปเมื่อเกิดความขัดข้อง โดยไม่ต้องเปลี่ยนแปลงการตั้งค่าฝั่งไคลเอ็นต์ ทั้งยังค่อย ๆ นำคลัสเตอร์ที่กลับมาทำงานได้เข้ามาให้บริการอีกครั้ง คำขอที่ล้มเหลวจะถูกลองใหม่อีกหนึ่งครั้งบนคลัสเตอร์อื่น เว้นแต่จะเริ่มสตรีมข้อมูลแล้ว หากไม่มีคลัสเตอร์ใดพร้อมทำงาน เกตเวย์จะส่ง HTTP 503 การเพิ่มคลัสเตอร์ที่พร้อมทำงานจะไม่เปลี่ยนเอ็นด์พอยต์หรือรบกวนคลัสเตอร์อื่น ส่วนการนำคลัสเตอร์ออกจะหยุดรับคำขอใหม่ แต่ปล่อยให้งานที่กำลังดำเนินการอยู่เสร็จสิ้น

IAM ควบคุมการเรียกใช้งานแบบปกติและแบบสตรีมมิงแยกจากกัน ส่วนโทเค็นเว็บ JSON ของลูกค้า (หากใช้) จะถูกส่งอยู่ภายในลายเซ็น SigV4 คำขอจะไปถึงคลัสเตอร์ผ่าน AWS PrivateLink เท่านั้น และ AWS ระบุว่าเกตเวย์จะไม่บันทึกหรือจัดเก็บพรอมป์ต์หรือผลลัพธ์ที่สร้างเสร็จแล้ว การลบเกตเวย์ส่วนกลางจะหยุดเอ็นด์พอยต์ของเกตเวย์ แต่เอ็นด์พอยต์ระดับคลัสเตอร์ยังคงให้บริการต่อไป

Jinhyung Park รองประธานฝ่ายแพลตฟอร์ม AI ของ Bagelcode กล่าวในประกาศของ AWS ว่า การทดสอบเบต้าได้กำหนดเส้นทางคำขอผ่านเกตเวย์ระหว่าง 2 รีเจียน และยังคงให้บริการต่อได้เมื่อคลัสเตอร์หนึ่งไม่สามารถให้บริการโมเดลได้อีกต่อไป วิธีนี้ช่วยให้ทีมแพลตฟอร์มขนาดเล็กของบริษัทสลับระบบเมื่อเกิดความขัดข้องข้ามรีเจียนได้ โดยไม่ต้องสร้างหรือดูแลชั้นกำหนดเส้นทางของตนเอง

ความพร้อมให้บริการและการย้ายระบบ

บริการนี้พร้อมใช้งานใน 13 รีเจียน ได้แก่ สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียตอนเหนือและโอไฮโอ), สหรัฐอเมริกาฝั่งตะวันตก (แคลิฟอร์เนียตอนเหนือและออริกอน), อเมริกาใต้ (เซาเปาลู), ยุโรป (แฟรงก์เฟิร์ต ไอร์แลนด์ ลอนดอน และสตอกโฮล์ม) และเอเชียแปซิฟิก (โตเกียว มุมไบ สิงคโปร์ และซิดนีย์)

AWS แนะนำให้ผู้ใช้คลัสเตอร์เดียวใช้เอ็นด์พอยต์ Inference Gateway ของคลัสเตอร์ต่อไป และเปลี่ยนมาใช้บริการส่วนกลางเมื่อเพิ่มคลัสเตอร์ที่สอง เอ็นด์พอยต์ระดับคลัสเตอร์ที่มีอยู่จะยังคงให้บริการระหว่างการย้ายระบบฝั่งไคลเอ็นต์ และเกตเวย์ที่มีเฉพาะคลัสเตอร์ในรีเจียนเดียวก็สามารถให้เวิร์กโหลดทำงานอยู่ในรีเจียนนั้นต่อไปได้ หากเผยแพร่คลัสเตอร์แล้วแต่ไม่ได้เพิ่มเข้าเกตเวย์ใด คลัสเตอร์นั้นจะไม่ได้รับทราฟฟิก แม้ Network Load Balancer จะยังทำงานและมีค่าใช้จ่ายต่อไป

การรวมสัญญาณด้านความใกล้เคียง ความจุ และความล้มเหลวไว้ในนโยบายเดียว ทำให้การใช้ทรัพยากร GPU ที่ปกติไม่ได้ใช้งานเป็นเพียงเรื่องของการกำหนดค่า แทนที่จะต้องทำโครงการด้านเครือข่ายแยกต่างหาก

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว