โมเดลและแพลตฟอร์ม AI

Amazon SageMaker AI เพิ่มเราเตอร์สลับการทำงานเมื่อเกิดเหตุขัดข้องระดับภูมิภาค ซึ่งเปิดให้ใช้งานทั่วไปแล้ว

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญเราเตอร์ย้ายงานวิศวกรรม failover ไปไว้ใน SageMaker AI…
ดูเพิ่มเติม
  • เราเตอร์ย้ายงานวิศวกรรม failover ไปไว้ใน SageMaker AI แต่ลูกค้ายังคงต้องจ่ายสำหรับความจุสำรองที่อื่น
  • คะแนนสุขภาพไม่สนใจความหน่วงของโมเดล ดังนั้น endpoint ที่ตอบกลับสำเร็จจึงยังคงได้รับทราฟฟิกแม้จะช้า
  • ลูกค้าไม่สามารถกำหนดเกณฑ์น้ำหนักหรือจังหวะเวลา failover ได้ เพราะเราเตอร์ควบคุมการตัดสินใจเส้นทางทั้งหมดโดยอัตโนมัติ

Amazon Web Services เปิดให้ใช้งานการกำหนดเส้นทางการอนุมานข้ามภูมิภาคโดยทั่วไปแล้ว ใน Amazon SageMaker AI เมื่อวันที่ 19 พฤศจิกายน 2026 ช่วยให้แอปพลิเคชันเรียกใช้เราเตอร์เพียงตัวเดียวเพื่อเข้าถึงทรัพยากรที่ให้บริการโมเดลซึ่งมีอยู่แล้วในภูมิภาคและบัญชีต่าง ๆ ของ AWS เมื่อความจุในภูมิภาคที่ใช้งานอยู่ไม่เพียงพอ

ปลายทาง SageMaker AI ทำงานอยู่ในภูมิภาคเดียวและบัญชีเดียว เมื่อการปรับขนาดอัตโนมัติไม่สามารถเพิ่มอินสแตนซ์ประเภทที่ต้องการได้ คำขออาจถูกจำกัดและหมดเวลา แม้ว่าโมเดลเดียวกันจะยังมีความจุเหลืออยู่ในที่อื่นก็ตาม ก่อนหน้านี้ ลูกค้าที่ใช้ปลายทางแบบมีการจัดการต้องสร้างระบบกำหนดเส้นทางข้ามภูมิภาคขึ้นเอง ซึ่งรวมถึงการตรวจจับความขัดข้อง การลองส่งคำขอซ้ำอย่างปลอดภัย การจัดการการกู้คืน และการเข้าถึงข้ามบัญชี

เราเตอร์การอนุมานระดับภูมิภาคตัวใหม่นี้ใช้เป้าหมายการกำหนดเส้นทางที่มีชื่อเฉพาะสำหรับโมเดลเชิงตรรกะแต่ละโมเดล เป้าหมายหนึ่งรายการสามารถรวมปลายทางแบบเรียลไทม์และคอมโพเนนต์การอนุมานจากหลายภูมิภาคและบัญชีเข้าด้วยกัน หรือมีเฉพาะปลายทางแบบอะซิงโครนัสก็ได้ แอปพลิเคชันเรียกใช้เป้าหมายผ่านเราเตอร์ ส่วนโมเดล การกำหนดค่าปลายทาง กลุ่มอินสแตนซ์ คอนเทนเนอร์ และการปรับขนาดอัตโนมัติยังคงเหมือนเดิม และการเรียกใช้โดยตรง InvokeEndpoint ยังคงใช้งานได้ เราเตอร์ไม่ได้สร้างความจุ ปรับใช้โมเดล หรือปรับขนาดปลายทาง ดังนั้นปลายทางทุกแห่งต้องทำงานอยู่แล้วในภูมิภาคของตน

สัญญาณสุขภาพเป็นตัวกำหนดการสลับเส้นทางเมื่อเกิดเหตุขัดข้อง

เราเตอร์จะเลือกปลายทางที่มีสุขภาพดีในภูมิภาคเดียวกับเราเตอร์ก่อน และกระจายคำขออย่างสม่ำเสมอไปยังปลายทางในภูมิภาคเดียวกันหลายแห่งที่ยังทำงานได้ดี คะแนนสุขภาพคำนวณจากคำขอล่าสุดที่วัดในภูมิภาคของปลายทางแต่ละแห่ง โดยข้อผิดพลาดของเซิร์ฟเวอร์ การถูกจำกัดคำขอ และการหมดเวลาจะทำให้คะแนนลดลง ขณะที่ข้อผิดพลาดของแพลตฟอร์มมีผลลดคะแนนมากที่สุด ส่วนความล้มเหลวที่เกิดจากคำขอ เช่น ข้อมูลนำเข้าไม่ถูกต้อง จะไม่ส่งผลต่อคะแนน ระบบไม่นำเวลาแฝงของโมเดลมาคำนวณ ดังนั้นปลายทางที่ยังส่งการตอบกลับสำเร็จจะยังได้รับการส่งคำขอไปให้ SageMaker AI เผยแพร่ healthy, overloaded และ degraded สถานะไปยัง CloudWatch โดยปลายทางที่มีภาระงานเกินกำลังจะได้รับคำขอน้อยลงบางส่วน ส่วนปลายทางที่ประสิทธิภาพลดลงจะได้รับคำขอเพียงสัดส่วนเล็กน้อย เพื่อให้เราเตอร์ตรวจจับได้ว่าเริ่มฟื้นตัวแล้ว

AWS ระบุว่าการย้ายทราฟฟิกจะเริ่มขึ้นภายในประมาณหนึ่งนาทีหลังเกิดข้อผิดพลาดต่อเนื่อง หรืออาจใช้เวลานานกว่านั้นสำหรับปลายทางที่มีทราฟฟิกน้อย และจะทยอยส่งทราฟฟิกกลับภายในเวลาหลายนาทีหลังปลายทางฟื้นตัว ลูกค้าไม่สามารถกำหนดน้ำหนัก ลำดับปลายทางสำรอง เกณฑ์ หรือเวลาที่จะสลับเส้นทางเมื่อเกิดเหตุขัดข้องได้ หากข้อมูลสุขภาพของปลายทางระยะไกลล้าสมัย เราเตอร์จะคงทราฟฟิกไว้ในภูมิภาคของตน

การลองส่งคำขอซ้ำมีขอบเขตจำกัดกว่าสำหรับการอนุมานแบบเรียลไทม์ เราเตอร์จะลองอีกครั้งหนึ่งไปยังปลายทางอื่นก็ต่อเมื่อโมเดลยังไม่ได้เริ่มทำงาน ซึ่งรวมถึงกรณีที่ถูกจำกัดคำขอ เกิดข้อผิดพลาด 503 โมเดลยังไม่พร้อมใช้งาน ถูกปฏิเสธเนื่องจากเกินขีดจำกัดทราฟฟิก หรือถูกปฏิเสธการเข้าถึงปลายทาง ระบบจะไม่ลองส่งคำขอซ้ำเมื่อหมดเวลา เกิดข้อผิดพลาด 500 หรือเกิดข้อผิดพลาดจากโมเดล สำหรับคำขอแบบอะซิงโครนัส ระบบจะลองส่งไปยังปลายทางที่เข้าเงื่อนไขแต่ละแห่งหนึ่งครั้ง โดยเริ่มจากปลายทางในภูมิภาคเดียวกัน จนกว่าจะมีปลายทางหนึ่งตอบรับ

การตอบกลับแบบเรียลไทม์แต่ละครั้งระบุปลายทางที่ให้บริการไว้ใน InvokedRoutedResourceArn และระบุ RoutingReason ของ local-preferred, capacity-available, failover หรือ only-healthy. เมตริก OpenTelemetry ใน CloudWatch เพิ่มข้อมูลจำนวนคำขอและข้อผิดพลาดแยกตามปลายทาง ระยะเวลาของปลายทาง ภาระเพิ่มจากเราเตอร์และเครือข่ายข้ามภูมิภาค รวมถึงสถานะสุขภาพ การตอบกลับแบบอะซิงโครนัสไม่ได้ระบุชื่อปลายทาง แต่เมตริกใน CloudWatch แสดงให้เห็นว่าคำขอถูกส่งไปยังที่ใด

ข้อจำกัดด้านความจุและการควบคุมการเข้าถึงยังคงอยู่ภายใต้การดูแลของเจ้าของปลายทาง

การรับทราฟฟิกส่วนเกินอาจทำให้ปลายทางที่รับคำขอถูกจำกัดการใช้งาน โดยค่าเริ่มต้น ปลายทางแบบเรียลไทม์จะรับทราฟฟิกข้ามภูมิภาคได้ไม่จำกัด เจ้าของปลายทางสามารถกำหนดขีดจำกัดเพิ่มเติมได้ โดยตั้งอัตราการเรียกใช้ต่ออินสแตนซ์ที่ผ่านการทดสอบภาระงานแล้ว และเปอร์เซ็นต์สูงสุดของความจุที่จัดสรรให้ภูมิภาคอื่นได้ วงเงินที่อนุญาตจะเปลี่ยนตามจำนวนอินสแตนซ์ที่กำลังให้บริการ รวมถึงการเปลี่ยนแปลงจากการปรับขนาดอัตโนมัติ ในตัวอย่างของ AWS หากกำหนดอัตราไว้ที่ 50 ครั้งต่อวินาทีต่ออินสแตนซ์ ตั้งขีดจำกัดไว้ที่ 20% และมีอินสแตนซ์ 4 เครื่อง จะอนุญาตคำขอข้ามภูมิภาคได้ 40 ครั้งต่อวินาที และเพิ่มเป็น 60 ครั้งเมื่อเพิ่มอินสแตนซ์อีก 2 เครื่อง

เฉพาะคำขอจากภูมิภาคอื่นเท่านั้นที่จะนับรวมในขีดจำกัดดังกล่าว ส่วนการเรียกใช้จากภูมิภาคของปลายทางเองจะไม่ถูกจำกัดด้วยกลไกนี้ คำขอส่วนเกินจะถูกปฏิเสธก่อนที่โมเดลจะเริ่มทำงาน และลองส่งอีกครั้งหนึ่งไปยังปลายทางอื่น หากไม่มีปลายทางใดรับคำขอได้ แอปพลิเคชันจะได้รับข้อผิดพลาดแจ้งว่าถูกจำกัดการใช้งาน คอมโพเนนต์การอนุมานทั้งหมดบนปลายทางเดียวกันใช้ขีดจำกัดร่วมกัน

สำหรับปลายทางข้ามบัญชี ทั้งสองบัญชีต้องอนุญาตคำขอ นโยบายของปลายทางสามารถจำกัดการเข้าถึงให้มีเพียงเราเตอร์ที่ระบุชื่อไว้เท่านั้น และเราเตอร์จะไม่ให้สิทธิ์ผู้เรียกใช้เข้าถึงปลายทางที่ผู้เรียกใช้ไม่สามารถเรียกใช้ได้โดยตรง

ข้อจำกัดในการปรับใช้และราคา

บริการนี้เปิดให้ใช้งานทั่วไปใน AWS Region เชิงพาณิชย์ส่วนใหญ่ ยกเว้น me-south-1 และ me-central-1 ทั้งสำหรับการอนุมานแบบเรียลไทม์และแบบอะซิงโครนัส แต่ไม่รองรับการสตรีมการตอบกลับ คำขอแบบเรียลไทม์มีเวลาประมาณหนึ่งนาทีในการรับการตอบกลับจากปลายทาง เพย์โหลดแบบเรียลไทม์มีขนาดได้สูงสุด 6 MB และเราเตอร์แต่ละตัวรองรับเป้าหมายการกำหนดเส้นทางได้สูงสุด 20 รายการ โดยแต่ละเป้าหมายมีปลายทางได้สูงสุด 10 แห่ง

ตัวเราเตอร์เองทำงานอยู่ในระดับภูมิภาค ดังนั้น AWS จึงแนะนำให้สร้างเราเตอร์ใน 2 ภูมิภาค แล้วสลับการใช้งานระหว่างเราเตอร์เหล่านั้นจากฝั่งไคลเอ็นต์ เพื่อให้จุดเริ่มต้นของการเชื่อมต่อยังทำงานได้เมื่อเกิดปัญหา นอกจากนี้ยังต้องกำหนดขอบเขตที่ตั้งของข้อมูลไว้อย่างชัดเจน เพราะคำขออาจได้รับการประมวลผลในภูมิภาคของเราเตอร์หรือในภูมิภาคของปลายทางใดก็ได้ที่ลงทะเบียนไว้

ไม่มีค่าบริการเพิ่มเติมสำหรับการกำหนดเส้นทาง ลูกค้าจ่ายค่าบริการตามอัตรามาตรฐานของเอ็นด์พอยต์ SageMaker AI และคอมโพเนนต์การอนุมาน ไม่ว่าคำขอจะส่งตรงหรือผ่านเราเตอร์ รวมถึงค่าบริการ CloudWatch ตามอัตรามาตรฐานสำหรับเมตริกและการสืบค้นของเราเตอร์

การเปิดตัวครั้งนี้ย้ายภาระด้านวิศวกรรมสำหรับการสลับไปใช้ระบบสำรองมาไว้ใน SageMaker AI แต่การแลกเปลี่ยนสำคัญด้านต้นทุนการประมวลผลยังคงเป็นภาระของลูกค้า กล่าวคือ การให้บริการต่อเนื่องเมื่อรีเจียนหนึ่งขาดแคลนทรัพยากรในช่วงสั้น ๆ ยังคงขึ้นอยู่กับการจ่ายเงินเพื่อจัดเตรียมและวางตำแหน่งขีดความสามารถในการอนุมานที่พร้อมใช้งานในอีกรีเจียนหนึ่ง

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว