โมเดลและแพลตฟอร์ม AI

AWS เปิดใช้การติดตามตรวจสอบ SageMaker AI Inference Endpoints เป็นค่าเริ่มต้น

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญการตรวจสอบเริ่มต้นจะแจ้งความหน่วงที่คลาดเคลื่อนและ GPU ที่ไม่ได้ใช้งาน…
ดูเพิ่มเติม
  • การตรวจสอบเริ่มต้นจะแจ้งความหน่วงที่คลาดเคลื่อนและ GPU ที่ไม่ได้ใช้งาน โดยไม่ต้องให้ผู้ใช้กำหนดเกณฑ์ล่วงหน้า
  • ผลการตรวจพบจะเปิดเวิร์กโฟลว์ SageMaker Studio แบบเอเจนต์ที่เปรียบเทียบทางเลือกบนคอมพิวต์แยกต่างหากก่อนการเปลี่ยนแปลงในโปรดักชัน
  • การตรวจสอบไม่มีค่าใช้จ่าย GPU เพิ่มเติมและสามารถปิดใช้งานได้ผ่านตัวแปรสภาพแวดล้อม OPT_OUT_TRACKING

Amazon Web Services (AWS) เปิดใช้การติดตามตรวจสอบเป็นค่าเริ่มต้นสำหรับปลายทางการอนุมานแบบ Generative AI ของ Amazon SageMaker AI ที่เข้าเกณฑ์ เมื่อวันที่ 19 พฤศจิกายน 2026 พร้อมเพิ่มข้อมูลแจ้งเตือนจาก AWS Health เกี่ยวกับความล่าช้าที่เปลี่ยนแปลง ความจุ GPU ที่ไม่ได้ใช้งาน และการพลาดการปรับปรุงประสิทธิภาพการให้บริการ

การติดตามตรวจสอบนี้ไม่ต้องตั้งค่าใด ๆ สำหรับปลายทางที่ใช้คอนเทนเนอร์ให้บริการ vLLM และอินสแตนซ์ GPU โดยจะอ่านค่าความล่าช้าระดับปลายทาง การใช้งาน GPU และการกำหนดค่าการให้บริการ แต่จะไม่อ่านเนื้อหาคำขอหรือคำตอบ เป้าหมายคือการตรวจจับการเปลี่ยนแปลงอย่างค่อยเป็นค่อยไปหลังการติดตั้งใช้งาน ซึ่งเกิดขึ้นเมื่อปริมาณการรับส่งข้อมูล ความยาวพรอมป์ต์ ซอฟต์แวร์ให้บริการ และข้อกำหนดด้านทรัพยากรของโมเดลเปลี่ยนแปลงไป

ประกาศนี้ต่อยอดคำแนะนำสำหรับการอนุมาน Generative AI ที่ปรับให้มีประสิทธิภาพ ซึ่ง AWS เปิดตัวเมื่อวันที่ 22 เมษายน 2026 เวิร์กโฟลว์ดังกล่าวให้ผู้ใช้เลือกต้นทุน ความล่าช้า หรือปริมาณงานเป็นเป้าหมาย เปรียบเทียบอินสแตนซ์ได้สูงสุดสามประเภท และทดสอบประสิทธิภาพการกำหนดค่าบน GPU จริงด้วย NVIDIA AIPerf นอกจากนี้ยังรองรับการทดสอบประสิทธิภาพของปลายทางที่ใช้งานจริงอยู่แล้วด้วย ส่วนชั้นการทำงานใหม่นี้เพิ่มการติดตามอย่างต่อเนื่องและการแจ้งเตือนเข้าไปในกระบวนการตัดสินใจที่ผู้ใช้เป็นผู้เริ่มต้น

การติดตามตรวจสอบตรวจจับอะไรได้บ้าง

ข้อมูลแจ้งเตือนเกี่ยวกับความล่าช้าที่เปลี่ยนแปลงจะเปรียบเทียบค่ามัธยฐาน (p50) ของความล่าช้าตั้งแต่ต้นจนจบ และค่ามัธยฐานของเวลาจนได้โทเคนแรก กับข้อมูลของปลายทางเดียวกันในสัปดาห์ก่อนหน้า เนื่องจากใช้ข้อมูลย้อนหลังเป็นค่าฐาน ผู้ใช้จึงไม่จำเป็นต้องกำหนดเกณฑ์ไว้ล่วงหน้า การทดสอบประสิทธิภาพที่ตามมาจะทดสอบการตั้งค่าเทนเซอร์พารัลเลลิซึม รวมถึงประเภทหรือขนาดอินสแตนซ์ทางเลือก

ข้อมูลแจ้งเตือนอื่น ๆ ครอบคลุมกรณีที่ GPU ใช้งานต่ำกว่าความจุมาก การถอดรหัสแบบคาดการณ์ล่วงหน้าที่รองรับแต่ยังปิดใช้งานอยู่ เคอร์เนล GPU ที่ยังไม่ได้ปรับแต่ง และคอนเทนเนอร์ให้บริการที่ขาดการปรับปรุงประสิทธิภาพใหม่ ๆ หรือแพตช์แก้ช่องโหว่ระดับวิกฤตและระดับความรุนแรงสูง สำหรับความจุที่ไม่ได้ใช้งาน การทดสอบประสิทธิภาพจะทดสอบอินสแตนซ์ประเภทที่ราคาถูกกว่าและขนาดที่เล็กลง โดยอิงจากปริมาณการรับส่งข้อมูลสูงสุดที่ตรวจพบ การทดสอบการกำหนดค่าจะเปรียบเทียบการตั้งค่าปัจจุบันกับการเปิดใช้การถอดรหัสแบบคาดการณ์ล่วงหน้า การปรับแต่งเคอร์เนล หรือการใช้คอนเทนเนอร์เวอร์ชันใหม่ แล้วแต่กรณี

ตัวอย่างของ AWS เป็นภาพประกอบขั้นตอนการทำงาน ไม่ใช่การวัดผลทั่วทั้งกลุ่มระบบ โดยตัวอย่างหนึ่งรายงานว่าเวลามัธยฐานจนได้โทเคนแรกเพิ่มขึ้นประมาณ 200 มิลลิวินาทีเมื่อเทียบกับสัปดาห์ก่อน ส่วนอีกตัวอย่างรายงานว่าแม้แต่ GPU ที่มีงานมากที่สุดก็ใช้ความจุไม่เกิน 12% ในช่วงเวลาส่วนใหญ่ของหนึ่งสัปดาห์

จากการแจ้งเตือนด้านสถานะสู่การทดสอบประสิทธิภาพ

ผู้ใช้จะได้รับข้อมูลแจ้งเตือนผ่าน AWS Health และอีเมล โดยแต่ละปลายทางจะได้รับการแจ้งเตือนได้ไม่เกินหนึ่งรายการในแต่ละครั้ง ซึ่งครอบคลุมข้อมูลแจ้งเตือนทั้งหมดที่เกี่ยวข้อง AWS จำกัดจำนวนการแจ้งเตือนที่แต่ละบัญชีจะได้รับในคราวเดียว และการแจ้งเตือนจะระบุเฉพาะ AWS Region ของปลายทางนั้น

การแจ้งเตือนจะระบุสิ่งที่ตรวจพบ เหตุผลที่เกี่ยวข้องกับความล่าช้า ความจุ หรือต้นทุน พร้อมแนะนำการดำเนินการ โดยจะระบุชัดเจนว่าค่าประมาณเป็นเพียงค่าประมาณ นี่เป็นการตรวจพบ ไม่ใช่ผลการทดสอบประสิทธิภาพที่เสร็จสมบูรณ์ เมื่อเลือกการดำเนินการ ระบบจะเปิดประสบการณ์การทำงานแบบเอเจนต์ใน SageMaker Studio โดยกรอกข้อมูลปลายทางและปริมาณการรับส่งข้อมูลที่ตรวจพบไว้ล่วงหน้า

หลังจากผู้ใช้ยืนยันแล้ว เอเจนต์จะสร้างโน้ตบุ๊ก SageMaker Python SDK ที่แก้ไขได้ โดยใช้โมเดลของปลายทางและโปรไฟล์ปริมาณการรับส่งข้อมูลที่สร้างจากเมตริกของปลายทาง โน้ตบุ๊กจะติดแท็กงานแนะนำด้วยเหตุการณ์ AWS Health เพื่อให้ตรวจสอบย้อนกลับผลลัพธ์ไปยังข้อมูลแจ้งเตือนได้ งานดังกล่าวจะเปรียบเทียบการกำหนดค่าปัจจุบันกับทางเลือกอื่น ๆ ในด้านเวลาตอบสนอง ปริมาณงาน และต้นทุนต่อหนึ่งล้านโทเคน โดยใช้ทรัพยากรประมวลผลแยกต่างหาก ระบบจะไม่เปลี่ยนแปลงสภาพแวดล้อมใช้งานจริงจนกว่าผู้ใช้จะนำผลลัพธ์ไปใช้

AWS แนะนำให้นำการกำหนดค่าที่เลือกไปใช้กับตัวแปรหนึ่งรายการในสภาพแวดล้อมใช้งานจริงก่อน โดยยังคงการกำหนดค่าเดิมไว้เพื่อให้ย้อนกลับได้ การพักหรือปิดข้อมูลแจ้งเตือนก็ถือเป็นผลลัพธ์ปกติเช่นกัน และการแจ้งเตือนจะยังคงอยู่ในประวัติเหตุการณ์ของ AWS Health

ค่าใช้จ่ายและตัวเลือกปิดการติดตาม

การติดตามตรวจสอบไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับ GPU การทดสอบประสิทธิภาพคิดค่าบริการตามอัตรามาตรฐานของ SageMaker AI หรือใช้การจองทรัพยากรแมชชีนเลิร์นนิงที่มีอยู่แล้ว การดำเนินการตามข้อมูลแจ้งเตือนต้องมีโดเมน SageMaker Studio สิทธิ์ AWS Identity and Access Management สำหรับเรียกใช้งานแนะนำและอัปเดตปลายทาง รวมถึงโควตาอินสแตนซ์สำหรับการทดสอบประสิทธิภาพที่เพียงพอ

ลูกค้าสามารถจัดการการส่งการแจ้งเตือนผ่าน AWS User Notifications และเลือกกำหนดเวลารับคำแนะนำซ้ำได้ เช่น เรียกใช้รายเดือน การตั้งค่า OPT_OUT_TRACKING ตัวแปรสภาพแวดล้อมในคอนเทนเนอร์ของโมเดลจะหยุดการรวบรวมเมตริกเอนจิน เมตริก GPU และรายละเอียดการกำหนดค่าเริ่มต้นของปลายทางนั้น อีกทั้งยังป้องกันไม่ให้มีการแจ้งเตือนสำหรับปลายทางดังกล่าว

การรองรับการปรับปรุงประสิทธิภาพไม่ได้รับประกันว่าจะเกิดประโยชน์ AWS ระบุว่าผลลัพธ์จากการถอดรหัสแบบคาดการณ์ล่วงหน้าขึ้นอยู่กับระดับการทำงานพร้อมกัน รวมถึงความยาวของพรอมป์ต์และคำตอบ และอาจแตกต่างกันระหว่างช่วงที่มีปริมาณการรับส่งข้อมูลสูงสุดกับช่วงนอกเวลาเร่งด่วน ความแตกต่างนี้ชี้ให้เห็นบทบาทที่แท้จริงของฟีเจอร์ดังกล่าว กล่าวคือ ข้อมูลเทเลเมทรีที่เปิดใช้เป็นค่าเริ่มต้นจะแจ้งเตือนให้ทราบ ส่วนการทดสอบประสิทธิภาพจะช่วยตัดสินว่าการประหยัดหรือการเพิ่มความเร็วที่อาจเกิดขึ้นนั้นเป็นจริงหรือไม่ ภายใต้ปริมาณการรับส่งข้อมูลที่สำคัญ

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว