โมเดลและแพลตฟอร์ม AI

SageMaker AI จัดเส้นทางคำขอตามสถานะแคช GPU ที่รายงานโดยคอนเทนเนอร์

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญการกำหนดเส้นทางที่รับรู้ KV ช่วยเพิ่มอัตราการเข้าถึงแคชจาก 3–48% เป็น 80–93%…
ดูเพิ่มเติม
  • การกำหนดเส้นทางที่รับรู้ KV ช่วยเพิ่มอัตราการเข้าถึงแคชจาก 3–48% เป็น 80–93% โดยการติดตามการขับออกที่รายงานโดยคอนเทนเนอร์
  • ค่าใช้จ่ายในการกำหนดเส้นทางเพิ่ม 14 ถึง 19 มิลลิวินาทีของ CloudWatch OverheadLatency แม้ว่าความหน่วงของโมเดลจะดีขึ้นก็ตาม
  • คุณลักษณะนี้ต้องมีอย่างน้อยสองอินสแตนซ์หรือสำเนาขององค์ประกอบการอนุมานเพื่อให้มีผลต่อการกำหนดเส้นทาง

เมื่อวันที่ 17 พฤศจิกายน 2026 Amazon Web Services เปิดตัวการจัดเส้นทางที่คำนึงถึงแคช KVสำหรับปลายทางแบบเรียลไทม์ของ Amazon SageMaker AI โดยใช้สถานะแคชที่คอนเทนเนอร์รายงานเพื่อกำหนดปลายทางของคำขอ AWS รายงานว่า ในการทดสอบพรอมป์ตยาวภายใต้ภาระงานหนัก วิธีนี้ช่วยลดค่ามัธยฐานของเวลาจนถึงโทเค็นแรกได้สูงสุด 97% และเพิ่มอัตราการประมวลผลได้ 234% เมื่อเทียบกับการจัดเส้นทางแบบสุ่ม

แคช KV เก็บผลการประมวลผลพรอมป์ตก่อนหน้าไว้ในหน่วยความจำ GPU ทำให้โมเดลนำผลเหล่านั้นกลับมาใช้ได้ แทนที่จะต้องประมวลผลโทเค็นอินพุตที่ตรงกันในขั้นต้นซ้ำอีกครั้ง หรือที่เรียกว่าการประมวลผลล่วงหน้า (prefill) การกำหนดตำแหน่งแคชจึงสำคัญต่อผู้ช่วยแชต ระบบสร้างเนื้อหาเสริมด้วยการดึงข้อมูล และเอเจนต์ที่ใช้พรอมป์ต์ระบบยาว เพราะการส่งคำขอไปยังที่อื่นอาจทำให้อินสแตนซ์ต้องคำนวณบริบทซ้ำ ทั้งที่ GPU อีกตัวมีข้อมูลนั้นอยู่แล้ว

การจัดเส้นทางตามสถานะแคชที่รายงาน

กลยุทธ์เดิมของ SageMaker AI ที่คำนึงถึงคำนำหน้าจะอนุมานตำแหน่งแคชจากคำนำหน้าคำขอที่กำหนดไว้ตายตัว แต่ไม่สามารถตรวจจับการนำรายการออกจากแคชได้ และคำขอในช่วงต้นของบทสนทนาที่ยาวขึ้นอาจได้ค่าแฮชต่างกันและไปอยู่คนละอินสแตนซ์ ส่วนการจัดเส้นทางที่คำนึงถึงแคช KV จะใช้เหตุการณ์จากคอนเทนเนอร์ของโมเดลทุกครั้งที่มีการจัดเก็บหรือนำรายการออกจากแคช

บริการนี้ดูแลดัชนีที่จับคู่ค่าแฮชแบบตัดทอนทางเดียวกับอินสแตนซ์หรือสำเนาของคอมโพเนนต์การอนุมาน แทนการจัดเก็บพรอมป์ต์ รหัสโทเค็น ข้อมูลคำขอ หรือเทนเซอร์ KV พรอมป์ต์ขาเข้าแต่ละรายการจะถูกแปลงเป็นโทเค็นและนำไปเทียบกับดัชนีดังกล่าว ปลายทางจะพิจารณาการจับคู่ที่เก็บไว้ในแคชซึ่งยาวที่สุดร่วมกับภาระงานของอินสแตนซ์ และข้ามตัวเลือกที่มีภาระงานสูงเกินไป

หากการค้นหาล่าช้า ไม่มีรายการที่ตรงกันและเป็นประโยชน์ หรืออินสแตนซ์ที่ตรงกันทั้งหมดมีภาระงานสูง ระบบจะเปลี่ยนไปใช้การจัดเส้นทางไปยังคำขอที่ยังดำเนินการอยู่น้อยที่สุด และยังคงให้บริการคำขอนั้นต่อไป เมื่อปรับลดขนาด ระบบจะนำรายการดัชนีของอินสแตนซ์ที่ถูกลบออกออกไปด้วย ส่วนอินสแตนซ์ใหม่หรืออินสแตนซ์ที่ใช้แทนจะเริ่มต้นด้วยแคชว่าง จึงต้องคำนึงถึงการสร้างแคชขึ้นใหม่และความหน่วงจากการเริ่มต้นระบบแบบเย็นซึ่งเกิดขึ้นชั่วคราว

ประสิทธิภาพที่เพิ่มขึ้นและภาระงานจากการจัดเส้นทาง

AWS รายงานว่า การทดสอบเป็นเวลา 30 นาทีใช้ Llama 3.1 70B Instruct บนอินสแตนซ์ ml.p5.48xlarge จำนวนเจ็ดเครื่อง โดยจำลองผู้ใช้ 20 หรือ 100 คน พร้อมบทสนทนาหลายรอบและเซสชันถามตอบเกี่ยวกับเอกสาร รวมถึงพรอมป์ต์ที่มีความยาวประมาณ 64,000 โทเค็น อัตราการเข้าถึงแคชเพิ่มขึ้นจาก 3–48% เมื่อใช้การจัดเส้นทางแบบสุ่ม เป็น 80–93% เมื่อใช้การจัดเส้นทางที่คำนึงถึงแคช KV ผลลัพธ์ขึ้นอยู่กับลักษณะของภาระงาน และพรอมป์ต์สั้นได้ประโยชน์น้อยที่สุด เพราะมีการคำนวณล่วงหน้าให้เรียกใช้ซ้ำน้อยกว่า

การค้นหาเพื่อจัดเส้นทางเพิ่มภาระงานจากการแปลงเป็นโทเค็นและการประมวลผลดัชนี โดยใช้เวลาเพิ่มไม่กี่มิลลิวินาทีสำหรับพรอมป์ต์สั้น และมากกว่านั้นสำหรับพรอมป์ต์ที่ยาวขึ้น คำขอข้อความมาตรฐานจะส่งโทเค็นที่คำนวณแล้วไปยังโมเดล จึงไม่ต้องแปลงเป็นโทเค็นซ้ำ ในการเปรียบเทียบแยกต่างหากของ AWS ซึ่งใช้ Qwen3-4B-Instruct-2507 บนอินสแตนซ์สองเครื่อง ค่าเฉลี่ยของ CloudWatch OverheadLatency ซึ่งวัดเวลาที่ SageMaker AI ใช้ภายนอกคอนเทนเนอร์ของโมเดล สูงขึ้น 14 ถึง 19 มิลลิวินาทีเมื่อใช้การจัดเส้นทางที่คำนึงถึงแคช KV แม้ความหน่วงของโมเดลและเวลาจนถึงโทเค็นแรกจะดีขึ้นก็ตาม

ข้อกำหนดในการติดตั้งใช้งานและการตรวจสอบ

เมื่อเปิดตัว ฟีเจอร์นี้ต้องใช้คอนเทนเนอร์การเรียนรู้เชิงลึก AWS vLLM สำหรับ SageMaker AI ที่ใช้ vLLM 0.33.0 ขึ้นไป หรือ Amazon Linux server-sagemaker-cuda-v2.8.0 รุ่นบิลด์หรือใหม่กว่า ต้องเปิดใช้การแคชคำนำหน้าและเหตุการณ์แคช KV ลูกค้ากำหนด SM_VLLM_KV_EVENTS_CONFIG บนโมเดลและ RoutingStrategy เป็น KV_AWARE ในตัวแปรการใช้งานจริง โดยไม่ต้องเปลี่ยนการเรียกใช้งานจากไคลเอ็นต์

รองรับปลายทางแบบเรียลไทม์ที่ใช้ GPU ทั้งแบบโมเดลเดียวและแบบคอมโพเนนต์การอนุมาน รวมถึงอะแดปเตอร์ Low-Rank Adaptation แบบไดนามิก การจัดเส้นทางต้องใช้อินสแตนซ์อย่างน้อยสองเครื่องสำหรับปลายทางแบบโมเดลเดียว หรือสำเนาคอมโพเนนต์การอนุมานสองชุด หากมีปลายทางเพียงแห่งเดียว การตั้งค่านี้จะไม่มีผลต่อการจัดเส้นทาง คำขอต้องใช้เพย์โหลด Completions หรือ Chat Completions ที่เข้ากันได้กับ OpenAI ผ่าน API สำหรับเรียกใช้งานที่รองรับ และ InvokeEndpointWithBidirectionalStream ไม่รองรับ

เมื่อเปิดตัว การจัดเส้นทางที่คำนึงถึงแคช KV ยังไม่มีเมตริกเฉพาะหรือบันทึกการตัดสินใจจัดเส้นทางในบัญชีลูกค้า และไม่มีการแสดงกรณีที่ระบบเปลี่ยนไปใช้วิธีสำรองในคอนโซลหรือเมตริกของ SageMaker AI ลูกค้าสามารถตรวจสอบ usage.prompt_tokens_details.cached_tokens หลังจากเปิดใช้รายละเอียดโทเค็นของพรอมป์ต์แล้ว และติดตามเมตริกของคอนเทนเนอร์ เช่น อัตราการเข้าถึงแคชและเวลาจนถึงโทเค็นแรก ผ่านการตรวจสอบการทำงานโดยละเอียดและ CloudWatch

ฟีเจอร์นี้พร้อมใช้งานใน AWS Region เชิงพาณิชย์ทุกแห่งที่รองรับการอนุมานแบบเรียลไทม์ของ SageMaker AI ด้วยคอนเทนเนอร์ที่รองรับ โดยไม่มีค่าใช้จ่ายเพิ่มเติมนอกเหนือจากค่าอินสแตนซ์ของปลายทาง AWS ยังคงระบุว่าการจัดเส้นทางที่คำนึงถึงคำนำหน้าเป็นตัวเลือกที่เรียบง่ายกว่า สำหรับพรอมป์ต์ที่ใช้ร่วมกันอย่างคงที่ บริบทสั้น และภาระงานปานกลาง ส่วนการจัดเส้นทางที่คำนึงถึงแคช KV ตอบโจทย์บริบทที่ยาวและนำกลับมาใช้ซ้ำได้ แรงกดดันต่อหน่วยความจำ และการนำข้อมูลออกจากแคชบ่อยครั้ง จึงทำให้แต่ละภาระงานต้องหาจุดสมดุลด้านโครงสร้างพื้นฐานอย่างชัดเจน ระหว่างงานประมวลผลล่วงหน้าบน GPU ที่กู้คืนมาได้ กับภาระงานการจัดเส้นทางที่เพิ่มขึ้นต่อคำขอ

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว