Tensormesh เปิดตัวแพลตฟอร์มเพื่อลดต้นทุนการอนุมาน LLM ด้วยการนำแคช KV กลับมาใช้ซ้ำ

ทุกครั้งที่ผู้ช่วย AI ได้รับเอกสารยาว ก็ต้องประมวลผลเนื้อหานั้นก่อนจึงจะเริ่มตอบได้ หากมีเอกสาร คำสั่ง หรือประวัติการสนทนาเดิมปรากฏขึ้นอีกครั้ง การประมวลผลส่วนใหญ่ก็อาจต้องทำซ้ำ ในระดับองค์กร การทำงานซ้ำเช่นนี้อาจใช้ทรัพยากร GPU ซึ่งมีต้นทุนสูง โดยไม่ได้เพิ่มงานที่เป็นประโยชน์

Tensormesh มุ่งแก้ปัญหานี้ด้วย Tensormesh Platform ซึ่งประกาศเปิดตัวเมื่อวันที่ 14 ตุลาคม 2026 บริษัทนี้ ซึ่งทีมงานเป็นผู้สร้างโครงการโอเพนซอร์ส LMCache ได้นำเสนอตัวจัดการระดับองค์กรสำหรับการแคชคีย์-แวลู หรือการแคช KV ให้แก่องค์กรที่ให้บริการโมเดลภาษาขนาดใหญ่บนโครงสร้างพื้นฐานของตนเอง

แพลตฟอร์มนี้จัดการสถานะการอนุมานที่นำกลับมาใช้ซ้ำได้ในหน่วยความจำ GPU หน่วยความจำ CPU และพื้นที่จัดเก็บ ประโยชน์ที่มุ่งหวังนั้นตรงไปตรงมา คือช่วยลดปริมาณการประมวลผลพรอมป์ต์ที่ระบบ GPU ต้องทำซ้ำ พร้อมเปิดให้ผู้ดูแลควบคุมวิธีเก็บรักษา แชร์ และติดตามสถานะแคชดังกล่าว

เหตุใดแคช KV จึงสำคัญ

การอนุมาน LLM มีสองขั้นตอนสำคัญ ระหว่างขั้นตอน เติมข้อมูลล่วงหน้า โมเดลจะประมวลผลพรอมป์ต์ขาเข้า ส่วนระหว่างขั้นตอน ถอดรหัส โมเดลจะสร้างคำตอบทีละโทเคน แคช KV เก็บสถานะระหว่างการประมวลผลที่เกี่ยวข้องกับกลไกความสนใจ ซึ่งช่วยให้โมเดลอ้างอิงโทเคนที่ประมวลผลแล้วได้โดยไม่ต้องคำนวณทุกอย่างใหม่ตั้งแต่ต้น

การนำสถานะดังกล่าวกลับมาใช้ซ้ำในคำขอต่าง ๆ ช่วยลดงานในขั้นตอนเติมข้อมูลล่วงหน้าได้เมื่อบริบทขาเข้ามีข้อมูลซ้ำกัน ตัวอย่างเช่น ผู้ช่วยฝ่ายสนับสนุนอาจเปิดดูคู่มือผลิตภัณฑ์เล่มเดิมเพื่อตอบคำถามที่แตกต่างกันหลายร้อยข้อ ส่วนเอเจนต์อาจใส่คำสั่งหรือเครื่องมือเดิมซ้ำ ๆ ควบคู่ไปกับงานที่เปลี่ยนแปลงอยู่เสมอ

วิธีนี้แตกต่างจากการแคชคำตอบที่สร้างเสร็จแล้ว ระบบสามารถนำการคำนวณที่เกี่ยวข้องกับบริบทซึ่งใช้ร่วมกันกลับมาใช้ซ้ำได้ ขณะเดียวกันก็ยังสร้างคำตอบใหม่ให้กับคำถามใหม่

เอกสารเกี่ยวกับการแคชคำนำหน้าอัตโนมัติของ vLLM อธิบายประโยชน์นี้สำหรับการค้นหาเอกสารซ้ำและการสนทนาหลายรอบ นอกจากนี้ยังระบุข้อจำกัดสำคัญไว้ด้วยว่า การแคชคำนำหน้าช่วยเร่งการประมวลผลพรอมป์ต์ ไม่ได้ช่วยเร่งการสร้างโทเคนเอาต์พุตใหม่ งานที่เน้นการสร้างคำตอบยาว ๆ หรือใช้ข้อมูลขาเข้าที่ไม่ซ้ำกันเป็นส่วนใหญ่อาจได้ประโยชน์น้อยกว่า

สำหรับผู้ซื้อระดับองค์กร คำถามที่ควรพิจารณาคือ ในงานจริงของตนมีบริบทที่นำกลับมาใช้ซ้ำได้มากน้อยเพียงใด และจะดึงบริบทนั้นกลับมาใช้ได้เร็วกว่าและมีต้นทุนต่ำกว่าการคำนวณใหม่หรือไม่

เปลี่ยนแคชให้เป็นโครงสร้างพื้นฐานที่มีการจัดการ

เอกสารเปิดตัวของ Tensormesh ระบุความสำคัญด้านการปฏิบัติงานไว้ห้าประการ ได้แก่ ความปลอดภัย การตรวจสอบและติดตามการทำงาน ความทนทานต่อความขัดข้อง การจัดการนโยบาย และการรองรับผู้ใช้หลายรายบนระบบเดียวกัน สิ่งเหล่านี้ครอบคลุมงานที่จำเป็นในทางปฏิบัติ ได้แก่ การปกป้องข้อมูลแคช การติดตามประสิทธิภาพ การกู้คืนจากความขัดข้อง การควบคุมระยะเวลาเก็บรักษาและการนำข้อมูลออกจากแคช ตลอดจนการแยกทีมงานหรือลูกค้าออกจากกันบนโครงสร้างพื้นฐานที่ใช้ร่วมกัน

บริษัทยังกล่าวถึง API ของตัวควบคุมสำหรับการตรึง ค้นหาตำแหน่ง ย้าย บีบอัด และล้างรายการแคช ทำให้การจัดการวงจรชีวิตของแคชเป็นประเด็นด้านการปฏิบัติงานที่ชัดเจน แทนที่จะปล่อยให้เป็นหน้าที่ของกระบวนการอนุมานแต่ละรายการทั้งหมด

โครงการ LMCache ซึ่งเป็นเทคโนโลยีพื้นฐาน แยกการจัดการแคชออกจากเอนจินที่ให้บริการ และรองรับการถ่ายโอนข้อมูลออกไปยังพื้นที่จัดเก็บหลายระดับ ตลอดจนการดึงข้อมูลกลับมา เอกสารของโครงการอธิบายการนำข้อมูลกลับมาใช้ซ้ำระหว่างคำขอ เซสชัน และอินสแตนซ์ของเอนจิน พร้อมรองรับส่วนเชื่อมต่อสำหรับระบบจัดเก็บและระบบขนส่งข้อมูลที่เลือกใช้ได้

แพลตฟอร์มระดับองค์กรต่อยอดจากรากฐานดังกล่าว ตามที่ระบุไว้ในคู่มือการติดตั้ง ตัวดำเนินการ Kubernetes จะจัดการองค์ประกอบของเอนจินแคช โดยมีเซิร์ฟเวอร์แคชอยู่บนโหนด GPU และมีตัวประสานงานสำหรับประสานการทำงานในระดับกลุ่มเซิร์ฟเวอร์ ส่วน Helm ใช้เป็นช่องทางสำหรับติดตั้งใช้งาน ขณะที่ส่วนติดต่อผู้ใช้บนเว็บและเครื่องมือบรรทัดคำสั่งช่วยรองรับการปฏิบัติงาน

สถาปัตยกรรมนี้สำคัญเพราะหน่วยความจำ GPU มีจำกัด การเก็บพรอมป์ต์ทุกชุดที่อาจนำกลับมาใช้ซ้ำไว้ในนั้นย่อมแย่งทรัพยากรจากความต้องการด้านการอนุมานอื่น ๆ การย้ายสถานะที่ไม่ได้ต้องใช้ทันทีไปไว้ในหน่วยความจำของโฮสต์หรือพื้นที่จัดเก็บช่วยเพิ่มปริมาณข้อมูลที่เก็บรักษาไว้ได้ แม้การดึงข้อมูลกลับมาจะมีต้นทุนด้านแบนด์วิดท์และเวลาแฝงของตัวเอง

ก้าวข้ามการแคชคำนำหน้าพรอมป์ต์ที่เหมือนกัน

การแคชคำนำหน้าใช้ได้ดีเมื่อพรอมป์ต์สองชุดเริ่มต้นด้วยโทเคนชุดเดียวกัน แต่การสร้างแบบเสริมการค้นคืน หรือ RAG อาจทำได้ยากกว่า กล่าวคือ แอปพลิเคชันค้นคืนเอกสารที่เกี่ยวข้อง แต่เอกสารเหล่านั้นอาจเรียงลำดับต่างกันหรืออยู่หลังข้อความก่อนหน้าที่แตกต่างกัน

ลองพิจารณาคำขอสองรายการสมมติที่ใช้เอกสารชุดเดียวกัน รายการหนึ่งมีเอกสาร A ตามด้วย B ส่วนอีกรายการมี B ตามด้วย A ทั้งสองรายการมีเนื้อหาที่นำกลับมาใช้ซ้ำได้ แต่ส่วนต้นที่เหมือนกันอาจมีเพียงช่วงสั้น ๆ

Tensormesh ใช้ CacheBlend เพื่อขยายการนำข้อมูลกลับมาใช้ซ้ำให้ครอบคลุมเนื้อหาที่อยู่นอกเหนือจากช่วงต้นของพรอมป์ต์ เอกสารของ LMCache อธิบายว่าเทคโนโลยีนี้คำนวณโทเคนบางส่วนใหม่อย่างเลือกเฉพาะจุด พร้อมนำชังก์ที่แคชไว้กลับมาใช้ซ้ำ การคำนวณใหม่มีความสำคัญ เพราะบริบทโดยรอบชังก์หนึ่ง ๆ อาจส่งผลต่อสถานะภายในของโมเดล

เอกสารงานวิจัย CacheBlend ซึ่งนำเสนอในงาน EuroSys 2025 รายงานว่า ในเวิร์กโหลดที่นำมาประเมิน เทคโนโลยีนี้ช่วยให้ได้โทเคนแรกเร็วขึ้น 2.2–3.3 เท่า และเพิ่มปริมาณงานได้ 2.8–5 เท่า เมื่อเทียบกับการคำนวณ KV ใหม่ทั้งหมด ผู้วิจัยประเมินโมเดลโอเพนซอร์สสามโมเดลและชุดข้อมูลมาตรฐานสี่ชุด

ผลลัพธ์เหล่านี้เป็นผลการวิจัยภายใต้เงื่อนไขเฉพาะ ไม่ใช่การรับประกันว่าจะประหยัดได้ในทุกการติดตั้งใช้งาน Tensormesh อย่างไรก็ตาม ผลดังกล่าวแสดงให้เห็นว่าเหตุใดการนำข้อมูลกลับมาใช้ซ้ำนอกเหนือจากพรอมป์ต์ส่วนต้นที่ใช้ร่วมกันจึงเป็นแนวทางที่น่าสนใจในเชิงเทคนิค เพราะช่วยกู้คืนการประมวลผลที่เป็นประโยชน์ ซึ่งการจับคู่คำนำหน้าแบบเดิมอาจพลาดไป

การนำข้อมูลกลับมาใช้ซ้ำข้ามโหนดและความสำคัญของการรองรับที่แตกต่างกันตามเวอร์ชัน

ประกาศเปิดตัวกล่าวถึงการถ่ายโอน KV แบบเพียร์ทูเพียร์ ซึ่งช่วยให้โหนดหนึ่งดึงสถานะที่แคชไว้มาจากอีกโหนดได้ ส่วนเอกสารผลิตภัณฑ์ของบริษัทกล่าวถึงการแยกขั้นตอน prefill/decode การแยกดังกล่าวจะแบ่งการประมวลผลพรอมป์ต์ออกจากการสร้างผลลัพธ์ เพื่อให้ทั้งสองขั้นตอนทำงานบนเวิร์กเกอร์คนละเครื่องได้

ทั้งสองแนวทางเป็นวิธีจัดการการอนุมานที่ส่งเสริมกัน การแบ่งปันสถานะที่เข้ากันได้ช่วยหลีกเลี่ยงการคำนวณซ้ำบนโหนดอื่น ส่วนการแยกขั้นตอนช่วยให้ทีมโครงสร้างพื้นฐานจัดสรรทรัพยากรให้สอดคล้องกับความต้องการในการประมวลผลของแต่ละขั้นตอนได้แตกต่างกัน

อย่างไรก็ตาม ข้อมูลสาธารณะเกี่ยวกับสถานะการเปิดตัวไม่ได้สอดคล้องกันทั้งหมด บทนำเกี่ยวกับการเปิดตัวกล่าวถึงการแบ่งปันข้อมูลข้ามโหนดและการแยกขั้นตอน ขณะที่ตารางความเข้ากันได้ตามเวอร์ชันซึ่งลงวันที่ 17 กันยายน ระบุว่าการถ่ายโอนแบบเพียร์ทูเพียร์และการแยกขั้นตอนยังอยู่ในแผนงาน นอกจากนี้ เอกสารฟีเจอร์ยังมีหน้าที่ระบุว่าเป็นเวอร์ชันพรีวิวด้วย

ตารางเดียวกันนี้แยกฟีเจอร์ที่ผ่านการตรวจสอบในการทดสอบของ Tensormesh ออกจากฟีเจอร์ที่รองรับในโครงการต้นทาง แต่ต้องผ่านการทดสอบเพิ่มเติมก่อนนำไปใช้จริง โดยระบุ vLLM และ NVIDIA Dynamo เป็นเอนจินให้บริการที่ผ่านการตรวจสอบแล้ว ส่วน SGLang และ TensorRT-LLM ยังอยู่ในแผนงาน

ดังนั้น ถ้อยคำกว้าง ๆ ที่ระบุถึงความเข้ากันได้ในการเปิดตัวจึงสะท้อนทิศทางการออกแบบ มากกว่าจะเป็นหลักฐานว่าได้ตรวจสอบโมเดลและชุดโครงสร้างพื้นฐานทุกแบบแล้ว ทีมงานควรยืนยันเวอร์ชันที่แน่นอน เอนจินให้บริการ โมเดล และโหมดแคชที่ตั้งใจจะนำไปใช้งาน

บทนำเกี่ยวกับการเปิดตัวระบุโดยเฉพาะถึง vLLM บน Kubernetes ที่ใช้ GPU NVIDIA หรือ AMD Instinct รุ่นที่รองรับผ่าน ROCm รวมถึงพื้นที่จัดเก็บข้อมูลที่ทำงานบนระบบไฟล์ นอกจากนี้ยังระบุว่าการแคชที่ไม่อิงคำนำหน้าสำหรับโมเดลแบบ dense และการรองรับ SGLang จะเปิดให้ใช้ในอนาคต อีกทั้งยังชี้แจงว่าแคชทำงานควบคู่กับโมเดลที่โฮสต์เอง ไม่ใช่ส่วนเสริมที่นำไปเชื่อมต่อกับ API ของโมเดลที่โฮสต์ไว้แบบใดก็ได้

กรณีที่มีโอกาสคุ้มค่าทางเศรษฐกิจ

กรณีที่มีแนวโน้มได้ประโยชน์มากที่สุดคือแอปพลิเคชันที่ประมวลผลบริบทส่วนใหญ่ชุดเดิมซ้ำ ๆ เช่น ผู้ช่วยค้นหาความรู้ภายในองค์กร บริการวิเคราะห์เอกสาร และเอเจนต์ที่กลับมาใช้ชุดคำสั่งหรือเอกสารอ้างอิงซึ่งมีเนื้อหาคงที่อยู่เป็นประจำ

การประเมินที่เป็นประโยชน์ควรเปรียบเทียบการทำงานเมื่อแคชยังว่างกับเมื่อแคชอุ่นแล้ว โดยใช้ทราฟฟิกที่เป็นตัวแทนของการใช้งานจริง ผู้ปฏิบัติงานควรวัดเวลาจนถึงโทเค็นแรก อัตราประมวลผล เวลาเรียกคืนแคช การใช้งาน GPU ตลอดจนต้นทุนด้านหน่วยความจำ พื้นที่จัดเก็บข้อมูล และเครือข่ายที่เกิดจากการเก็บรักษาสถานะ

การดูอัตราการพบข้อมูลในแคชเพียงอย่างเดียวยังไม่เพียงพอ อัตราการพบข้อมูลที่สูงจะเป็นประโยชน์ก็ต่อเมื่อการประมวลผลที่กู้คืนมาได้ให้ผลประโยชน์สุทธิหลังหักภาระจากการถ่ายโอนและการจัดการแล้ว ในทำนองเดียวกัน การได้โทเค็นแรกเร็วขึ้นไม่ได้หมายความว่าการสร้างคำตอบทั้งหมดจะเสร็จเร็วขึ้นในสัดส่วนเดียวกันเสมอไป

ควรตรวจสอบคุณภาพของคำตอบแยกต่างหาก โดยเฉพาะเมื่อมีการนำส่วนที่แคชไว้มารวมกันในบริบทที่เปลี่ยนไป การคำนวณซ้ำแบบเลือกเฉพาะส่วนของ CacheBlend ออกแบบมาเพื่อจัดการปัญหานี้ แต่การทดสอบก่อนใช้งานจริงควรครอบคลุมเอกสาร รูปแบบพรอมป์ต์ และการกำหนดค่าโมเดลขององค์กรเอง

การเก็บรักษาข้อมูลและการแยกผู้เช่าออกจากกันยิ่งมีความสำคัญเมื่อแคชขยายขอบเขตเกินกว่ากระบวนการเดียว คำถามด้านการปฏิบัติงานที่เกี่ยวข้อง ได้แก่ ใครบ้างที่นำรายการหนึ่งกลับมาใช้ซ้ำได้ รายการนั้นจะยังพร้อมใช้งานนานเท่าใด และการเปลี่ยนแปลงนโยบายหรือคำขอลบข้อมูลส่งผลต่อสถานะที่บันทึกไว้อย่างไร ฟีเจอร์การจัดการที่ Tensormesh ประกาศไว้มีเป้าหมายเพื่อให้ควบคุมการตัดสินใจเหล่านี้ได้

แนวทางที่เป็นรูปธรรมในการลดงานซ้ำ

ตามประกาศของบริษัท Tensormesh Platform พร้อมให้ใช้งานแล้วนับตั้งแต่เปิดตัว ความสำคัญของแพลตฟอร์มนี้อยู่ที่การจัดการสถานะการอนุมานให้เป็นทรัพยากรที่ดูแลได้ทั่วทั้งกลุ่มเครื่อง โดยเก็บการประมวลผลที่นำกลับมาใช้ซ้ำได้ไว้นานกว่าช่วงเวลาที่คำขอหนึ่ง ๆ ทำงานอยู่

สำหรับองค์กรที่ดูแลโครงสร้างพื้นฐาน LLM ของตนเอง แนวทางนี้เป็นเครื่องมือที่นำไปใช้เพิ่มประสิทธิภาพได้อย่างเป็นรูปธรรม นั่นคือการนำงานประมวลผลพรอมป์ต์ที่ทำไปแล้วกลับมาใช้ซ้ำให้มากขึ้น ผลลัพธ์จะขึ้นอยู่กับความถี่ที่เวิร์กโหลดทำซ้ำ ความเข้ากันได้ของแคช และต้นทุนในการเคลื่อนย้ายข้อมูล แต่ปัจจัยเหล่านี้เป็นประเด็นทางวิศวกรรมที่วัดผลได้ ซึ่งทีมงานสามารถทดสอบกับทราฟฟิกของตนเอง