โมเดลและแพลตฟอร์ม AI
Valkey 9.2 เปิดตัวพร้อมแคชคีย์-ค่าแบบกระจายสำหรับการอนุมานของ AI

ประเด็นสำคัญการแคช KV…
ดูเพิ่มเติม
- การแคช KV แบบกระจายช่วยให้เอนจินการอนุมานนำเทนเซอร์พรอมป์กลับมาใช้ซ้ำแทนการคำนวณใหม่ระหว่างการพรีฟิล
- Multiverse Computing ให้บริการคำขอเพิ่มขึ้น 50% บน GPU ชุดเดิมพร้อมทั้งบรรลุเป้าหมายความหน่วงของโทเคนแรก
- แคชที่ใช้ร่วมกันให้ประโยชน์น้อยเมื่อชุดข้อมูลที่ใช้งานอยู่พอดีกับหน่วยความจำ GPU และหน่วยความจำโฮสต์อยู่แล้ว
Valkey เปิดตัวเวอร์ชัน 9.2 เมื่อวันที่ 19 พฤศจิกายน 2026 พร้อมแคชคีย์-ค่าแบบกระจายสำหรับการอนุมานของ AI ประกาศที่เผยแพร่พร้อมกันของโครงการระบุว่า แคชที่ใช้ร่วมกันนี้ช่วยลดค่าใช้จ่ายในการอนุมานได้สูงสุด 40% และลดเวลารอจนกว่าจะได้รับโทเคนแรกของคำตอบได้สูงสุด 80% บนโครงสร้างพื้นฐาน GPU ที่มีอยู่
บทความทางเทคนิคของ Valkeyที่เผยแพร่เมื่อวันที่ 20 ตุลาคม 2026 อธิบายถึงแคชที่ใช้ร่วมกัน ซึ่งทำงานนอกเหนือจากหน่วยความจำ GPU และหน่วยความจำของโฮสต์ เพื่อจัดเก็บเทนเซอร์คีย์-ค่าที่สร้างขึ้นเมื่อโมเดลประมวลผลคำสั่งในพรอมป์ต์ คำจำกัดความของเครื่องมือ และประวัติการสนทนา เอนจินการอนุมานสามารถนำเทนเซอร์เหล่านี้กลับมาใช้กับบริบทที่เกิดซ้ำ แทนที่จะคำนวณใหม่ระหว่างขั้นตอน prefill ซึ่งเป็นขั้นตอนประมวลผลก่อนสร้างเอาต์พุตใหม่ การแชร์แคชระดับนี้ระหว่างเซิร์ฟเวอร์ GPU ทำให้โหนดใดก็ได้โหลดบทสนทนาที่ถูกลบออกจากหน่วยความจำภายในเครื่องได้
การติดตั้งระบบที่ผู้ใช้จัดการเองและใช้โมเดลแบบเปิดน้ำหนัก สามารถเชื่อมต่อแคชผ่านตัวเชื่อมต่อ LMCache กับเอนจินต่าง ๆ เช่น vLLM และ SGLang ได้ โดยเปลี่ยนการกำหนดค่าและไม่ต้องแก้ไขโค้ดของแอปพลิเคชัน Path Hash ซึ่งเป็นชนิดข้อมูลใหม่ใน 9.2 ที่มีโครงสร้างแบบ radix tree รองรับการค้นหาแบบตรงตัว การจับคู่คำนำหน้าที่ยาวที่สุด และการไล่ดูคำนำหน้า Valkey วางตำแหน่งให้เป็นดัชนีน้ำหนักเบาสำหรับค้นหาคำนำหน้าที่แคชไว้ซึ่งตรงกันยาวที่สุดและตำแหน่งของคำนำหน้านั้น ขณะที่ข้อมูล AI ขนาดใหญ่กว่ายังคงอยู่ในหน่วยความจำ GPU หรือหน่วยความจำของโฮสต์
ผลลัพธ์ที่วัดได้และข้อจำกัดของเวิร์กโหลด
Ennio Pastore ผู้อำนวยการฝ่ายแพลตฟอร์ม AI ของ Multiverse Computing กล่าวว่า การใช้แคช KV แบบกระจายบน Valkey ช่วยให้บริษัทให้บริการคำขอได้มากขึ้น 50% บน GPU ชุดเดิม โดยยังคงรักษาเป้าหมายเวลาโทเคนแรกเฉลี่ยไว้ที่หนึ่งวินาที เวลาแฝงมัธยฐานจนถึงโทเคนแรกลดลง 23% ในช่วงที่มีปริมาณการใช้งานปกติ และ 95% ในช่วงที่มีปริมาณการใช้งานสูงสุด นอกจากนี้ Multiverse ยังมีส่วนช่วยปรับปรุงตัวเชื่อมต่อ LMCache เพื่อเพิ่มความทนทานของแคชแบบกระจาย
การทดสอบมาตรฐานแบบสังเคราะห์ที่อธิบายไว้ในบทความทางเทคนิคของ Valkey ใช้บทสนทนาพร้อมกัน 100 รายการ โดยมีบริบทตั้งแต่ 12,000 ถึง 28,000 โทเคน และมีคำขอเข้ามา 8 รายการต่อวินาทีผ่านโหนด GPU สองโหนด ซึ่งแต่ละโหนดมีตัวเร่ง H100 แปดตัว โหนดเหล่านี้ให้บริการ Llama-3.1-70B ผ่าน vLLM และ LMCache โดยใช้คลัสเตอร์ Valkey 9 แบบสามชาร์ดใน Availability Zone เดียวกับแคชที่ใช้ร่วมกัน โครงการวัดผลพบว่าจำนวนคำขอเพิ่มขึ้นประมาณ 25% และจำนวนโทเคนเอาต์พุตเพิ่มขึ้นประมาณ 28% ขณะที่แคชทำให้ค่าใช้จ่าย GPU เพิ่มขึ้นประมาณ 15%
แนวทางการทดสอบและติดตั้งระบบของ Valkey ระบุข้อจำกัดไว้อย่างชัดเจนว่า แคชที่ใช้ร่วมกันให้ประโยชน์เพียงเล็กน้อยเมื่อชุดข้อมูลที่ใช้งานอยู่มีขนาดพอดีกับหน่วยความจำ GPU และหน่วยความจำของโฮสต์อยู่แล้ว หรือเมื่อคำขอไม่มีบริบทที่เกิดซ้ำ และแคชไม่สามารถเพิ่มกำลังประมวลผล GPU ได้ หากการทำ prefill สำหรับโทเคนใหม่กลายเป็นคอขวด แนวทางที่แนะนำคือวางแคชไว้ใน Availability Zone เดียวกับกลุ่ม GPU เพราะแคชอยู่บนเส้นทางที่ใช้สร้างโทเคนแรก และการรับส่งข้อมูลข้ามโซนอาจเพิ่มทั้งเวลาแฝงและค่าธรรมเนียมการถ่ายโอนข้อมูล
ลดภาระหน่วยความจำและเครือข่าย
นอกเหนือจากการแคชสำหรับ AI แล้ว เวอร์ชัน 9.2 ยังมุ่งลดต้นทุนโครงสร้างพื้นฐานของระบบจัดเก็บข้อมูลเองด้วย สแนปช็อตแบบไม่ใช้ fork และการซิงโครไนซ์เรพลิกาแบบเต็มรูปแบบ ซึ่งเลือกเปิดใช้ได้ จะทำงานผ่านเธรดเบื้องหลังแทนการสร้างโปรเซสเซิร์ฟเวอร์แยกต่างหาก จึงหลีกเลี่ยงภาระหน่วยความจำจากการคัดลอกเมื่อเขียนระหว่างงานที่มีการเขียนข้อมูลจำนวนมาก โครงสร้างพื้นฐานนี้เพิ่มพื้นที่ 4 ไบต์ต่อคีย์ และ prefer-forkless นโยบายจะกลับไปใช้ fork เมื่อจำเป็น
การบีบอัดสำหรับการจำลองข้อมูลต่อเนื่องจะเจรจาแยกกันกับเรพลิกาแต่ละตัว ดังนั้นเรพลิกาเวอร์ชันเก่าหรือเรพลิกาที่ปิดใช้ตัวเลือกนี้จะยังคงได้รับข้อมูลแบบไม่บีบอัด บทความเกี่ยวกับการออกรุ่นของ Valkey รายงานว่า ในการทดสอบด้วยคีย์ 3 ล้านรายการ ซึ่งแต่ละรายการมีขนาดประมาณ 315 ไบต์ LZ4 ลดแบนด์วิดท์การจำลองข้อมูลได้ 52% โดยมีภาระต่อปริมาณงานต่ำกว่า 1% การบีบอัดสแนปช็อตทั้งสตรีมรองรับ LZ4 และ Zstandard โดย Zstandard ต้องเปิดใช้ตัวเลือกขณะสร้างโปรแกรม และมุ่งเน้นเป็นพิเศษสำหรับการจำลองข้อมูลข้ามภูมิภาค ซึ่งมีต้นทุนเครือข่ายสูงเมื่อเทียบกับต้นทุนการประมวลผล
ขณะนี้เซตเรียงลำดับขนาดใหญ่ใช้ B+ tree แทน skiplist Valkey รายงานว่าภาระหน่วยความจำต่อสมาชิกในการทดสอบที่มีสมาชิก 5 ล้านรายการ ซึ่งแต่ละรายการประกอบด้วยองค์ประกอบขนาด 20 ไบต์ ลดลง 36% ถึง 43% ส่วนการปรับปรุงด้านการปฏิบัติการอื่น ๆ ได้แก่ การตรวจจับคีย์ที่มีการใช้งานสูงฝั่งเซิร์ฟเวอร์ บทบาทการควบคุมการเข้าถึงที่นำกลับมาใช้ซ้ำได้ การจัดลำดับความสำคัญให้กับสัญญาณ heartbeat ของคลัสเตอร์และการจำลองข้อมูล การสำรองการเชื่อมต่อสำหรับผู้ดูแลระบบ และการจำกัดการเขียนข้อมูลแบบเลือกใช้เมื่อเรพลิกาตามหลัง
บันทึกการออกรุ่น 9.2.0ระบุว่านี่เป็นรุ่นเสถียร 9.2 รุ่นแรก และหน้าดาวน์โหลดแสดงแท็ก Docker และไฟล์ไบนารีสำหรับแพลตฟอร์มต่าง ๆ Valkey อธิบายว่า 9.2 เป็นรุ่นย่อยที่ไม่มีการเปลี่ยนแปลงซึ่งทำให้ระบบเดิมใช้งานไม่ได้ แต่เตือนว่า หากผู้ดูแลระบบปรับลดเวอร์ชันในภายหลัง ไฟล์ฐานข้อมูลแบบ append-only ที่เขียนโดยใช้การบีบอัด LZ4 หรือ Zstandard จะต้องใช้ Valkey เวอร์ชันที่เข้ากันได้
Valkey 9.2 เชื่อมโยงปัจจัยทางเศรษฐศาสตร์ของการอนุมานสองด้านเข้าด้วยกัน ได้แก่ การเรียกคืนกำลังการประมวลผล GPU ที่สูญเสียไปกับการทำ prefill ซ้ำ และการลดภาระด้านหน่วยความจำและเครือข่ายของชั้นข้อมูล สำหรับผู้ดูแลระบบที่กำลังประเมินการใช้งานแคชระดับใหม่นี้ ผลลัพธ์ที่มีการรายงานชี้ว่าคุณค่าของแคชขึ้นอยู่กับการนำเวิร์กโหลดกลับมาใช้ซ้ำและแรงกดดันจากการไล่ข้อมูลออกจากแคช พร้อมระบุขีดจำกัดอย่างชัดเจนเมื่อการทำ prefill สำหรับโทเคนใหม่ใช้กำลังประมวลผล GPU ที่มีอยู่จนหมดแล้ว












