Supermicro เปิดตัวพื้นที่จัดเก็บแคช KV แบบใช้ร่วมกันสำหรับ AI ที่มีบริบทยาว

เมื่อวันที่ 5 พฤศจิกายน 2026 Supermicro ประกาศเปิดตัวโซลูชันจัดเก็บแคช KV ร่วมกับ IBM และ NVIDIA โดยออกแบบมาเพื่อย้ายบริบทการอนุมาน AI ที่นำกลับมาใช้ซ้ำได้ไปจัดเก็บไว้ในพื้นที่จัดเก็บข้อมูลส่วนกลาง ซึ่งมีความจุมากกว่าหน่วยความจำ GPU บริษัทระบุว่า ในการทดสอบร่วมกัน ระบบใช้เวลาจนได้โทเคนแรกเร็วขึ้นสูงสุด 56 เท่า เมื่อประมวลผลพรอมป์ต์ขนาด 130,000 โทเคน

โซลูชันนี้ผสานเซิร์ฟเวอร์จัดเก็บข้อมูลแฟลชล้วนระดับเพตาสเกล Supermicro Petascale ที่ใช้โปรเซสเซอร์ AMD EPYC 9005, ซอฟต์แวร์ IBM Storage Scale, เฟรมเวิร์กการอนุมาน Dynamo ของ NVIDIA และระบบเครือข่ายอีเทอร์เน็ต Spectrum-X โดยมุ่งรองรับแอปพลิเคชันแบบหลายรอบการสนทนาและแบบเอเจนต์ ผู้ช่วยเขียนโค้ด AI แบบหลายโมดัล และการสร้างแบบเสริมด้วยการดึงข้อมูลที่ใช้บริบทยาว ฐานโค้ดขนาดใหญ่ เอกสาร รูปภาพ และประวัติการสนทนาอาจสร้างสถานะคีย์-แวลูมากเกินกว่าที่หน่วยความจำ GPU และ CPU จะเก็บไว้ได้

นำบริบทกลับมาใช้ซ้ำระหว่างคำขอ

ขั้นตอนพรีฟิลจะแปลงพรอมป์ต์ที่แบ่งเป็นโทเคนแล้วให้เป็นสถานะคีย์-แวลูระหว่างทางที่โมเดลใช้ การจัดเก็บสถานะเหล่านี้ไว้ช่วยให้คำขอถัดไปนำบริบทกลับมาใช้ซ้ำได้ โดยไม่ต้องคำนวณใหม่ สถาปัตยกรรมนี้มีชั้นจัดเก็บข้อมูลที่พร้อมใช้งานสูง ซึ่งเปิดให้เข้าถึงร่วมกันได้ระหว่างโหนด GPU และคลัสเตอร์ อีกทั้งยังเพิ่มความจุของแคชได้โดยไม่ต้องหยุดชะงัก

Dynamo เพิ่มการกำหนดเส้นทางที่คำนึงถึงแคช แยกขั้นตอนพรีฟิลออกจากดีโค้ด และถ่ายโอนบล็อกที่แคชไว้ไปยังพื้นที่จัดเก็บผ่าน KV Block Manager และไลบรารีถ่ายโอน NIXL ของระบบ ส่วน IBM Storage Scale Erasure Coding Edition ทำหน้าที่จัดหาชั้นจัดเก็บข้อมูล G4 แบบใช้ร่วมกันในลำดับชั้นหน่วยความจำของ NVIDIA

ผลการทดสอบประสิทธิภาพและเงื่อนไขการทดสอบ

สถาปัตยกรรมอ้างอิงของ IBM Redbooks ซึ่งเผยแพร่เมื่อวันที่ 5 มิถุนายน 2026 และปรับปรุงล่าสุดเมื่อวันที่ 20 สิงหาคม 2026 รายงานว่า การคำนวณใหม่ด้วย GPU ใช้เวลา 32.14 วินาทีสำหรับอินพุตขนาด 130,000 โทเคน เทียบกับ 0.570 วินาทีเมื่อใช้แคชที่เชื่อมต่อกับพื้นที่จัดเก็บข้อมูล ตัวเลขเหล่านี้มาจากการวัดผลที่มีอยู่แล้วและเป็นข้อมูลสนับสนุนการเปิดตัว ไม่ใช่ผลการศึกษาที่เผยแพร่ใหม่ในเดือนพฤศจิกายน

การทดสอบแยกอีกชุดหนึ่งซึ่งมีคำขอ 200 รายการ ใช้การเชื่อมต่อพร้อมกัน 28 รายการ และพรอมป์ต์ที่ไม่ซ้ำกัน 100 รายการ ซึ่งรวมกันมีขนาด 24 ล้านโทเคน และใช้ข้อมูลแคช KV 825 GB รายงานของ Redbook ระบุว่า ปริมาณงานเพิ่มขึ้นจาก 0.19 เป็น 4.26 คำขอต่อวินาที ขณะที่เวลาประมวลผลทั้งหมดลดลงจาก 1,048.56 เหลือ 46.94 วินาที แคชเริ่มต้นจากสภาพว่าง ดังนั้นค่าเฉลี่ยตลอดการทดสอบจึงรวมช่วงเริ่มต้นที่ยังไม่มีแคช ขณะที่การนำข้อมูลกลับมาใช้ซ้ำค่อย ๆ เพิ่มขึ้น

ในการทดสอบภาวะเครือข่ายถูกรบกวนจากผู้ใช้รายอื่น ไคลเอนต์อีกสี่เครื่องสร้างทราฟฟิก I/O เครือข่ายที่แข่งขันกันใช้แบนด์วิดท์ 200 GB/s ระบบที่ใช้แคชรักษาอัตราการประมวลผลไว้ที่ 3.6 คำขอต่อวินาที และประมวลผลคำขอ 200 รายการเสร็จใน 55.56 วินาที ซึ่ง Redbook ระบุว่าเป็นการลดลงของปริมาณงาน 18% เมื่อเทียบกับผลการทดสอบระบบแคชบนเครือข่ายที่ไม่มีการรบกวน

การวัดผลการอนุมานทั้งหมดมาจากโหนดไคลเอนต์ GPU ของ Supermicro หนึ่งโหนด ซึ่งติดตั้ง GPU NVIDIA RTX PRO 6000 สี่ตัว และเชื่อมต่อกับคลัสเตอร์จัดเก็บข้อมูล Petascale แปดโหนด ชุดซอฟต์แวร์ที่ใช้ประกอบด้วย Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf และโมเดล openai/gpt-oss-120b โดยปิดใช้ชั้นแคชในหน่วยความจำ GPU และ DRAM ของระบบ เพื่อแยกทดสอบชั้น G4 แบบใช้ร่วมกัน

เผื่อกำลังเครือข่ายและกำหนดขนาดระบบสำหรับการติดตั้งใช้งาน

สวิตช์ Spectrum-X SN5600 สามตัวทำหน้าที่เป็นโครงข่ายแบบสไปน์-ลีฟในการทดสอบ Redbook รายงานว่า แบนด์วิดท์ฝั่งไคลเอนต์สูงสุดอยู่ที่ 80 GB/s ขณะที่ระบบจัดเก็บข้อมูลแปดโหนดรองรับอัตราการอ่านข้อมูลสูงสุด 315 GB/s ดังนั้นข้อจำกัดของการกำหนดค่าระบบจึงอยู่ที่เครือข่ายฝั่งไคลเอนต์ ไม่ใช่ความสามารถในการอ่านข้อมูลเต็มอัตราของชั้นจัดเก็บข้อมูล

ตัวอย่างการกำหนดขนาดระบบใน Redbook ใช้โหนดจัดเก็บข้อมูลสี่โหนดสำหรับการติดตั้งใช้งานพิสูจน์แนวคิดขนาดเล็ก แปดโหนดสำหรับการกำหนดค่าขนาดกลางที่ใช้ทดสอบ และ 16 โหนดขึ้นไปสำหรับโรงงาน AI ขนาดใหญ่ ความจุ แบนด์วิดท์ จำนวนการเชื่อมต่อพร้อมกัน ขนาดโมเดล และลักษณะงาน ล้วนมีผลต่อการออกแบบที่เหมาะสม Supermicro ระบุว่า บริการประกอบแร็กในโรงงานและติดตั้ง ณ สถานที่จริงสามารถลดเวลาติดตั้งจากหลายสัปดาห์เหลือเพียงไม่กี่วัน

การเปิดตัวครั้งนี้นำเสนอสถาปัตยกรรมที่มีการจัดทำเอกสารและตรวจสอบความถูกต้องร่วมกันไว้ก่อนแล้ว เพื่อให้พร้อมนำไปใช้งาน แต่ประสิทธิภาพที่เพิ่มขึ้นนั้นขึ้นอยู่กับโมเดล ชุดพรอมป์ต์ ระดับการเชื่อมต่อพร้อมกัน และเครือข่ายที่ใช้โดยเฉพาะ คำถามสำคัญในการติดตั้งใช้งานคือ ความจุของพื้นที่จัดเก็บและแบนด์วิดท์ฝั่งไคลเอนต์สมดุลกับความต้องการนำบริบทกลับมาใช้ซ้ำจริงหรือไม่ เพราะการเพิ่มขีดความสามารถในการอ่านข้อมูลของพื้นที่จัดเก็บเพียงอย่างเดียวไม่ช่วยให้การอนุมานเร็วขึ้น หากเครือข่ายฝั่งไคลเอนต์ส่งข้อมูลมาให้ไม่ได้