Supermicro ra mắt giải pháp lưu trữ bộ nhớ đệm KV dùng chung cho AI có ngữ cảnh dài

Ngày 5 tháng 11 năm 2026, Supermicro công bố giải pháp lưu trữ bộ nhớ đệm KV cùng IBM và NVIDIA, được thiết kế để chuyển ngữ cảnh suy luận AI có thể tái sử dụng sang bộ nhớ dùng chung nằm ngoài bộ nhớ GPU. Các công ty cho biết trong thử nghiệm chung, thời gian tạo token đầu tiên với lời nhắc dài 130.000 token nhanh hơn tới 56 lần.

Giải pháp kết hợp các máy chủ lưu trữ toàn flash Petascale của Supermicro sử dụng bộ xử lý AMD EPYC 9005, phần mềm IBM Storage Scale, khung suy luận Dynamo của NVIDIA và hệ thống mạng Ethernet Spectrum-X. Giải pháp hướng đến các ứng dụng nhiều lượt và ứng dụng dùng tác tử AI, trợ lý lập trình, AI đa phương thức và khả năng tạo sinh tăng cường truy xuất với ngữ cảnh dài. Các cơ sở mã lớn, tài liệu, hình ảnh và lịch sử hội thoại có thể tạo ra lượng trạng thái khóa-giá trị vượt quá khả năng lưu giữ của bộ nhớ GPU và CPU.

Tái sử dụng ngữ cảnh giữa các yêu cầu

Giai đoạn tiền xử lý chuyển lời nhắc đã được mã hóa token thành các trạng thái khóa-giá trị trung gian mà mô hình sử dụng. Việc lưu giữ các trạng thái này cho phép những yêu cầu sau tái sử dụng ngữ cảnh thay vì phải tính toán lại. Kiến trúc này cung cấp một tầng lưu trữ có độ sẵn sàng cao, cho phép dùng chung giữa các nút GPU và cụm máy, đồng thời mở rộng dung lượng bộ nhớ đệm mà không làm gián đoạn hoạt động.

Dynamo bổ sung khả năng định tuyến nhận biết bộ nhớ đệm, tách riêng giai đoạn tiền xử lý và giải mã, đồng thời chuyển các khối đã lưu trong bộ nhớ đệm sang nơi lưu trữ thông qua KV Block Manager và thư viện truyền dữ liệu NIXL. IBM Storage Scale Erasure Coding Edition cung cấp tầng lưu trữ G4 dùng chung trong hệ thống phân cấp bộ nhớ của NVIDIA.

Kết quả đánh giá hiệu năng và điều kiện thử nghiệm

Một kiến trúc tham chiếu của IBM Redbooks, được xuất bản ngày 5 tháng 6 năm 2026 và cập nhật lần cuối vào ngày 20 tháng 8 năm 2026, ghi nhận thời gian tính toán lại trên GPU là 32,14 giây với 130.000 token, so với 0,570 giây khi dùng bộ nhớ đệm dựa trên lưu trữ. Những số liệu đã có này là cơ sở cho đợt ra mắt, chứ không phải kết quả của một nghiên cứu mới được công bố vào tháng 11.

Một đợt chạy riêng gồm 200 yêu cầu sử dụng 28 kết nối đồng thời và 100 lời nhắc riêng biệt, tương ứng với 24 triệu token và 825 GB dữ liệu bộ nhớ đệm KV. Redbook ghi nhận thông lượng tăng từ 0,19 lên 4,26 yêu cầu mỗi giây, còn tổng thời gian xử lý giảm từ 1.048,56 xuống 46,94 giây. Bộ nhớ đệm ban đầu trống, vì vậy mức trung bình của toàn bộ đợt chạy bao gồm cả giai đoạn khởi động lạnh, trong khi khả năng tái sử dụng dần tăng lên.

Trong thử nghiệm có nhiễu do các bên dùng chung tài nguyên, bốn máy khách khác tạo ra lưu lượng I/O mạng cạnh tranh ở mức 200 GB/s. Hệ thống dùng bộ nhớ đệm duy trì tốc độ 3,6 yêu cầu mỗi giây và hoàn tất 200 yêu cầu trong 55,56 giây; Redbook mô tả đây là mức giảm thông lượng 18% so với kết quả dùng bộ nhớ đệm khi mạng không bị ảnh hưởng.

Toàn bộ số đo suy luận được thu thập từ một nút máy khách GPU Supermicro có bốn GPU NVIDIA RTX PRO 6000, kết nối với cụm lưu trữ Petascale gồm tám nút. Ngăn xếp phần mềm sử dụng Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf và mô hình openai/gpt-oss-120b. Các tầng bộ nhớ đệm trong bộ nhớ GPU và DRAM hệ thống đã bị vô hiệu hóa để cô lập tầng G4 dùng chung.

Dư địa mạng và quy mô triển khai

Ba bộ chuyển mạch Spectrum-X SN5600 tạo thành mạng spine-leaf của thử nghiệm. Redbook ghi nhận băng thông hướng đến máy khách đạt tối đa 80 GB/s, trong khi hệ thống lưu trữ tám nút đạt thông lượng đọc tối đa 315 GB/s. Điều này khiến mạng phía máy khách, chứ không phải toàn bộ năng lực đọc của tầng lưu trữ, trở thành giới hạn của cấu hình.

Các ví dụ về quy mô trong Redbook sử dụng bốn nút lưu trữ cho những đợt triển khai thử nghiệm khái niệm quy mô nhỏ, tám nút cho cấu hình trung bình đã được thử nghiệm, và từ 16 nút trở lên cho các nhà máy AI quy mô lớn. Dung lượng, băng thông, mức độ đồng thời, kích thước mô hình và khối lượng công việc đều ảnh hưởng đến thiết kế phù hợp. Supermicro cho biết dịch vụ tích hợp tủ rack tại nhà máy và triển khai tại chỗ có thể rút ngắn thời gian triển khai từ vài tuần xuống còn vài ngày.

Đợt ra mắt đóng gói một kiến trúc đã được công bố trước đó và kiểm chứng chung thành giải pháp sẵn sàng triển khai, nhưng mức cải thiện chỉ áp dụng cho một mô hình, tổ hợp lời nhắc, mức độ đồng thời và hệ thống mạng cụ thể. Câu hỏi cốt lõi khi triển khai là liệu dung lượng lưu trữ và băng thông phía máy khách có được cân đối với nhu cầu tái sử dụng ngữ cảnh thực tế hay không: dư địa đọc của bộ nhớ lưu trữ lớn hơn không thể cải thiện suy luận nếu mạng máy khách không thể truyền tải lượng dữ liệu đó.