Mô hình và nền tảng AI
Valkey 9.2 ra mắt với bộ nhớ đệm khóa-giá trị phân tán cho suy luận AI

Điểm chínhBộ nhớ đệm KV phân tán cho phép các công cụ suy luận tái sử dụng các tensor gợi ý thay…
Xem thêm
- Bộ nhớ đệm KV phân tán cho phép các công cụ suy luận tái sử dụng các tensor gợi ý thay vì tính toán lại chúng trong giai đoạn prefill.
- Multiverse Computing đã phục vụ nhiều hơn 50% số yêu cầu trên cùng số GPU trong khi vẫn đáp ứng mục tiêu độ trễ của token đầu tiên.
- Bộ nhớ đệm chia sẻ mang lại ít lợi ích khi tập làm việc đã vừa với bộ nhớ GPU và bộ nhớ máy chủ.
Valkey phát hành phiên bản 9.2 vào ngày 19 tháng 11 năm 2026, kèm theo tính năng bộ nhớ đệm khóa-giá trị phân tán cho suy luận AI. Thông báo đi kèm của dự án cho biết bộ nhớ đệm dùng chung có thể giảm tới 40% chi phí suy luận và rút ngắn tới 80% thời gian chờ token đầu tiên trong phản hồi trên hạ tầng GPU hiện có.
Bài viết kỹ thuật của Valkey, đăng ngày 20 tháng 10 năm 2026, mô tả một bộ nhớ đệm dùng chung nằm ngoài bộ nhớ GPU và bộ nhớ máy chủ, lưu trữ các tensor khóa-giá trị được tạo ra khi mô hình xử lý chỉ dẫn trong lời nhắc, định nghĩa công cụ và lịch sử hội thoại. Các công cụ suy luận có thể tái sử dụng những tensor này cho ngữ cảnh lặp lại thay vì tính toán lại chúng trong giai đoạn prefill, tức giai đoạn xử lý diễn ra trước khi tạo đầu ra mới. Chia sẻ tầng bộ nhớ đệm này giữa các máy chủ GPU cho phép bất kỳ nút nào tải một hội thoại đã bị bộ nhớ cục bộ loại bỏ.
Các triển khai tự quản lý chạy mô hình có trọng số mở có thể kết nối bộ nhớ đệm thông qua trình kết nối LMCache với những công cụ như vLLM và SGLang chỉ bằng cách thay đổi cấu hình, không cần cập nhật mã ứng dụng. Path Hash, một kiểu dữ liệu mới dựa trên cây radix trong phiên bản 9.2, hỗ trợ tra cứu chính xác, so khớp tiền tố dài nhất và duyệt tiền tố. Valkey định vị tính năng này như một chỉ mục gọn nhẹ giúp tìm tiền tố đã lưu trong bộ nhớ đệm khớp dài nhất và vị trí của tiền tố đó, trong khi dữ liệu AI lớn hơn vẫn nằm trong bộ nhớ GPU hoặc bộ nhớ máy chủ.
Mức cải thiện đo được và giới hạn của khối lượng công việc
Ennio Pastore, giám đốc nền tảng AI của Multiverse Computing, cho biết bộ nhớ đệm KV phân tán trên Valkey giúp công ty xử lý nhiều hơn 50% yêu cầu trên cùng số GPU, đồng thời đáp ứng mục tiêu một giây về thời gian trung vị để tạo token đầu tiên. Độ trễ trung vị của token đầu tiên giảm 23% trong điều kiện lưu lượng thông thường và 95% khi lưu lượng đạt đỉnh; Multiverse cũng đóng góp các cải tiến cho trình kết nối LMCache nhằm tăng khả năng phục hồi của bộ nhớ đệm phân tán.
Bài kiểm thử tổng hợp được mô tả trong bài viết kỹ thuật của Valkey sử dụng 100 hội thoại đồng thời, mỗi hội thoại có ngữ cảnh từ 12.000 đến 28.000 token; tổng lưu lượng đạt 8 yêu cầu mỗi giây trên hai nút GPU, mỗi nút có tám bộ tăng tốc H100. Các nút phục vụ Llama-3.1-70B thông qua vLLM và LMCache, với một cụm Valkey 9 gồm ba phân mảnh nằm trong cùng vùng khả dụng với bộ nhớ đệm dùng chung. Dự án ghi nhận số yêu cầu tăng khoảng 25% và số token đầu ra tăng khoảng 28%, trong khi bộ nhớ đệm làm hóa đơn GPU tăng khoảng 15%.
Hướng dẫn thử nghiệm và triển khai của Valkey chỉ ra những giới hạn rõ ràng: bộ nhớ đệm dùng chung đem lại ít lợi ích nếu tập dữ liệu đang hoạt động đã nằm gọn trong bộ nhớ GPU và bộ nhớ máy chủ, hoặc nếu các yêu cầu không có ngữ cảnh lặp lại; tính năng này cũng không thể tạo thêm năng lực tính toán GPU khi prefill token mới trở thành nút thắt cổ chai. Vị trí được khuyến nghị là cùng vùng khả dụng với cụm GPU, vì bộ nhớ đệm nằm trên đường xử lý dẫn đến token đầu tiên và lưu lượng liên vùng có thể làm tăng độ trễ cũng như phí truyền dữ liệu.
Giảm tải cho bộ nhớ và mạng
Ngoài bộ nhớ đệm AI, phiên bản 9.2 còn hướng đến việc giảm chi phí hạ tầng của chính kho dữ liệu. Tính năng chụp nhanh không dùng fork và đồng bộ hóa toàn bộ bản sao, nếu được bật, sử dụng luồng nền thay vì tạo một tiến trình máy chủ riêng, tránh phát sinh chi phí bộ nhớ do cơ chế sao chép khi ghi trong các tác vụ ghi nhiều. Hạ tầng tăng thêm bốn byte cho mỗi khóa, và prefer-forkless chính sách sẽ chuyển sang dùng fork khi cần thiết.
Việc nén dữ liệu sao chép liên tục được thương lượng riêng với từng bản sao, vì vậy các bản sao cũ hơn hoặc không bật tính năng này vẫn tiếp tục nhận dữ liệu dạng văn bản thuần. Bài viết phát hành của Valkey cho biết trong một bài kiểm thử với 3 triệu khóa, mỗi khóa có kích thước khoảng 315 byte, LZ4 giảm 52% băng thông sao chép với mức hao hụt thông lượng dưới 1%. Tính năng nén ảnh chụp nhanh toàn luồng hỗ trợ LZ4 và Zstandard; Zstandard cần được bật khi biên dịch và đặc biệt hướng đến việc sao chép liên vùng, nơi chi phí mạng cao so với chi phí tính toán.
Các tập hợp có thứ tự lớn hiện sử dụng cây B+ thay cho danh sách bỏ qua. Valkey cho biết mức hao hụt bộ nhớ trên mỗi thành viên giảm từ 36% đến 43% trong một thử nghiệm với 5 triệu thành viên chứa các phần tử dài 20 byte. Những bổ sung khác phục vụ vận hành gồm phát hiện khóa nóng ở phía máy chủ, vai trò kiểm soát truy cập có thể tái sử dụng, xử lý ưu tiên cho tín hiệu nhịp tim của cụm và hoạt động sao chép, kết nối quản trị được dành riêng, cùng tính năng tùy chọn giới hạn tốc độ ghi khi bản sao bị tụt lại.
Bản ghi phát hành 9.2.0 xác nhận đây là bản phát hành 9.2 ổn định đầu tiên, còn trang tải xuống liệt kê các thẻ Docker và tệp nhị phân dành riêng cho từng nền tảng. Valkey mô tả phiên bản 9.2 là bản phát hành nhỏ, không có thay đổi gây mất tương thích, nhưng cảnh báo rằng nếu sau này người vận hành hạ cấp phiên bản, các tệp cơ sở dạng chỉ ghi nối tiếp được tạo bằng tính năng nén LZ4 hoặc Zstandard đòi hỏi phiên bản Valkey tương thích.
Valkey 9.2 kết nối hai khía cạnh của bài toán kinh tế trong suy luận: khôi phục năng lực GPU bị tiêu hao do lặp lại bước prefill và giảm tải bộ nhớ cũng như mạng ở tầng dữ liệu. Với những đơn vị vận hành đang đánh giá tầng mới này, các kết quả được công bố cho thấy giá trị của nó phụ thuộc vào mức độ tái sử dụng khối lượng công việc và áp lực loại bỏ dữ liệu khỏi bộ nhớ đệm; đồng thời, tính năng này có giới hạn rõ ràng khi prefill token mới đã sử dụng hết năng lực tính toán GPU hiện có.












