Tensormesh ra mắt nền tảng giúp giảm chi phí suy luận LLM nhờ tái sử dụng bộ nhớ đệm KV

Mỗi khi trợ lý AI nhận được một tài liệu dài, nó phải xử lý tài liệu đó trước khi có thể bắt đầu trả lời. Khi những tài liệu, chỉ dẫn hoặc lịch sử hội thoại tương tự xuất hiện trở lại, phần lớn quá trình xử lý có thể phải lặp lại. Ở quy mô doanh nghiệp, việc lặp lại này có thể tiêu tốn năng lực GPU đắt đỏ mà không tạo thêm công việc hữu ích.

Tensormesh hướng đến giải quyết vấn đề đó với Tensormesh Platform, được công bố vào ngày 14 tháng 10 năm 2026. Công ty, với đội ngũ đã tạo ra dự án mã nguồn mở LMCache, đang đưa một lớp quản lý cấp doanh nghiệp vào cơ chế lưu đệm khóa-giá trị, hay lưu đệm KV, dành cho các tổ chức vận hành mô hình ngôn ngữ lớn trên hạ tầng của riêng mình.

Nền tảng quản lý trạng thái suy luận có thể tái sử dụng trên bộ nhớ GPU, bộ nhớ CPU và thiết bị lưu trữ. Lợi ích dự kiến rất rõ ràng: giảm lượng xử lý prompt mà cụm GPU phải lặp lại, đồng thời cung cấp cho người vận hành các công cụ kiểm soát cách lưu giữ, chia sẻ và giám sát trạng thái đã lưu đệm.

Vì sao bộ nhớ đệm KV quan trọng

Quá trình suy luận LLM có hai giai đoạn quan trọng. Trong giai đoạn nạp trước (prefill), mô hình xử lý prompt đầu vào. Trong giai đoạn giải mã (decode), mô hình tạo câu trả lời từng token một. Bộ nhớ đệm KV lưu giữ trạng thái trung gian liên quan đến cơ chế chú ý, giúp mô hình tham chiếu lại các token đã xử lý mà không phải tính toán lại mọi thứ từ đầu.

Tái sử dụng trạng thái đó giữa các yêu cầu có thể giảm khối lượng xử lý ở giai đoạn nạp trước khi ngữ cảnh đầu vào lặp lại. Chẳng hạn, trợ lý hỗ trợ khách hàng có thể tra cứu cùng một hướng dẫn sản phẩm để trả lời hàng trăm câu hỏi khác nhau. Một tác tử có thể liên tục đưa vào cùng các chỉ dẫn hoặc công cụ bên cạnh một nhiệm vụ thay đổi.

Cách này khác với việc lưu đệm một câu trả lời đã hoàn tất. Hệ thống có thể tái sử dụng phần tính toán gắn với ngữ cảnh chung, đồng thời vẫn tạo câu trả lời mới cho câu hỏi mới.

Tài liệu về cơ chế lưu đệm tiền tố tự động của vLLM mô tả lợi ích này đối với các truy vấn tài liệu lặp lại và hội thoại nhiều lượt. Tài liệu cũng nêu rõ một giới hạn quan trọng: lưu đệm tiền tố giúp tăng tốc xử lý prompt, chứ không tăng tốc việc tạo các token đầu ra mới. Những khối lượng công việc chủ yếu gồm câu trả lời dài hoặc đầu vào phần lớn không trùng lặp có thể nhận được ít lợi ích hơn.

Với các doanh nghiệp đang cân nhắc mua giải pháp, câu hỏi hữu ích là bao nhiêu phần trong khối lượng công việc thực tế của họ có ngữ cảnh có thể tái sử dụng—và liệu có thể truy xuất ngữ cảnh đó nhanh hơn, ít tốn kém hơn so với tính toán lại hay không.

Biến bộ nhớ đệm thành hạ tầng được quản lý

Thông báo ra mắt của Tensormesh nêu năm ưu tiên vận hành: bảo mật, khả năng quan sát, khả năng chống chịu, quản lý chính sách và hỗ trợ nhiều đối tượng thuê. Những ưu tiên này giải quyết các công việc thực tế như bảo vệ dữ liệu được lưu đệm, theo dõi hiệu năng, khôi phục sau sự cố, kiểm soát thời gian lưu giữ và loại bỏ dữ liệu trong bộ nhớ đệm, cũng như tách biệt các nhóm hoặc khách hàng trên hạ tầng dùng chung.

Công ty cũng mô tả các API điều khiển để ghim, định vị, di chuyển, nén và xóa các mục trong bộ nhớ đệm. Nhờ đó, quản lý vòng đời bộ nhớ đệm trở thành một mối quan tâm vận hành rõ ràng, thay vì bị phó mặc hoàn toàn cho từng quy trình suy luận.

Dự án LMCache nền tảng tách biệt việc quản lý bộ nhớ đệm khỏi bộ máy phục vụ mô hình và hỗ trợ chuyển dữ liệu ra cũng như truy xuất dữ liệu qua nhiều tầng lưu trữ. Tài liệu của dự án mô tả khả năng tái sử dụng giữa các yêu cầu, phiên làm việc và phiên bản bộ máy, với các thành phần lưu trữ và truyền tải có thể cắm thêm.

Nền tảng dành cho doanh nghiệp được xây dựng dựa trên nền tảng đó. Theo hướng dẫn cài đặt, một toán tử Kubernetes quản lý các thành phần của bộ máy bộ nhớ đệm; các máy chủ bộ nhớ đệm chạy trên các nút GPU, còn một bộ điều phối đảm nhiệm việc phối hợp ở cấp độ toàn cụm. Helm cung cấp phương thức triển khai, trong khi giao diện web và các công cụ dòng lệnh hỗ trợ vận hành.

Kiến trúc này quan trọng vì bộ nhớ GPU là tài nguyên có giới hạn. Việc giữ lại mọi prompt có khả năng được tái sử dụng trong bộ nhớ đó sẽ cạnh tranh với các nhu cầu suy luận khác. Chuyển trạng thái ít cần dùng ngay sang bộ nhớ máy chủ hoặc thiết bị lưu trữ có thể tăng lượng dữ liệu được giữ lại, dù việc truy xuất sẽ phát sinh chi phí về băng thông và độ trễ.

Vượt ra ngoài các tiền tố prompt giống hệt nhau

Lưu đệm tiền tố hoạt động hiệu quả khi hai prompt bắt đầu bằng cùng các token. Với phương pháp tạo sinh tăng cường truy xuất (RAG), việc này có thể khó hơn: ứng dụng truy xuất các tài liệu liên quan, nhưng những tài liệu đó có thể xuất hiện theo thứ tự khác nhau hoặc sau phần văn bản đứng trước khác nhau.

Hãy xét hai yêu cầu giả định sử dụng cùng một bộ tài liệu. Yêu cầu thứ nhất gồm tài liệu A rồi đến B; yêu cầu thứ hai gồm B rồi đến A. Cả hai đều chứa nội dung có thể tái sử dụng, nhưng phần mở đầu chung có thể ngắn.

Tensormesh sử dụng CacheBlend để mở rộng khả năng tái sử dụng ra ngoài phần đầu prompt. Tài liệu LMCache giải thích rằng phương pháp này tính toán lại có chọn lọc một phần token trong khi tái sử dụng các khối đã lưu đệm. Việc tính toán lại là cần thiết vì ngữ cảnh xung quanh một khối có thể ảnh hưởng đến trạng thái bên trong của mô hình.

Bài nghiên cứu về CacheBlend, được trình bày tại EuroSys 2025, báo cáo thời gian đến token đầu tiên nhanh hơn 2,2–3,3 lần và thông lượng cao hơn 2,8–5 lần so với việc tính toán lại toàn bộ KV trong các khối lượng công việc được đánh giá. Các tác giả đã đánh giá ba mô hình mã nguồn mở và bốn bộ dữ liệu chuẩn.

Đây là kết quả nghiên cứu trong những điều kiện cụ thể, không phải khoản tiết kiệm được đảm bảo cho mọi trường hợp triển khai Tensormesh. Tuy nhiên, chúng cho thấy vì sao việc tái sử dụng ngoài phạm vi tiền tố dùng chung lại đáng chú ý về mặt kỹ thuật: cách này có thể tận dụng lại phần tính toán hữu ích mà phương pháp đối sánh tiền tố thông thường sẽ bỏ lỡ.

Tái sử dụng giữa các nút và tầm quan trọng của hỗ trợ theo từng phiên bản

Thông báo ra mắt mô tả việc truyền KV ngang hàng, cho phép một nút lấy trạng thái đã lưu trong bộ nhớ đệm từ nút khác; tài liệu sản phẩm của công ty cũng mô tả việc tách biệt các giai đoạn prefill và decode. Cách tách này phân chia quá trình xử lý lời nhắc và tạo đầu ra, cho phép hai giai đoạn chạy trên các worker khác nhau.

Đây là những cách bổ trợ cho nhau để tổ chức suy luận. Chia sẻ trạng thái tương thích có thể tránh phải tính toán lại trạng thái đó trên một nút khác; còn việc tách các giai đoạn có thể giúp đội ngũ hạ tầng phân bổ tài nguyên phù hợp hơn với nhu cầu xử lý.

Tuy nhiên, thông tin công khai chưa hoàn toàn nhất quán về trạng thái phát hành. Lời giới thiệu khi ra mắt mô tả việc chia sẻ giữa các nút và tách biệt các giai đoạn, trong khi ma trận tương thích theo phiên bản, có ngày 17 tháng 9, liệt kê tính năng truyền ngang hàng và tách biệt các giai đoạn trong lộ trình phát triển. Tài liệu về tính năng cũng có các trang xem trước.

Ma trận này cũng phân biệt các tính năng đã được kiểm chứng trong quá trình thử nghiệm của Tensormesh với những tính năng được hỗ trợ ở upstream nhưng cần thử nghiệm bổ sung trước khi đưa vào môi trường sản xuất. Ma trận liệt kê vLLM và NVIDIA Dynamo là các công cụ phục vụ mô hình đã được kiểm chứng, còn SGLang và TensorRT-LLM vẫn nằm trong lộ trình phát triển.

Điều đó cho thấy tuyên bố rộng về khả năng tương thích khi ra mắt thể hiện định hướng thiết kế, chứ không phải bằng chứng rằng mọi tổ hợp mô hình và hạ tầng đều đã được xác thực. Các nhóm nên xác nhận chính xác phiên bản phát hành, công cụ phục vụ mô hình, mô hình và chế độ bộ nhớ đệm mà họ dự định triển khai.

Lời giới thiệu khi ra mắt nêu cụ thể việc sử dụng vLLM trên Kubernetes với GPU NVIDIA hoặc AMD Instinct được hỗ trợ thông qua ROCm, cùng với bộ lưu trữ dựa trên hệ thống tệp. Tài liệu cho biết tính năng lưu vào bộ nhớ đệm không dựa trên tiền tố cho các mô hình dense và hỗ trợ SGLang sẽ được bổ sung trong thời gian tới. Tài liệu cũng làm rõ rằng bộ nhớ đệm hoạt động cùng với các mô hình tự lưu trữ; đây không phải là tiện ích bổ sung có thể gắn vào API của bất kỳ mô hình nào được lưu trữ tùy ý.

Những trường hợp có thể đạt hiệu quả kinh tế

Các ứng dụng phù hợp nhất là những ứng dụng thường xuyên xử lý lượng ngữ cảnh dùng chung đáng kể: trợ lý kiến thức nội bộ, dịch vụ phân tích tài liệu và các tác tử nhiều lần sử dụng một tập hợp chỉ dẫn hoặc tài liệu tham khảo ổn định.

Một phương pháp đánh giá hữu ích là so sánh hoạt động khi bộ nhớ đệm rỗng và khi đã có dữ liệu, bằng cách sử dụng lưu lượng truy cập đại diện. Người vận hành nên đo thời gian đến token đầu tiên, thông lượng, thời gian truy xuất dữ liệu trong bộ nhớ đệm, mức sử dụng GPU, cũng như chi phí bộ nhớ, lưu trữ và mạng để duy trì trạng thái.

Chỉ riêng tỷ lệ truy cập bộ nhớ đệm thành công là chưa đủ. Tỷ lệ cao chỉ hữu ích nếu phần công việc được tiết kiệm mang lại lợi ích ròng sau khi tính đến chi phí truyền tải và quản lý. Tương tự, token đầu tiên xuất hiện nhanh hơn không nhất thiết có nghĩa là toàn bộ phản hồi được tạo xong nhanh hơn theo tỷ lệ tương ứng.

Chất lượng câu trả lời cần được kiểm tra riêng, nhất là khi các đoạn đã lưu trong bộ nhớ đệm được kết hợp trong những ngữ cảnh đã thay đổi. Cơ chế tính toán lại có chọn lọc của CacheBlend được thiết kế để xử lý vấn đề này, nhưng thử nghiệm trong môi trường sản xuất vẫn cần bao quát tài liệu, định dạng lời nhắc và cấu hình mô hình của chính tổ chức.

Việc lưu giữ dữ liệu và cô lập giữa các khách hàng thuê cũng trở nên quan trọng hơn khi bộ nhớ đệm được mở rộng ra ngoài phạm vi một tiến trình. Những câu hỏi vận hành cần xem xét gồm ai có thể tái sử dụng một mục dữ liệu, mục đó còn khả dụng trong bao lâu, và các thay đổi chính sách hoặc yêu cầu xóa ảnh hưởng thế nào đến trạng thái đã lưu. Các tính năng quản lý mà Tensormesh công bố nhằm giúp kiểm soát những quyết định này.

Một hướng đi thực tế: giảm phần việc phải làm lặp lại

Theo thông báo của công ty, Tensormesh Platform được cung cấp cùng thời điểm ra mắt. Tầm quan trọng của nền tảng nằm ở cách xem trạng thái suy luận như một tài nguyên có thể được quản lý trên toàn cụm máy, trong đó phần tính toán có thể tái sử dụng được lưu giữ lâu hơn thời gian tồn tại tức thời của một yêu cầu.

Với các doanh nghiệp tự vận hành hạ tầng LLM, đây là một đòn bẩy hiệu quả cụ thể: tái sử dụng nhiều hơn phần công việc xử lý lời nhắc đã thực hiện. Kết quả sẽ phụ thuộc vào mức độ lặp lại của khối lượng công việc, khả năng tương thích của bộ nhớ đệm và chi phí di chuyển dữ liệu; tuy nhiên, đây đều là những vấn đề kỹ thuật có thể đo lường mà các nhóm có thể kiểm thử trên lưu lượng truy cập của chính mình.