Tensormesh Meluncurkan Platform untuk Menekan Biaya Inferensi LLM melalui Penggunaan Ulang Cache KV

Setiap kali asisten AI menerima dokumen panjang, asisten itu harus memproses isinya sebelum dapat mulai menjawab. Jika dokumen, instruksi, atau riwayat percakapan yang sama muncul lagi, sebagian besar pemrosesan tersebut mungkin harus diulang. Dalam skala perusahaan, pengulangan itu dapat menghabiskan kapasitas GPU yang mahal tanpa menambah pekerjaan yang bermanfaat.

Tensormesh menyasar masalah tersebut dengan Tensormesh Platform, yang diumumkan pada 14 Oktober 2026. Perusahaan ini, yang timnya membuat proyek sumber terbuka LMCache, menghadirkan lapisan pengelolaan tingkat perusahaan untuk penyimpanan cache key-value atau cache KV, bagi organisasi yang menjalankan model bahasa besar di infrastrukturnya sendiri.

Platform ini mengelola status inferensi yang dapat digunakan kembali di memori GPU, memori CPU, dan penyimpanan. Manfaat yang diharapkan sederhana: mengurangi pemrosesan prompt yang harus diulang oleh armada GPU, sekaligus memberi operator kendali atas cara status yang tersimpan dalam cache dipertahankan, dibagikan, dan dipantau.

Mengapa Cache KV Penting

Inferensi LLM memiliki dua tahap penting. Pada tahap pemrosesan awal, model memproses prompt masukan. Pada tahap dekode, model menghasilkan respons token demi token. Cache KV menyimpan status antara yang terkait dengan mekanisme attention sehingga model dapat merujuk kembali ke token yang telah diproses tanpa menghitung ulang semuanya dari awal.

Penggunaan ulang status tersebut di berbagai permintaan dapat mengurangi pekerjaan pemrosesan awal ketika konteks masukan berulang. Misalnya, asisten dukungan mungkin merujuk ke manual produk yang sama untuk menjawab ratusan pertanyaan berbeda. Agen juga mungkin berulang kali menyertakan instruksi atau alat yang sama bersama tugas yang berubah-ubah.

Hal ini berbeda dari menyimpan jawaban yang sudah selesai dalam cache. Sistem dapat menggunakan ulang komputasi yang terkait dengan konteks bersama, sembari tetap menghasilkan respons baru untuk pertanyaan baru.

Dokumentasi penyimpanan cache prefiks otomatis vLLM menjelaskan manfaat ini untuk pertanyaan berulang tentang dokumen dan percakapan multi-giliran. Dokumentasi tersebut juga menetapkan batasan penting: penyimpanan cache prefiks mempercepat pemrosesan prompt, bukan pembuatan token keluaran baru. Beban kerja yang didominasi jawaban panjang atau masukan yang sebagian besar unik mungkin memperoleh manfaat lebih kecil.

Bagi calon pembeli dari kalangan perusahaan, pertanyaan pentingnya adalah seberapa banyak konteks dalam beban kerja mereka yang benar-benar dapat digunakan kembali—dan apakah konteks itu dapat ditemukan kembali dengan lebih cepat dan murah daripada menghitungnya ulang.

Mengubah Cache Menjadi Infrastruktur Terkelola

Dalam pengumuman peluncurannya, Tensormesh menyebut lima prioritas operasional: keamanan, observabilitas, ketahanan, pengelolaan kebijakan, dan dukungan bagi banyak penyewa. Prioritas ini mencakup pekerjaan praktis untuk melindungi data yang tersimpan dalam cache, melacak kinerja, memulihkan sistem setelah kegagalan, mengendalikan retensi dan pengeluaran data dari cache, serta memisahkan tim atau pelanggan pada infrastruktur bersama.

Perusahaan ini juga menjelaskan API pengendali untuk menyematkan, menemukan, memindahkan, memadatkan, dan menghapus entri cache. Dengan demikian, pengelolaan siklus hidup cache menjadi urusan operasional yang eksplisit, alih-alih sepenuhnya diserahkan kepada proses inferensi masing-masing.

Proyek LMCache yang mendasarinya memisahkan pengelolaan cache dari mesin penyajian dan mendukung pemindahan ke tingkat penyimpanan lain serta pengambilan dari berbagai tingkat penyimpanan. Dokumentasinya menjelaskan penggunaan ulang di antara permintaan, sesi, dan instans mesin, dengan komponen pendukung penyimpanan dan pengiriman yang dapat dipertukarkan.

Platform untuk perusahaan ini dibangun di atas fondasi tersebut. Menurut panduan instalasinya, operator Kubernetes mengelola komponen mesin cache, dengan server cache pada simpul GPU dan koordinator untuk koordinasi di tingkat armada. Helm menyediakan jalur penerapan, sementara antarmuka web dan alat baris perintah mendukung pengoperasian.

Arsitektur ini penting karena kapasitas memori GPU terbatas. Menyimpan setiap prompt yang mungkin dapat digunakan kembali di sana akan bersaing dengan kebutuhan inferensi lainnya. Memindahkan status yang tidak terlalu dibutuhkan dalam waktu dekat ke memori host atau penyimpanan dapat meningkatkan jumlah status yang dipertahankan, meskipun pengambilan kembali menimbulkan biaya bandwidth dan latensi tersendiri.

Melampaui Prefiks Prompt yang Identik

Penyimpanan cache prefiks bekerja dengan baik ketika dua prompt diawali token yang sama. Generasi berbantuan pengambilan (RAG) bisa lebih sulit ditangani: aplikasi mengambil dokumen yang relevan, tetapi dokumen tersebut mungkin muncul dalam urutan berbeda atau setelah teks pendahulu yang berbeda.

Bayangkan dua permintaan hipotetis yang menggunakan dokumen yang sama. Permintaan pertama menyertakan dokumen A lalu B; permintaan kedua menyertakan B lalu A. Keduanya memuat materi yang dapat digunakan kembali, tetapi bagian awal yang sama mungkin pendek.

Tensormesh menggunakan CacheBlend untuk memperluas penggunaan ulang hingga melampaui bagian awal prompt. Dokumentasi LMCache menjelaskan bahwa sistem ini menghitung ulang sebagian token secara selektif sembari menggunakan kembali potongan yang tersimpan dalam cache. Penghitungan ulang ini penting karena konteks di sekitar suatu potongan dapat memengaruhi status internal model.

Makalah penelitian CacheBlend, yang dipresentasikan di EuroSys 2025, melaporkan waktu hingga token pertama 2,2–3,3 kali lebih cepat dan throughput 2,8–5 kali lebih tinggi dibandingkan penghitungan ulang KV secara penuh dalam beban kerja yang dievaluasi. Para penulis mengevaluasi tiga model sumber terbuka dan empat set data tolok ukur.

Itu adalah hasil penelitian dalam kondisi tertentu, bukan jaminan penghematan untuk setiap penerapan Tensormesh. Namun, hasil tersebut menunjukkan mengapa penggunaan ulang di luar prefiks bersama menarik secara teknis: cara ini dapat memulihkan komputasi yang berguna dan tidak akan terpakai jika hanya mengandalkan pencocokan prefiks konvensional.

Penggunaan ulang lintas node dan pentingnya dukungan spesifik versi

Pengumuman peluncuran menjelaskan transfer KV peer-to-peer, yang memungkinkan satu node mengambil status cache dari node lain, sementara materi produk perusahaan menjelaskan pemisahan prefill dan decode. Pemisahan ini memisahkan pemrosesan prompt dari pembuatan keluaran agar kedua tahap dapat dijalankan pada pekerja yang berbeda.

Keduanya merupakan cara yang saling melengkapi untuk mengatur inferensi. Berbagi status yang kompatibel dapat menghindari penghitungan ulang di node lain, sedangkan pemisahan tahap memungkinkan tim infrastruktur mengalokasikan sumber daya secara berbeda sesuai kebutuhan pemrosesan.

Namun, informasi publik mengenai status rilis belum sepenuhnya selaras. Pengantar peluncuran menjelaskan berbagi lintas node dan pemisahan tahap, sedangkan matriks kompatibilitas berversi, bertanggal 17 September, mencantumkan transfer peer-to-peer dan pemisahan tahap dalam peta jalannya. Dokumentasi fitur juga mencakup halaman pratinjau.

Matriks yang sama membedakan fitur yang telah diverifikasi dalam pengujian Tensormesh dari fitur yang didukung di proyek hulu, tetapi memerlukan pengujian tambahan sebelum digunakan di produksi. Matriks tersebut mencantumkan vLLM dan NVIDIA Dynamo sebagai mesin penyajian yang telah diverifikasi, sedangkan SGLang dan TensorRT-LLM masih tercantum dalam peta jalan.

Artinya, bahasa luas tentang kompatibilitas dalam pengumuman rilis menunjukkan arah desain, bukan bukti bahwa setiap kombinasi model dan infrastruktur telah divalidasi. Tim sebaiknya memastikan rilis, mesin penyajian, model, dan mode cache yang tepat sebelum menerapkannya.

Pengantar peluncuran secara khusus menjelaskan vLLM di Kubernetes dengan GPU NVIDIA atau AMD Instinct yang didukung melalui ROCm, serta penyimpanan berbasis sistem berkas. Dokumen itu menyebutkan bahwa caching non-prefiks untuk model padat dan dukungan SGLang akan tersedia kemudian. Dokumen tersebut juga menjelaskan bahwa cache berjalan berdampingan dengan model yang dihosting sendiri; cache bukan pengaya yang dapat dipasang pada sembarang API model yang dihosting.

Dalam kondisi apa penghematan biaya mungkin tercapai

Aplikasi yang paling berpotensi mendapat manfaat adalah aplikasi yang berulang kali memproses konteks bersama dalam jumlah besar: asisten pengetahuan internal, layanan analisis dokumen, serta agen yang berulang kali menggunakan kumpulan instruksi atau bahan referensi yang tetap.

Evaluasi yang bermanfaat dapat membandingkan kinerja saat cache dingin dan hangat menggunakan lalu lintas yang representatif. Operator sebaiknya mengukur waktu hingga token pertama, throughput, waktu pengambilan cache, pemanfaatan GPU, serta biaya memori, penyimpanan, dan jaringan untuk mempertahankan status.

Tingkat keberhasilan cache saja tidak cukup. Tingkat keberhasilan yang tinggi hanya bermanfaat jika pekerjaan yang berhasil dipulihkan memberi keuntungan bersih setelah memperhitungkan biaya transfer dan pengelolaan. Demikian pula, token pertama yang dihasilkan lebih cepat tidak serta-merta berarti seluruh respons selesai dengan peningkatan kecepatan yang sebanding.

Kualitas jawaban perlu diperiksa secara terpisah, terutama ketika potongan yang disimpan dalam cache digabungkan dalam konteks yang berubah. Penghitungan ulang selektif CacheBlend dirancang untuk mengatasi masalah tersebut, tetapi pengujian produksi harus mencakup dokumen, format prompt, dan konfigurasi model milik organisasi itu sendiri.

Retensi dan isolasi antar-tenant juga semakin penting ketika penggunaan cache meluas melampaui satu proses. Pertanyaan operasional yang relevan mencakup siapa yang dapat menggunakan ulang entri, berapa lama entri tetap tersedia, serta bagaimana perubahan kebijakan atau permintaan penghapusan memengaruhi status yang tersimpan. Fitur pengelolaan yang diumumkan Tensormesh dimaksudkan agar keputusan tersebut dapat dikendalikan.

Langkah praktis untuk mengurangi pekerjaan berulang

Menurut pengumuman perusahaan, Tensormesh Platform tersedia sejak peluncuran. Arti pentingnya terletak pada pendekatan yang memperlakukan status inferensi sebagai sumber daya yang dapat dikelola di seluruh armada, dengan komputasi yang dapat digunakan ulang dipertahankan setelah permintaan terkait berakhir.

Bagi perusahaan yang menjalankan infrastruktur LLM sendiri, pendekatan ini menawarkan cara konkret untuk meningkatkan efisiensi: menggunakan ulang lebih banyak pekerjaan pemrosesan prompt yang telah dilakukan. Hasilnya akan bergantung pada pengulangan beban kerja, kompatibilitas cache, dan biaya pemindahan data—namun semua itu merupakan pertanyaan rekayasa yang dapat diukur dan diuji tim menggunakan lalu lintas mereka sendiri.