Model dan platform AI
Valkey 9.2 hadir dengan caching KV terdistribusi untuk inferensi AI

Poin utamaCache KV terdistribusi memungkinkan mesin inferensi menggunakan kembali tensor prompt…
Lihat selengkapnya
- Cache KV terdistribusi memungkinkan mesin inferensi menggunakan kembali tensor prompt alih-alih menghitungnya ulang selama prefill.
- Multiverse Computing melayani 50% lebih banyak permintaan pada GPU yang sama sambil memenuhi target latensi token pertamanya.
- Cache bersama menawarkan sedikit manfaat ketika working set sudah muat di memori GPU dan host.
Valkey merilis versi 9.2 pada 19 November 2026, disertai caching key-value terdistribusi untuk inferensi AI. Pengumuman yang menyertainya menyebutkan bahwa cache bersama ini dapat memangkas biaya inferensi hingga 40% dan waktu tunggu untuk token pertama dalam respons hingga 80% pada infrastruktur GPU yang sudah ada.
Artikel teknis Valkey yang diterbitkan pada 20 Oktober 2026 menjelaskan cache bersama di luar memori GPU dan host, yang menyimpan tensor key-value yang dihasilkan saat model memproses instruksi prompt, definisi alat, dan riwayat percakapan. Mesin inferensi dapat menggunakan kembali tensor tersebut untuk konteks berulang alih-alih menghitungnya ulang selama tahap prapengisian (prefill), yakni tahap pemrosesan sebelum keluaran baru dihasilkan. Dengan berbagi lapisan cache ini di antara server GPU, setiap node dapat memuat percakapan yang sudah dihapus dari memori lokal.
Penerapan yang dikelola sendiri dan menjalankan model dengan bobot terbuka dapat menghubungkan cache melalui konektor LMCache ke mesin seperti vLLM dan SGLang hanya dengan mengubah konfigurasi, tanpa memperbarui kode aplikasi. Path Hash, tipe data baru berbasis pohon radix di versi 9.2, mendukung pencarian yang tepat, pencocokan prefiks terpanjang, dan penelusuran prefiks. Valkey memosisikannya sebagai indeks ringan untuk menemukan prefiks tersimpan terpanjang yang cocok beserta lokasinya, sementara data AI yang lebih besar tetap berada di memori GPU atau host.
Peningkatan Terukur dan Batasan Beban Kerja
Ennio Pastore, direktur platform AI di Multiverse Computing, mengatakan bahwa caching KV terdistribusi di Valkey memungkinkan perusahaannya menangani 50% lebih banyak permintaan dengan GPU yang sama, sekaligus memenuhi target satu detik untuk median waktu hingga token pertama. Median latensi token pertama turun 23% pada lalu lintas normal dan 95% pada lalu lintas puncak. Multiverse juga berkontribusi pada penyempurnaan konektor LMCache yang ditujukan untuk meningkatkan ketahanan caching terdistribusi.
Tolok ukur sintetis yang dijelaskan dalam artikel teknis Valkey menggunakan 100 percakapan serentak dengan konteks sepanjang 12.000 hingga 28.000 token, yang masuk dengan laju 8 permintaan per detik melalui dua node GPU, masing-masing dilengkapi delapan akselerator H100. Node-node tersebut menjalankan Llama-3.1-70B melalui vLLM dan LMCache, dengan klaster Valkey 9 yang terdiri atas tiga shard di zona ketersediaan yang sama dengan cache bersama. Proyek tersebut mengukur peningkatan sekitar 25% dalam jumlah permintaan dan sekitar 28% dalam jumlah token keluaran, sementara cache menambah sekitar 15% pada tagihan GPU.
Panduan pengujian dan penerapan Valkey menjelaskan batasan yang tegas: cache bersama hanya memberi sedikit manfaat jika kumpulan kerja sudah muat di memori GPU dan host atau permintaan tidak memiliki konteks berulang, dan cache tidak dapat menyediakan komputasi GPU ketika prapengisian token baru menjadi hambatan. Penempatan yang disarankan adalah di zona ketersediaan yang sama dengan kumpulan GPU, karena cache berada di jalur token pertama dan lalu lintas lintas zona dapat menambah latensi serta biaya transfer.
Mengurangi Beban Memori dan Jaringan
Selain caching AI, versi 9.2 juga menyasar biaya infrastruktur penyimpanan datanya sendiri. Snapshot tanpa fork dan sinkronisasi replika penuh yang diaktifkan secara opsional menggunakan utas latar belakang, bukan membuat proses server terpisah, sehingga menghindari beban tambahan memori copy-on-write saat menjalankan beban kerja yang banyak melakukan penulisan. Infrastruktur ini menambah empat byte per kunci, dan kebijakan prefer-forkless tersebut beralih menggunakan fork bila diperlukan.
Kompresi untuk replikasi berkelanjutan dinegosiasikan secara terpisah dengan setiap replika, sehingga replika yang lebih lama atau yang tidak mengaktifkan opsi tersebut tetap menerima data teks biasa. Artikel rilis Valkey melaporkan bahwa dalam tolok ukur dengan 3 juta kunci yang masing-masing berukuran sekitar 315 byte, LZ4 mengurangi bandwidth replikasi sebesar 52% dengan beban tambahan pada throughput kurang dari 1%. Kompresi snapshot untuk seluruh aliran mendukung LZ4 dan Zstandard; Zstandard memerlukan opsi saat proses build dan terutama ditujukan untuk replikasi lintas wilayah, ketika biaya jaringan tinggi dibandingkan biaya komputasi.
Himpunan terurut berukuran besar kini menggunakan pohon B+ alih-alih skiplist. Valkey melaporkan bahwa beban tambahan memori per anggota turun 36% hingga 43% dalam pengujian dengan 5 juta anggota yang berisi elemen berukuran 20 byte. Penambahan operasional lainnya mencakup deteksi kunci panas di sisi server, peran kontrol akses yang dapat digunakan kembali, penanganan prioritas untuk detak jantung klaster dan replikasi, koneksi administratif yang dicadangkan, serta pembatasan penulisan opsional saat replika tertinggal.
Catatan rilis 9.2.0 menandai rilis stabil 9.2 yang pertama, sementara halaman unduhan mencantumkan tag Docker dan artefak biner khusus platform. Valkey menyebut 9.2 sebagai rilis minor tanpa perubahan yang merusak kompatibilitas, tetapi memperingatkan bahwa basis file append-only yang ditulis menggunakan kompresi LZ4 atau Zstandard memerlukan versi Valkey yang kompatibel jika operator kemudian menurunkan versi.
Valkey 9.2 menghubungkan dua sisi ekonomi inferensi: memulihkan kapasitas GPU yang hilang akibat prapengisian berulang serta mengurangi beban memori dan jaringan pada lapisan data. Bagi operator yang sedang menilai lapisan baru ini, hasil yang didokumentasikan menunjukkan bahwa manfaatnya bergantung pada penggunaan ulang beban kerja dan tekanan akibat penghapusan data dari cache, dengan batas yang jelas ketika prapengisian token baru sudah menggunakan seluruh kapasitas komputasi GPU yang tersedia.












