Yapay zeka modelleri ve platformları
Valkey 9.2, yapay zekâ çıkarımı için dağıtık KV önbellekleme özelliğiyle kullanıma sunuldu

Öne çıkan noktalarDağıtık KV önbellekleme, çıkarım motorlarının ön doldurma sırasında istem tensörlerini…
Daha fazla göster
- Dağıtık KV önbellekleme, çıkarım motorlarının ön doldurma sırasında istem tensörlerini yeniden hesaplamak yerine yeniden kullanmasını sağlar.
- Multiverse Computing, ilk belirteç gecikme hedefini karşılarken aynı GPU'larda %50 daha fazla istek sundu.
- Çalışma kümesi zaten GPU ve ana bilgisayar belleğine sığdığında paylaşılan önbellek çok az fayda sağlar.
Valkey, 19 Kasım 2026’da 9.2 sürümünü yayımladı; sürümle birlikte yapay zekâ çıkarımı için dağıtık anahtar-değer önbellekleme özelliği de geldi. Projeye eşlik eden duyuruya göre ortak önbellek, mevcut GPU altyapısında çıkarım maliyetlerini %40’a kadar, yanıtın ilk belirtecini bekleme süresini ise %80’e kadar azaltabilir.
20 Ekim 2026’da yayımlanan Valkey teknik yazısı, GPU ve ana bellek katmanlarının ötesinde yer alan ve modelin istem yönergelerini, araç tanımlarını ve konuşma geçmişini işlerken ürettiği anahtar-değer tensörlerini saklayan ortak bir önbelleği anlatıyor. Çıkarım motorları, yeni çıktı üretilmeden önceki işleme aşaması olan prefill sırasında bu tensörleri yeniden hesaplamak yerine, tekrarlanan bağlamlar için yeniden kullanabilir. Bu katmanın GPU sunucuları arasında paylaşılması, herhangi bir düğümün yerel bellekten çıkarılmış bir konuşmayı yüklemesine olanak tanır.
Açık ağırlıklı modeller çalıştıran, kendi yönettiği dağıtımlarda önbellek; yapılandırmada değişiklik yapılarak ve uygulama kodu güncellenmeden, LMCache bağlayıcısı üzerinden vLLM ve SGLang gibi motorlara bağlanabilir. 9.2’de sunulan, radyks ağacını temel alan yeni bir veri türü olan Path Hash; tam eşleşmeli aramayı, en uzun önek eşleştirmesini ve önek üzerinde gezinmeyi destekler. Valkey, daha büyük yapay zekâ verileri GPU veya ana bellekte kalırken, önbelleğe alınmış en uzun eşleşen öneki ve konumunu bulmaya yarayan hafif bir dizin olarak konumlandırıyor.
Ölçülen Kazanımlar ve İş Yükü Sınırları
Multiverse Computing’in yapay zekâ platformu direktörü Ennio Pastore, Valkey üzerinde dağıtık KV önbellekleme sayesinde şirketin aynı GPU’ları kullanarak %50 daha fazla isteği karşılayabildiğini ve ilk belirtece kadar geçen medyan süre için bir saniyelik hedefini tutturduğunu söyledi. İlk belirteç gecikmesinin medyanı normal trafikte %23, yoğun trafik sırasında ise %95 azaldı. Multiverse ayrıca dağıtık önbelleğe almayı daha dayanıklı hâle getirmeyi amaçlayan LMCache bağlayıcısı iyileştirmelerine katkıda bulundu.
Valkey’in teknik yazısında açıklanan sentetik kıyaslama testinde, bağlam uzunlukları 12.000 ila 28.000 belirteç arasında değişen 100 eşzamanlı konuşma kullanıldı ve iki GPU düğümüne saniyede 8 istek gönderildi; her düğümde sekiz H100 hızlandırıcısı vardı. Düğümler, paylaşılan önbellekle aynı kullanılabilirlik bölgesinde bulunan üç parçalı bir Valkey 9 kümesiyle, vLLM ve LMCache üzerinden Llama-3.1-70B modelini çalıştırdı. Proje, istek sayısında yaklaşık %25, çıktı belirteci sayısında ise yaklaşık %28 artış ölçerken önbellek GPU faturasını yaklaşık %15 artırdı.
Valkey’in test ve dağıtım kılavuzları, çözümün sınırlarını açıkça belirtiyor: Çalışma kümesi GPU ve ana belleğe zaten sığıyorsa veya isteklerde tekrarlanan bağlam yoksa ortak önbelleğin faydası azdır. Yeni belirteçler için prefill darboğaz hâline geldiğinde ise bu çözüm ek GPU işlem kapasitesi sağlayamaz. Önbellek ilk belirteç yolunda yer aldığından ve bölgeler arası trafik gecikme ile aktarım ücretlerini artırabileceğinden, önerilen konumlandırma GPU filosuyla aynı kullanılabilirlik bölgesidir.
Bellek ve Ağ Ek Yükünü Azaltma
Yapay zekâ önbelleğe almanın yanı sıra 9.2 sürümü, veri deposunun kendi altyapı maliyetlerini de hedefliyor. İsteğe bağlı olarak etkinleştirilen fork oluşturmayan anlık görüntüler ve tam çoğaltma eşitlemeleri, ayrı bir sunucu süreci başlatmak yerine arka plan iş parçacığı kullanıyor; böylece yoğun yazma işlemleri sırasında kopyalama-yazma belleği ek yükü önleniyor. Altyapı anahtar başına dört bayt ekliyor ve prefer-forkless gerektiğinde politika fork işlemine geri dönüyor.
Devam eden çoğaltma için sıkıştırma, her bir replikayla ayrı ayrı kararlaştırılır; bu nedenle eski sürüm kullanan veya sıkıştırmayı devre dışı bırakmış replikalara düz metin gönderilmeye devam edilir. Valkey’in sürüm yazısında bildirildiğine göre, yaklaşık 315 baytlık 3 milyon anahtarın kullanıldığı bir kıyaslama testinde LZ4, iş hacminde %1’den az ek yüke yol açarken çoğaltma bant genişliğini %52 azalttı. Akışın tamamını kapsayan anlık görüntü sıkıştırması LZ4 ve Zstandard’ı destekliyor. Zstandard derleme sırasında etkinleştirilmelidir ve özellikle ağ maliyetlerinin işlem maliyetlerine kıyasla yüksek olduğu bölgeler arası çoğaltma için tasarlanmıştır.
Büyük sıralı kümeler artık skiplist yerine B+ ağacı kullanıyor. Valkey, 20 baytlık öğeler içeren 5 milyon üyeli bir testte üye başına bellek ek yükünün %36 ila %43 azaldığını bildiriyor. Diğer operasyonel yenilikler arasında sunucu tarafında sıcak anahtar tespiti, yeniden kullanılabilir erişim denetimi rolleri, küme kalp atışları ve çoğaltma için öncelik yönetimi, yönetim bağlantıları için ayrılmış kapasite ve bir replika geride kaldığında isteğe bağlı yazma sınırlaması bulunuyor.
9.2.0 sürüm kaydı, bunun 9.2’nin ilk kararlı sürümü olduğunu gösteriyor; indirme sayfasında ise Docker etiketleri ve platforma özgü ikili dosya paketleri listeleniyor. Valkey, 9.2’yi geriye dönük uyumluluğu bozan değişiklikler içermeyen bir ara sürüm olarak tanımlıyor; ancak bir operatör daha sonra önceki bir sürüme dönerse LZ4 veya Zstandard sıkıştırmasıyla yazılmış eklemeli günlük dosyalarının temel dosyalarını kullanabilmek için uyumlu bir Valkey sürümünün gerekli olduğu konusunda uyarıyor.
Valkey 9.2, çıkarım ekonomisinin iki yönünü bir araya getiriyor: tekrarlanan prefill işlemleri nedeniyle kaybedilen GPU kapasitesini geri kazanmayı ve veri katmanının bellek ve ağ ek yükünü azaltmayı. Yeni katmanı değerlendiren operatörler açısından belgelenen sonuçlar, çözümün değerinin iş yükündeki yeniden kullanıma ve bellekten çıkarma baskısına bağlı olduğunu; yeni belirteçler için prefill işlemi mevcut GPU işlem kapasitesini zaten tüketiyorsa kazanımın açık bir üst sınırı bulunduğunu gösteriyor.












