Tensormesh, KV Önbelleğinin Yeniden Kullanımıyla LLM Çıkarım Maliyetlerini Düşürmeyi Amaçlayan Platformunu Tanıttı

Bir yapay zekâ asistanı uzun bir belge aldığında, yanıt vermeye başlamadan önce bu içeriği işlemek zorundadır. Aynı belgeler, talimatlar veya konuşma geçmişi yeniden karşısına çıktığında, bu işlemlerin büyük bölümü tekrarlanabilir. Kurumsal ölçekte bu tekrarlar, faydalı bir iş üretmeden yüksek maliyetli GPU kapasitesini tüketebilir.

Tensormesh, bu sorunu 14 Ekim 2026’da duyurduğu Tensormesh Platform ile çözmeyi hedefliyor. Ekibi açık kaynaklı LMCache projesini oluşturan şirket, büyük dil modellerini kendi altyapılarında çalıştıran kuruluşlara yönelik anahtar-değer önbelleğe alma (KV önbelleğe alma) için kurumsal bir yönetim katmanı sunuyor.

Platform, GPU belleği, CPU belleği ve depolama genelindeki yeniden kullanılabilir çıkarım durumunu yönetiyor. Amaç basit: önbelleğe alınan bu durumun nasıl saklanacağı, paylaşılacağı ve izleneceği konusunda operatörlere kontrol olanağı sunarken, bir GPU filosunun tekrarlamak zorunda olduğu istem işleme miktarını azaltmak.

KV önbelleği neden önemli?

LLM çıkarımının iki önemli aşaması vardır. Ön doldurma sırasında model, girdi istemini işler. Çözümleme sırasında ise yanıtı token token üretir. KV önbelleği, modelin her şeyi baştan hesaplamadan işlenmiş tokenlara yeniden başvurmasını sağlayan, dikkat mekanizmasıyla ilgili ara durumu tutar.

Girdi bağlamı tekrarlandığında bu durumu istekler arasında yeniden kullanmak, ön doldurma iş yükünü azaltabilir. Örneğin bir destek asistanı, yüzlerce farklı soruyu yanıtlarken aynı ürün kılavuzuna başvurabilir. Bir ajan da değişen görevlerin yanında aynı talimatları veya araçları tekrar tekrar kullanabilir.

Bu, tamamlanmış bir yanıtı önbelleğe almaktan farklıdır. Sistem, yeni bir soruya yine yeni bir yanıt üretirken ortak bağlamla ilişkili hesaplamaları yeniden kullanabilir.

vLLM’nin otomatik önek önbelleğe alma belgeleri, tekrarlanan belge sorguları ve çok turlu konuşmalar için bu faydayı açıklıyor. Belgeler ayrıca önemli bir sınırı da ortaya koyuyor: Önek önbelleğe alma, istem işlemeyi hızlandırır; yeni çıktı tokenlarının üretilmesini değil. Uzun yanıtların ağırlıkta olduğu veya girdilerin büyük ölçüde benzersiz olduğu iş yüklerinde fayda daha sınırlı olabilir.

Kurumsal müşteriler için asıl soru, gerçek iş yüklerinin ne kadarının yeniden kullanılabilir bağlam içerdiği ve bu bağlamın yeniden hesaplamaya kıyasla daha hızlı ve daha düşük maliyetle geri alınıp alınamayacağıdır.

Önbelleği yönetilen altyapıya dönüştürmek

Tensormesh’in duyurusunda beş operasyonel öncelik sıralanıyor: güvenlik, gözlemlenebilirlik, dayanıklılık, politika yönetimi ve çok kiracılılık. Bunlar; önbelleğe alınan verileri koruma, performansı izleme, arızalardan kurtulma, saklama ve önbellekten çıkarma işlemlerini kontrol etme ve paylaşılan altyapıda ekipleri veya müşterileri birbirinden ayırma gibi pratik ihtiyaçları karşılıyor.

Şirket ayrıca önbellek girdilerini sabitleme, bulma, taşıma, sıkıştırma ve temizleme işlemleri için denetleyici API’leri sunduğunu belirtiyor. Böylece önbelleğin yaşam döngüsünü yönetmek, tamamen ayrı çıkarım süreçlerine bırakılan bir iş olmaktan çıkıp açık bir operasyonel konu hâline geliyor.

Temelindeki LMCache projesi, önbellek yönetimini sunum motorundan ayırıyor ve birden fazla depolama katmanı arasında veri boşaltma ve geri alma işlemlerini destekliyor. Belgelerinde; takılabilir depolama ve aktarım arka uçlarıyla istekler, oturumlar ve motor örnekleri arasında yeniden kullanım açıklanıyor.

Kurumsal platform bu temel üzerine kuruluyor. Kurulum kılavuzuna göre bir Kubernetes operatörü, GPU düğümlerindeki önbellek sunucuları ile filo genelindeki koordinasyonu sağlayan bir koordinatör dâhil olmak üzere önbellek motoru bileşenlerini yönetiyor. Dağıtım Helm aracılığıyla yapılırken, operasyonlar web arayüzü ve komut satırı araçlarıyla destekleniyor.

Bu mimari önem taşıyor; çünkü GPU belleği sınırlı bir kaynak. Yeniden kullanılabilecek her istemi burada tutmak, diğer çıkarım ihtiyaçlarıyla rekabet yaratır. Daha az acil ihtiyaç duyulan durumu ana makine belleğine veya depolamaya taşımak saklanabilecek veri miktarını artırabilir; ancak veriyi geri almak da kendine özgü bant genişliği ve gecikme maliyetleri getirir.

Özdeş istem öneklerinin ötesinde

Önek önbelleğe alma, iki istem aynı tokenlarla başladığında iyi çalışır. Ancak geri getirme destekli üretim (RAG) daha zor olabilir: Bir uygulama ilgili belgeleri bulup getirir, fakat bu belgeler farklı sıralarda veya önlerinde farklı metinler olacak şekilde yer alabilir.

Aynı belgeleri kullanan iki varsayımsal isteği ele alalım. İlkinde A belgesini B belgesi izler; diğerinde ise B belgesini A belgesi izler. Her ikisi de yeniden kullanılabilir içerik barındırır, ancak ortak başlangıçları kısa olabilir.

Tensormesh, CacheBlend ile yeniden kullanımı istemin başlangıcının ötesine taşıyor. LMCache belgelerinde, önbelleğe alınmış parçalar yeniden kullanılırken tokenların bir bölümünün seçici olarak yeniden hesaplandığı açıklanıyor. Bu yeniden hesaplama önemlidir; çünkü bir parçanın çevresindeki bağlam, modelin iç durumunu etkileyebilir.

EuroSys 2025’te sunulan CacheBlend araştırma makalesi, değerlendirilen iş yüklerinde tam KV yeniden hesaplamasına kıyasla ilk tokena ulaşma süresinin 2,2–3,3 kat daha kısa, verimin ise 2,8–5 kat daha yüksek olduğunu bildiriyor. Yazarlar üç açık kaynaklı modeli ve dört kıyaslama veri kümesini değerlendirdi.

Bunlar belirli koşullarda elde edilen araştırma sonuçlarıdır; Tensormesh’in her kurulumunda tasarruf sağlanacağını garanti etmez. Bununla birlikte, ortak bir önekin ötesinde yeniden kullanımın teknik açıdan neden ilgi çekici olduğunu gösterir: Geleneksel önek eşleştirmenin gözden kaçıracağı yararlı hesaplama işlemlerinden yeniden yararlanılmasını sağlayabilir.

Düğümler arası yeniden kullanım ve sürüme özgü desteğin önemi

Lansman duyurusunda, bir düğümün önbelleğe alınmış durumu başka bir düğümden almasına olanak tanıyan eşler arası KV aktarımından söz ediliyor. Şirketin ürün materyallerinde ise ön doldurma ve çözümleme aşamalarının ayrıştırılması anlatılıyor. Bu ayrıştırma, istemin işlenmesini çıktı üretiminden ayırarak iki aşamanın farklı çalışanlarda yürütülmesini sağlar.

Bunlar, çıkarım sürecini düzenlemeye yönelik birbirini tamamlayan yöntemlerdir. Uyumlu durumun paylaşılması, başka bir düğümde aynı işlemlerin yeniden yapılmasını önleyebilir; aşamaların ayrılması ise altyapı ekiplerinin kaynakları işlem gereksinimlerine göre farklı biçimde tahsis etmesine olanak tanıyabilir.

Ancak kamuya açık materyaller, sürüm durumu konusunda tam olarak örtüşmüyor. Lansman tanıtımında düğümler arası paylaşım ve aşamaların ayrıştırılması anlatılırken, 17 Eylül tarihli sürüme özgü uyumluluk matrisi eşler arası aktarım ile ayrıştırmayı yol haritasında listeliyor. Özellik belgelerinde ayrıca önizleme sayfaları da bulunuyor.

Aynı matris, Tensormesh’in testlerinde doğrulanmış özelliklerle üst projede desteklenen ancak üretim öncesinde ek test gerektiren özellikleri birbirinden ayırıyor. vLLM ve NVIDIA Dynamo’yu doğrulanmış sunum motorları olarak listelerken SGLang ve TensorRT-LLM’yi yol haritasında gösteriyor.

Bu nedenle sürümün geniş uyumluluk ifadeleri, her model ve altyapı birleşiminin doğrulandığının kanıtı değil, bir tasarım yönelimi olarak değerlendirilmelidir. Ekipler, kullanmayı planladıkları sürümü, sunum motorunu, modeli ve önbellek kipini doğrulamalıdır.

Lansman tanıtımında özellikle Kubernetes üzerinde vLLM’nin NVIDIA veya ROCm aracılığıyla desteklenen AMD Instinct GPU’larıyla ve dosya sistemi tabanlı depolamayla kullanımı anlatılıyor. Yoğun modeller için önek dışı önbelleğe alma ile SGLang desteğinin ise yakında sunulacağı belirtiliyor. Ayrıca önbelleğin kendi barındırdıkları modellerle birlikte çalıştığı; rastgele bir barındırılan model API’sine eklenebilen bir bileşen olmadığı da açıklanıyor.

Ekonomik açıdan avantaj sağlayabileceği alanlar

En güçlü kullanım adayları, ortak ve kapsamlı bağlamı tekrar tekrar işleyen uygulamalardır: kurum içi bilgi asistanları, belge analizi hizmetleri ve değişmeyen bir talimat ya da başvuru materyali bütününe tekrar başvuran ajanlar.

Yararlı bir değerlendirmede, temsili trafik kullanılarak önbelleğin soğuk ve ısınmış olduğu durumlardaki davranış karşılaştırılmalıdır. İşletim ekipleri ilk belirte kadar geçen süreyi, iş hacmini, önbellekten veri alma süresini, GPU kullanımını ve durumun saklanmasının bellek, depolama ve ağ maliyetlerini ölçmelidir.

Tek başına önbellek isabet oranı yeterli değildir. Yüksek isabet oranı ancak yeniden kazanılan işlem gücü, aktarım ve yönetim yükü hesaba katıldıktan sonra net fayda sağlıyorsa işe yarar. Benzer şekilde, ilk belirte daha hızlı ulaşılması yanıtın tamamının aynı oranda daha hızlı üretileceği anlamına gelmez.

Özellikle önbelleğe alınmış parçalar farklı bağlamlarda birleştirildiğinde, yanıt kalitesi ayrıca kontrol edilmelidir. CacheBlend’in seçici yeniden hesaplama yöntemi bu sorunu gidermeyi amaçlıyor; ancak üretim testleri kuruluşun kendi belgelerini, istem biçimlerini ve model yapılandırmalarını kapsamalıdır.

Önbellek tek bir sürecin ötesine taşındıkça saklama süresi ve kiracı yalıtımı da daha önemli hâle gelir. Yanıtlanması gereken operasyonel sorular arasında bir girdiyi kimin yeniden kullanabileceği, girdinin ne kadar süreyle erişilebilir kalacağı ve politika değişikliklerinin ya da silme taleplerinin kaydedilmiş durumu nasıl etkileyeceği yer alır. Tensormesh’in duyurduğu yönetim özellikleri, bu kararların denetlenebilir olmasını amaçlıyor.

Tekrarlanan işleri azaltmaya yönelik uygulanabilir bir yatırım

Şirketin duyurusuna göre Tensormesh Platform lansmanla birlikte kullanıma sunuldu. Platformun önemi, çıkarım durumunu bir filo genelinde yönetilebilen bir kaynak olarak ele almasında ve yeniden kullanılabilir hesaplama işlemlerini bir isteğin anlık ömrünün ötesinde saklamasında yatıyor.

Kendi LLM altyapılarını işleten kurumlar için bu, verimliliği artırmaya yönelik somut bir imkân sunuyor: Daha önce gerçekleştirilmiş istem işleme çalışmalarından daha fazla yararlanmak. Sonuç; iş yükündeki tekrar sıklığına, önbellek uyumluluğuna ve verileri taşıma maliyetine bağlı olacak. Ancak bunlar, ekiplerin kendi trafiklerinde sınayabileceği ölçülebilir mühendislik sorularıdır.