Supermicro, Uzun Bağlamlı Yapay Zekâ için Paylaşımlı KV Önbellek Depolama Çözümünü Tanıttı

Supermicro, 5 Kasım 2026’da IBM ve NVIDIA ile birlikte, yeniden kullanılabilir yapay zekâ çıkarım bağlamını GPU belleğinin ötesindeki paylaşımlı depolama alanına taşımak üzere tasarlanmış bir KV önbelleği depolama çözümü duyurdu. Şirketler, ortak testlerde 130.000 tokenlık bir istemde ilk tokena ulaşma süresinin 56 kata kadar kısaldığını bildiriyor.

Çözüm; AMD EPYC 9005 işlemciler kullanan Supermicro Petascale tümüyle flaş depolama sunucularını, IBM Storage Scale yazılımını, NVIDIA’nın Dynamo çıkarım çerçevesini ve Spectrum-X Ethernet ağ teknolojisini bir araya getiriyor. Çok turlu ve aracı tabanlı uygulamalar, kodlama yardımcıları, çok modlu yapay zekâ ve uzun bağlamlı, artırılmış bilgi getirme üretimi için tasarlandı. Büyük kod tabanları, belgeler, görseller ve konuşma geçmişleri, GPU ve CPU belleğinin saklayabileceğinden daha fazla anahtar-değer durumu oluşturabilir.

İstekler Arasında Bağlamı Yeniden Kullanma

Ön doldurma işlemi, tokenlara ayrılmış bir istemi modelin kullandığı ara anahtar-değer durumlarına dönüştürür. Bu durumların kalıcı olarak saklanması, sonraki isteklerin bağlamı yeniden hesaplamak yerine yeniden kullanmasını sağlar. Mimari, GPU düğümleri ve kümeleri arasında paylaşımlı erişim sunan, yüksek kullanılabilirliğe sahip bir depolama katmanı sağlar ve önbellek kapasitesinin hizmet kesintisine yol açmadan artırılmasına olanak tanır.

Dynamo, önbellek farkındalıklı yönlendirme ekler, ön doldurma ile çözümleme işlemlerini birbirinden ayırır ve KV Block Manager ile NIXL aktarım kitaplığı üzerinden önbelleğe alınmış blokları harici depolamaya aktarır. IBM Storage Scale Erasure Coding Edition, NVIDIA’nın bellek hiyerarşisindeki paylaşımlı G4 depolama katmanını sağlar.

Kıyaslama Sonuçları ve Test Koşulları

5 Haziran 2026’da yayımlanan ve son olarak 20 Ağustos 2026’da güncellenen bir IBM Redbooks başvuru mimarisi, 130.000 token için GPU’da yeniden hesaplamanın 32,14 saniye sürdüğünü, depolama destekli önbellek kullanıldığında ise sürenin 0,570 saniyeye düştüğünü bildiriyor. Lansmanın dayanağını bu mevcut ölçümler oluşturuyor; bunlar kasım ayında yayımlanmış yeni bir araştırmanın sonuçları değil.

Ayrı bir 200 istekli çalışmada, 28 eşzamanlı bağlantı kullanıldı ve toplam 24 milyon tokenı ve 825 GB KV önbellek verisini temsil eden 100 farklı istemden yararlanıldı. Redbook, verimin saniyede 0,19 istekteyken 4,26 isteğe yükseldiğini, toplam işlem süresinin ise 1.048,56 saniyeden 46,94 saniyeye düştüğünü bildiriyor. Önbellek başlangıçta boş olduğundan, yeniden kullanım arttıkça oluşan soğuk başlangıç dönemi tüm çalışmanın ortalamasına dâhil.

Gürültülü komşu testinde, diğer dört istemci ağ üzerinden saniyede 200 GB rekabetçi G/Ç trafiği oluşturdu. Önbellekli sistem saniyede 3,6 isteği sürdürdü ve 200 isteği 55,56 saniyede tamamladı. Redbook, bunu temiz ağ koşullarındaki önbellekli sonuca kıyasla verimde %18’lik bir düşüş olarak tanımlıyor.

Tüm çıkarım ölçümleri, sekiz düğümlü bir Petascale depolama kümesine bağlı, dört NVIDIA RTX PRO 6000 GPU içeren tek bir Supermicro GPU istemci düğümünden elde edildi. Yazılım yığını; Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf ve openai/gpt-oss-120b modelini kullandı. Paylaşımlı G4 katmanının etkisini yalıtmak için GPU belleği ve sistem DRAM’i önbellek katmanları devre dışı bırakıldı.

Ağ Kapasitesi Payı ve Dağıtım Boyutlandırması

Testin yaprak-damar ağını üç Spectrum-X SN5600 anahtarı oluşturdu. Redbook, istemciye yönelik bant genişliğinin 80 GB/s’ye kadar çıktığını; sekiz düğümlü depolama sisteminin ise 315 GB/s’ye kadar okuma verimi sağladığını bildiriyor. Bu nedenle yapılandırmadaki kısıt, depolama katmanının toplam okuma kapasitesinden ziyade istemci tarafındaki ağ bağlantısı oluyor.

Redbook’un boyutlandırma örneklerinde küçük ölçekli kavram kanıtlama kurulumları için dört depolama düğümü, test edilen orta ölçekli yapılandırma için sekiz düğüm, büyük yapay zekâ fabrikaları içinse en az 16 düğüm kullanılıyor. Uygun tasarımı kapasite, bant genişliği, eşzamanlılık, model boyutu ve iş yükü birlikte belirliyor. Supermicro, fabrika ortamında raf entegrasyonu ve yerinde dağıtım hizmetlerinin kurulum süresini haftalardan günlere indirebildiğini söylüyor.

Lansman, daha önce belgelenmiş ve ortaklaşa doğrulanmış bir mimariyi dağıtıma hazır bir paket hâlinde sunuyor; ancak elde edilen kazanımlar belirli bir modele, istem bileşimine, eşzamanlılık düzeyine ve ağa bağlı. Dağıtımda yanıtlanması gereken temel soru, depolama kapasitesiyle istemci bant genişliğinin gerçek bağlam yeniden kullanım gereksinimine göre dengelenip dengelenmediği: İstemci ağı veriyi ulaştıramıyorsa depolama tarafındaki ek okuma kapasitesi çıkarımı iyileştiremez.