Ortaklıklar
SambaNova, Hava Soğutmalı Yapay Zekâ Çıkarımı için Intel GPU’larını SN50 ile Birleştiriyor

Öne çıkan noktalarSambaNova, çıkarımı Intel GPU'ları ön doldurmayı üstlenecek ve RDU'ları bellek sınırlı…
Daha fazla göster
- SambaNova, çıkarımı Intel GPU'ları ön doldurmayı üstlenecek ve RDU'ları bellek sınırlı kod çözmeyi üstlenecek şekilde böler.
- Standart Ethernet ve açık sunum yazılımı, iki hızlandırıcı havuzunu tescilli ara bağlantılar olmadan bağlar.
- Hava soğutmalı tasarım, sıvı soğutma güçlendirmelerinin pratik olmadığı mevcut veri merkezlerini hedefler.
SambaNova Systems, kendisinin ve Intel’in SuperComputing 2026’da, istem işleme için dört Intel GPU D-Series hızlandırıcısında ve belirteç üretimi için bir SambaRack SN50’de GLM-5.3‘ü çalıştıran hava soğutmalı bir yapay zekâ çıkarım sistemini birlikte sergilediğini 15 Kasım 2026’da duyurdu.
Sistem, çıkarım sürecini gelen istemi işleyip anahtar-değer (KV) önbelleğini oluşturan ön doldurma ve çıktı belirteçlerini üreten kod çözme aşamalarına ayırıyor. Hesaplama ağırlıklı ön doldurma işlemini Intel donanımı, belleğe bağlı kod çözme işlemini ise SambaNova’nın beşinci nesil Yeniden Yapılandırılabilir Veri Akışı Birimleri (RDU’lar) gerçekleştiriyor. SambaNova, kayda alınan sistemi müşterilerin mevcut veri merkezlerinde devreye alabileceği bir tasarım olarak sunuyor.
Her Çıkarım Aşaması için Farklı Donanım
Gösterim, Intel’in referans yapılandırmasından çok daha küçük ölçekli. SambaNova, yapılandırmaya bağlı olarak 12 TB ile 38 TB arasında bellek sunan ve en yüksek FP4 hesaplama performansı 208 petaflopa ulaşan, 80 GPU’lu bir D-Series referans rafı tanımlıyor. Bu değerler daha büyük ön doldurma tasarımına ait; SuperComputing kurulumunda ölçülen performans sonuçları değil.
Intel’in D270 ürün özellikleri, 32 Xe3P çekirdeği, 256 XMX matris motoru, standart PCIe 5.0 bağlantısı ve kart başına 480 GB’a kadar LPDDR5X bellek sunan, 350 W gücünde hava soğutmalı bir GPU’yu listeliyor. Standart form faktörü, tescilli ağ donanımına veya özel tasarım sistemlere gerek kalmadan mevcut sunucularda çalışacak şekilde tasarlanmış.
Her SambaRack SN50’de 16 RDU bulunuyor ve çıkarım işlemi için genellikle 20 kW güç gerekiyor. En fazla 16 raf, toplamda 256 RDU’ya kadar kapasiteyle tek bir birim olarak çalışabiliyor ve iş yükünü daha düşük güçlü raflara dağıtabiliyor. SambaNova, veri akışı mimarisinin ayrı GPU çekirdekleri arasında verileri belleğe geri göndermek yerine model işlemlerini çipler arasında zincirlediğini; bunun da belirteç üretimi sırasında bellek trafiğini ve çekirdekleri yeniden başlatma yükünü azalttığını söylüyor.
Açık Yazılım Donanım Havuzlarını Birbirine Bağlıyor
NVIDIA Dynamo, iki hızlandırıcı havuzunun önünde yer alıyor ve her isteği, önbelleğe alınmış bağlamı hâlihazırda barındıran donanıma yönlendirecek şekilde tasarlandı. vLLM hem Intel’in ön doldurma yolunu hem de SN50’nin kod çözme yolunu desteklerken NIXL, UCX/RDMA üzerinden KV önbelleği verilerini standart RoCEv2 Ethernet kullanarak aktarıyor. Böylece donanım türleri arasındaki aktarım, tescilli bir ara bağlantı yerine yerleşik bir Ethernet altyapısı üzerinden yapılabiliyor.
SN50, önceki istemlere ait KV öneklerini bağlı DDR belleğinde tutarken çip üzerindeki SRAM ve HBM etkin kod çözme işlemlerini destekliyor. Bir aracı bir konuşmaya veya paylaşılan bağlama geri döndüğünde, önbellek farkındalıklı yönlendirme isteği bu öneki tutan SN50’ye gönderebiliyor; böylece GPU’da ön doldurma işleminden yalnızca yeni içerik geçiyor ve ağ üzerinden daha az KV durumu aktarılıyor. SambaNova, bu önbellek isabetlerinin ilk belirtece kadar geçen süreyi kısalttığını ve yeni istekler için GPU kapasitesini serbest bıraktığını söylüyor. Yazı, birleşik gösterim için ölçülmüş gecikme veya verim sonuçları bildirmeden bu faydaları açıklıyor.
Mevcut Hava Soğutmalı Tesislerde Ölçeklendirme
Bu ayrım, hizmet sağlayıcıların her aşamayı birbirinden bağımsız biçimde genişletmesine de olanak tanıyor. Daha uzun istemler daha fazla D-Series ön doldurma kapasitesi gerektirebilirken daha uzun çıktılar üreten aracılar, diğer havuzu aynı oranda büyütmeye gerek kalmadan ek SN50 kod çözme kapasitesine ihtiyaç duyabilir.
Bu esneklik, tesislerinde sıvı soğutmalı sistemlere kolayca yer açamayan işletmecileri hedefliyor. Intel, D270’in standart PCIe form faktörünün ve 350 W gücündeki hava soğutmalı tasarımının, özel bir sıvı soğutma dönüşümü gerektirmeden mevcut raflarda kullanılmak üzere tasarlandığını belirtiyor. SN50’nin raf düzeyindeki güç profiliyle bir araya gelen bu tasarım, mevcut hava soğutmalı ortamlarda çıkarım kapasitesini artırmayı amaçlıyor.
Gösterimin önemi, entegrasyonunda yatıyor: yaygın kullanılan sunum yazılımları ve standart Ethernet üzerinden bağlanan iki farklı hızlandırıcı mimarisi, farklı çıkarım aşamalarına atanıp iş yüküne göre ölçeklendirilebiliyor. Sabit güç ve soğutma sınırlarıyla karşı karşıya olan hizmet sağlayıcılar için geriye, üretim iş yüklerinde açıklanan önbellekleme ve kullanım avantajlarının her iki havuzu birden işletmeyi haklı çıkaracak ölçüde gerçekleşip gerçekleşmediği sorusu kalıyor.












