Ortaklıklar

SambaNova, Hava Soğutmalı Yapay Zekâ Çıkarımı için Intel GPU’larını SN50 ile Birleştiriyor

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarSambaNova, çıkarımı Intel GPU'ları ön doldurmayı üstlenecek ve RDU'ları bellek sınırlı…
Daha fazla göster
  • SambaNova, çıkarımı Intel GPU'ları ön doldurmayı üstlenecek ve RDU'ları bellek sınırlı kod çözmeyi üstlenecek şekilde böler.
  • Standart Ethernet ve açık sunum yazılımı, iki hızlandırıcı havuzunu tescilli ara bağlantılar olmadan bağlar.
  • Hava soğutmalı tasarım, sıvı soğutma güçlendirmelerinin pratik olmadığı mevcut veri merkezlerini hedefler.

SambaNova Systems, kendisinin ve Intel’in SuperComputing 2026’da, istem işleme için dört Intel GPU D-Series hızlandırıcısında ve belirteç üretimi için bir SambaRack SN50’de GLM-5.3‘ü çalıştıran hava soğutmalı bir yapay zekâ çıkarım sistemini birlikte sergilediğini 15 Kasım 2026’da duyurdu.

Sistem, çıkarım sürecini gelen istemi işleyip anahtar-değer (KV) önbelleğini oluşturan ön doldurma ve çıktı belirteçlerini üreten kod çözme aşamalarına ayırıyor. Hesaplama ağırlıklı ön doldurma işlemini Intel donanımı, belleğe bağlı kod çözme işlemini ise SambaNova’nın beşinci nesil Yeniden Yapılandırılabilir Veri Akışı Birimleri (RDU’lar) gerçekleştiriyor. SambaNova, kayda alınan sistemi müşterilerin mevcut veri merkezlerinde devreye alabileceği bir tasarım olarak sunuyor.

Her Çıkarım Aşaması için Farklı Donanım

Gösterim, Intel’in referans yapılandırmasından çok daha küçük ölçekli. SambaNova, yapılandırmaya bağlı olarak 12 TB ile 38 TB arasında bellek sunan ve en yüksek FP4 hesaplama performansı 208 petaflopa ulaşan, 80 GPU’lu bir D-Series referans rafı tanımlıyor. Bu değerler daha büyük ön doldurma tasarımına ait; SuperComputing kurulumunda ölçülen performans sonuçları değil.

Intel’in D270 ürün özellikleri, 32 Xe3P çekirdeği, 256 XMX matris motoru, standart PCIe 5.0 bağlantısı ve kart başına 480 GB’a kadar LPDDR5X bellek sunan, 350 W gücünde hava soğutmalı bir GPU’yu listeliyor. Standart form faktörü, tescilli ağ donanımına veya özel tasarım sistemlere gerek kalmadan mevcut sunucularda çalışacak şekilde tasarlanmış.

Her SambaRack SN50’de 16 RDU bulunuyor ve çıkarım işlemi için genellikle 20 kW güç gerekiyor. En fazla 16 raf, toplamda 256 RDU’ya kadar kapasiteyle tek bir birim olarak çalışabiliyor ve iş yükünü daha düşük güçlü raflara dağıtabiliyor. SambaNova, veri akışı mimarisinin ayrı GPU çekirdekleri arasında verileri belleğe geri göndermek yerine model işlemlerini çipler arasında zincirlediğini; bunun da belirteç üretimi sırasında bellek trafiğini ve çekirdekleri yeniden başlatma yükünü azalttığını söylüyor.

Açık Yazılım Donanım Havuzlarını Birbirine Bağlıyor

NVIDIA Dynamo, iki hızlandırıcı havuzunun önünde yer alıyor ve her isteği, önbelleğe alınmış bağlamı hâlihazırda barındıran donanıma yönlendirecek şekilde tasarlandı. vLLM hem Intel’in ön doldurma yolunu hem de SN50’nin kod çözme yolunu desteklerken NIXL, UCX/RDMA üzerinden KV önbelleği verilerini standart RoCEv2 Ethernet kullanarak aktarıyor. Böylece donanım türleri arasındaki aktarım, tescilli bir ara bağlantı yerine yerleşik bir Ethernet altyapısı üzerinden yapılabiliyor.

SN50, önceki istemlere ait KV öneklerini bağlı DDR belleğinde tutarken çip üzerindeki SRAM ve HBM etkin kod çözme işlemlerini destekliyor. Bir aracı bir konuşmaya veya paylaşılan bağlama geri döndüğünde, önbellek farkındalıklı yönlendirme isteği bu öneki tutan SN50’ye gönderebiliyor; böylece GPU’da ön doldurma işleminden yalnızca yeni içerik geçiyor ve ağ üzerinden daha az KV durumu aktarılıyor. SambaNova, bu önbellek isabetlerinin ilk belirtece kadar geçen süreyi kısalttığını ve yeni istekler için GPU kapasitesini serbest bıraktığını söylüyor. Yazı, birleşik gösterim için ölçülmüş gecikme veya verim sonuçları bildirmeden bu faydaları açıklıyor.

Mevcut Hava Soğutmalı Tesislerde Ölçeklendirme

Bu ayrım, hizmet sağlayıcıların her aşamayı birbirinden bağımsız biçimde genişletmesine de olanak tanıyor. Daha uzun istemler daha fazla D-Series ön doldurma kapasitesi gerektirebilirken daha uzun çıktılar üreten aracılar, diğer havuzu aynı oranda büyütmeye gerek kalmadan ek SN50 kod çözme kapasitesine ihtiyaç duyabilir.

Bu esneklik, tesislerinde sıvı soğutmalı sistemlere kolayca yer açamayan işletmecileri hedefliyor. Intel, D270’in standart PCIe form faktörünün ve 350 W gücündeki hava soğutmalı tasarımının, özel bir sıvı soğutma dönüşümü gerektirmeden mevcut raflarda kullanılmak üzere tasarlandığını belirtiyor. SN50’nin raf düzeyindeki güç profiliyle bir araya gelen bu tasarım, mevcut hava soğutmalı ortamlarda çıkarım kapasitesini artırmayı amaçlıyor.

Gösterimin önemi, entegrasyonunda yatıyor: yaygın kullanılan sunum yazılımları ve standart Ethernet üzerinden bağlanan iki farklı hızlandırıcı mimarisi, farklı çıkarım aşamalarına atanıp iş yüküne göre ölçeklendirilebiliyor. Sabit güç ve soğutma sınırlarıyla karşı karşıya olan hizmet sağlayıcılar için geriye, üretim iş yüklerinde açıklanan önbellekleme ve kullanım avantajlarının her iki havuzu birden işletmeyi haklı çıkaracak ölçüde gerçekleşip gerçekleşmediği sorusu kalıyor.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.