Yapay zeka modelleri ve platformları

MiTAC, SC26’da İki Sunuculu Yapay Zekâ Çıkarım Mimarisi Öneriyor

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarMiTAC, prefill ve decode aşamalarını ayrı sunuculara bölerek her aşamanın kendi iş…
Daha fazla göster
  • MiTAC, prefill ve decode aşamalarını ayrı sunuculara bölerek her aşamanın kendi iş yüküne göre donatılmasını sağlar.
  • Decode sunucusu, Kimi K3 gibi modelleri şirket içinde çalıştırmak için 2 TB hızlandırıcı belleği taşır.
  • MiTAC'ın sıvı soğutmalı rafı, geleneksel kurulumlara kıyasla %50 daha yüksek GPU yoğunluğuna ulaşır.

MiTAC Computing, 17 Kasım 2026 tarihli duyurusunda SC26’da Skymizer ile birlikte iki sunuculu bir yapay zekâ çıkarım mimarisini tanıttı. Şirket, 2,8 trilyon parametreli Kimi K3 gibi modelleri kurum içinde çalıştırmak üzere tasarlanan sistem için çözümleme tarafında 2 TB hızlandırıcı belleği öneriyor.

Mimari; yazılım orkestrasyonu, yüksek yoğunluklu sıvı soğutma, depolama ve yakında sunulacak bir AMD raf sistemi dahil daha geniş bir ürün portföyünün parçası. Destekleyici sistemlerin bazıları SC26’da canlı olarak sergilenirken diğerleri henüz öneri veya geliştirme aşamasında. Bu nedenle duyuru, mevcut gösterimlerle geleceğe yönelik altyapı tasarımlarını bir araya getiriyor.

Ön Doldurma ve Çözümleme için Ayrı Sunucular

Önerilen ön doldurma platformu, AMD EPYC 9575F veya 9755 işlemciler ve Instinct MI350X GPU’lar kullanan 8U G8825Z5 modelidir. Bu sistem, oluşturulan anahtar-değer önbelleğini yüksek hızlı ağ üzerinden çözümleme sunucusuna aktaracak. Çözümleme için önerilen, hava soğutmalı 4U G4520G6 yapılandırması ise Intel Xeon 6 işlemcileri, her biri 256 GB bellek taşıyan sekiz Skymizer HTX301-4S hızlandırıcı kartıyla bir araya getiriyor.

Ön doldurma yoğun işlem gücü gerektiren, çözümleme ise yoğun bellek kullanan bir aşama. Bu nedenle aşamaları birbirinden ayırmak, işletmelerin her birine kendi iş yüküne uygun kaynak ayırmasını sağlamayı amaçlıyor. MiTAC’a göre kurum içinde çalışan çözümleme sistemi, karmaşık ve derin akıl yürütme gerektiren ajan tabanlı iş yükleri için tasarlandı. Bu mimari, ölçeklendirme sorununu kısmen daha fazla GPU eklemekten çıkarıp hızlandırıcı belleğiyle aşamalar arasındaki ağ bağlantısını dengelemeye kaydırıyor.

SC26’da Canlı Soğutma ve Veri Yoğunluğu Gösterimleri

MiTAC’ın canlı gösterimleri, bu çıkarım tasarımının gerektirdiği fiziksel altyapı ihtiyaçlarını ele alıyor. 52U’luk sıvı soğutmalı bir raf, 12 G4826Z5 sunucuyu ve 96 AMD Instinct MI355X GPU’yu bir araya getiriyor. Şirkete göre bu yapılandırma, geleneksel kurulumlara kıyasla GPU yoğunluğunu %50 artırıyor.

ZutaCore ile yürütülen kavram kanıtı çalışmasında G4826Z5 üzerinde, yalıtkan sıvıyı doğrudan çip üzerinde buharlaştıran, susuz ve iki fazlı doğrudan sıvı soğutma kullanılıyor. MiTAC, 4.000 W’ın üzerindeki termal tasarım gücü değerlerini, 250 W/cm²’nin üzerindeki ısı akısını ve yıllıklandırılmış kısmi güç kullanım etkinliği olarak 1,03 değerini desteklediğini bildiriyor. Gösterim, yüksek güçlü hızlandırıcıların yoğun raflarda bir araya getirilmesinden kaynaklanan ısıl sınırları hedefliyor.

Depolama gösteriminde DDN Infinia, yedi GC68C-B8056 1U depolama sunucusuyla bir araya getiriliyor. Sistem, G/Ç darboğazları oluşturmadan kesintisiz yapay zekâ veri akışları sağlamak üzere tasarlandı. Bu, soğutmadan farklı bir kısıtı ele alıyor: hızlandırıcıların çıkarım ve ajan iş yüklerini işlemek yerine veri beklemesi riskini azaltıyor.

Yazılım ve Yaklaşan Helion Raf Sistemi

Canonical Ubuntu, sertifikalı işletim sistemi katmanını sağlıyor; Rafay, dağıtık iş yüklerinde dinamik GPU hizmeti olarak orkestrasyon ekliyor; MiTAC’ın MiCoreView yazılımı ise pod düzeyinde telemetri ve veri merkezinin bütünsel görünürlüğünü sunuyor. Infinia ile birlikte bu bileşenler, aynı altyapı yığını içinde işletim sistemlerini, veri aktarımını, GPU tahsisini ve izlemeyi kapsıyor.

MiTAC ayrıca yakında sunulacak ORv3 44OU Helion Agentic AI Rack üzerinde AMD ile iş birliği yapıyor. MiTAC, sistemin hiper ölçekli ve kurumsal ortamlar için 32.768 AMD Zen 6 CPU çekirdeğine ölçekleneceğini belirtiyor.

AMD’nin Helion belgeleri, Open Compute Project (OCP) standartları üzerine kurulu, açık raf ölçekli bir referans tasarımı tanımlıyor. Tasarımda yalnızca CPU kullanan hiper ölçekli yapılandırmaların yanı sıra CPU ve GPU bıçaklarını bir araya getiren kurumsal sürümler de bulunuyor. Hava soğutmalı çıkarım sürümü en fazla 16 Instinct MI350P GPU’yu destekliyor; müşteriler farklı ajan iş yüklerine uyum sağlamak için bıçak türlerini bir arada kullanabiliyor. Kurumsal yapılandırma, ajanların çalıştırılmasını ve çıkarımı tek bir rafta birleştirmeyi amaçlıyor. Buna karşılık Helios, öncü ölçekli eğitim ve birleşik, ölçek büyütmeli bir GPU alanıyla büyük ölçekli çıkarım için tasarlandı.

Bunun pratik sonucu şu: Kurum içinde devreye alınabilir çıkarım; çözümleme belleğinin ön doldurma ağı, depolama aktarım hızı, raf soğutması ve orkestrasyonla uyum içinde çalışmasına bağlı. MiTAC’ın önerisi, bu bağlantıları GPU’ların yanı sıra kapasite hesabının da bir parçası hâline getiriyor.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.