Model dan platform AI

MiTAC Mengusulkan Arsitektur Inferensi AI Dua Server di SC26

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaMiTAC memisahkan prefill dan decode ke server terpisah sehingga setiap tahap…
Lihat selengkapnya
  • MiTAC memisahkan prefill dan decode ke server terpisah sehingga setiap tahap diprovisioning untuk beban kerjanya sendiri.
  • Server decode membawa memori akselerator 2 TB untuk menjalankan model seperti Kimi K3 secara on-premises.
  • Rak berpendingin cair MiTAC mencapai kepadatan GPU 50% lebih tinggi daripada penerapan konvensional.

Dalam pengumuman pada 17 November 2026, MiTAC Computing memperkenalkan arsitektur inferensi AI dua server bersama Skymizer di SC26, dengan mengusulkan memori akselerator 2 TB di sisi dekode untuk sistem yang dirancang menjalankan model seperti Kimi K3 berparameter 2,8 triliun secara lokal.

Arsitektur ini merupakan bagian dari portofolio yang lebih luas, mencakup orkestrasi perangkat lunak, pendinginan cair berdensitas tinggi, penyimpanan, dan rak AMD yang akan datang. Beberapa sistem pendukung sedang didemonstrasikan langsung di SC26, sementara yang lain masih berupa usulan atau dalam tahap pengembangan. Karena itu, pengumuman ini memadukan demonstrasi saat ini dengan rancangan infrastruktur untuk masa mendatang.

Server Terpisah untuk Prefill dan Dekode

Platform prefill yang diusulkan adalah G8825Z5 berukuran 8U, yang menggunakan prosesor AMD EPYC 9575F atau 9755 dan GPU Instinct MI350X. Platform ini akan mentransfer cache key-value yang dihasilkan ke server dekode melalui jaringan berkecepatan tinggi. Untuk dekode, konfigurasi G4520G6 berpendingin udara berukuran 4U yang diusulkan memadukan prosesor Intel Xeon 6 dengan delapan kartu akselerator Skymizer HTX301-4S, yang masing-masing memiliki memori 256 GB.

Prefill merupakan tahap yang intensif komputasi, sedangkan dekode intensif memori. Karena itu, pemisahan keduanya dimaksudkan agar perusahaan dapat menyediakan sumber daya untuk masing-masing tahap sesuai beban kerjanya. MiTAC menyatakan bahwa sistem dekode lokal ini dirancang untuk beban kerja agentik yang kompleks dan memerlukan penalaran mendalam. Arsitektur ini mengalihkan sebagian tantangan peningkatan skala dari penambahan GPU ke penyeimbangan memori akselerator dengan koneksi jaringan di antara kedua tahap.

Pendinginan Langsung dan Kepadatan Data di SC26

Demonstrasi langsung MiTAC menunjukkan kebutuhan fisik yang terkait dengan rancangan inferensi tersebut. Rak berpendingin cair berukuran 52U memadukan 12 server G4826Z5 dan 96 GPU AMD Instinct MI355X. Menurut perusahaan, konfigurasi ini menghasilkan kepadatan GPU 50% lebih tinggi dibandingkan penerapan konvensional.

Uji konsep bersama ZutaCore menggunakan pendinginan cair langsung dua fase tanpa air pada G4826Z5, dengan menguapkan cairan dielektrik langsung di chip. MiTAC melaporkan dukungan untuk daya desain termal di atas 4.000 W, fluks panas di atas 250 W/cm², dan nilai efektivitas penggunaan daya parsial tahunan sebesar 1,03. Demonstrasi ini ditujukan untuk mengatasi batas termal yang timbul akibat pemusatan akselerator berdaya tinggi di dalam rak padat.

Demonstrasi penyimpanan ini memadukan DDN Infinia dengan tujuh server penyimpanan GC68C-B8056 berukuran 1U dan dirancang untuk memasok aliran data AI secara terus-menerus tanpa hambatan I/O. Hal ini mengatasi kendala yang berbeda dari pendinginan: mengurangi risiko akselerator harus menunggu data alih-alih memproses inferensi dan beban kerja agen.

Perangkat Lunak dan Rak Helion Mendatang

Canonical Ubuntu menyediakan lapisan sistem operasi bersertifikat, Rafay menghadirkan orkestrasi GPU dinamis sebagai layanan untuk beban kerja terdistribusi, dan perangkat lunak MiCoreView dari MiTAC menyediakan telemetri tingkat pod serta visibilitas pusat data terpadu. Bersama Infinia, komponen-komponen ini mencakup sistem operasi, penyediaan data, alokasi GPU, dan pemantauan dalam tumpukan infrastruktur yang sama.

MiTAC juga bekerja sama dengan AMD untuk mengembangkan ORv3 44OU Helion Agentic AI Rack yang akan datang. MiTAC menyatakan bahwa rak ini akan ditingkatkan skalanya hingga 32.768 inti CPU AMD Zen 6 untuk lingkungan hiperskala dan perusahaan.

Dokumentasi Helion AMD menjelaskan rancangan referensi terbuka berskala rak yang dibangun berdasarkan standar Open Compute Project (OCP), dengan konfigurasi hiperskala khusus CPU serta versi perusahaan yang memadukan bilah CPU dan GPU. Versi inferensi berpendingin udara mendukung hingga 16 GPU Instinct MI350P, dan pelanggan dapat memadukan jenis bilah untuk menyesuaikannya dengan beragam beban kerja agen. Konfigurasi perusahaan ini dimaksudkan untuk menggabungkan eksekusi agen dan inferensi dalam satu rak, berbeda dengan Helios, yang dirancang untuk pelatihan skala terdepan dan inferensi skala besar dengan satu domain GPU yang dapat ditingkatkan skalanya.

Implikasi praktisnya, inferensi lokal yang siap diterapkan bergantung pada kerja terpadu antara memori dekode dan jaringan prefill, kapasitas pemrosesan penyimpanan, pendinginan rak, serta orkestrasi. Usulan MiTAC menjadikan keterkaitan tersebut bagian dari perhitungan kapasitas, bersama dengan GPU itu sendiri.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.