Kemitraan

SambaNova Memadukan GPU Intel dengan SN50 untuk Inferensi AI Berpendingin Udara

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaSambaNova memisahkan inferensi sehingga GPU Intel menangani prefill sementara RDU-nya…
Lihat selengkapnya
  • SambaNova memisahkan inferensi sehingga GPU Intel menangani prefill sementara RDU-nya menangani decode yang terikat memori.
  • Ethernet standar dan perangkat lunak penyajian terbuka menghubungkan kedua kumpulan akselerator tanpa interkoneksi proprietary.
  • Desain berpendingin udara ini menyasar pusat data brownfield tempat retrofit pendingin cair tidak praktis.

SambaNova Systems mengumumkan pada 15 November 2026 bahwa perusahaan itu dan Intel telah mendemonstrasikan sistem inferensi AI berpendingin udara di SuperComputing 2026, dengan menjalankan GLM-5.3 pada empat akselerator Intel GPU D-Series untuk memproses prompt dan SambaRack SN50 untuk menghasilkan token.

Sistem ini membagi inferensi menjadi tahap pengisian awal (prefill), yang memproses prompt masuk dan membangun cache key-value (KV), serta tahap dekode (decode), yang menghasilkan token keluaran. Perangkat keras Intel menangani pengisian awal yang intensif komputasi, sedangkan Unit Aliran Data yang Dapat Dikonfigurasi Ulang (RDU) generasi kelima SambaNova menangani dekode yang dibatasi oleh kapasitas memori. SambaNova menyajikan sistem yang direkam itu sebagai rancangan yang nantinya dapat diterapkan pelanggan di pusat data yang sudah ada dan beroperasi.

Perangkat Keras Berbeda untuk Setiap Tahap Inferensi

Demonstrasi ini jauh lebih kecil daripada konfigurasi acuan Intel. SambaNova menjelaskan bahwa rak acuan D-Series dengan 80 GPU menghasilkan komputasi FP4 puncak sebesar 208 petaflop, dengan kapasitas memori 12 TB hingga 38 TB, bergantung pada konfigurasinya. Angka-angka tersebut menggambarkan rancangan pengisian awal yang lebih besar; angka itu bukan hasil pengukuran kinerja dari konfigurasi SuperComputing.

Dalam spesifikasi produk D270, Intel mencantumkan GPU berpendingin udara 350 W dengan 32 inti Xe3P, 256 mesin matriks XMX, PCIe 5.0 standar, serta memori LPDDR5X hingga 480 GB per kartu. Bentuk standar ini dirancang agar dapat digunakan di server yang sudah ada tanpa jaringan eksklusif atau sistem khusus.

Setiap SambaRack SN50 memuat 16 RDU dan biasanya membutuhkan daya 20 kW untuk inferensi. Hingga 16 rak dapat beroperasi sebagai satu unit dengan maksimal 256 RDU, sehingga beban kerja tersebar di antara rak-rak berdaya lebih rendah. SambaNova menyatakan bahwa arsitektur aliran datanya merangkai operasi model di beberapa chip, alih-alih mengembalikan data ke memori di antara kernel GPU yang terpisah. Cara ini mengurangi lalu lintas memori dan beban akibat peluncuran ulang kernel selama pembuatan token.

Perangkat Lunak Terbuka Menghubungkan Kelompok Perangkat Keras

NVIDIA Dynamo berada di depan kedua kelompok akselerator dan dirancang untuk mengarahkan setiap permintaan ke perangkat keras yang sudah menyimpan konteksnya dalam cache. vLLM melayani jalur pengisian awal Intel sekaligus jalur dekode SN50, sementara NIXL mentransfer data cache KV melalui UCX/RDMA dengan menggunakan Ethernet RoCEv2 standar. Karena itu, serah terima dapat memanfaatkan jaringan Ethernet yang sudah mapan, bukan interkoneksi eksklusif antara kedua jenis perangkat keras tersebut.

SN50 menyimpan awalan KV dari prompt sebelumnya di memori DDR yang terpasang, sementara SRAM di dalam chip dan HBM mendukung proses dekode yang sedang berlangsung. Saat agen kembali ke percakapan atau konteks bersama, perutean yang mempertimbangkan cache dapat mengirim permintaan ke SN50 yang menyimpan awalan tersebut. Dengan demikian, hanya materi baru yang melewati proses pengisian awal GPU dan lebih sedikit data status KV yang melintasi jaringan. SambaNova menyatakan bahwa cache hit ini mempersingkat waktu hingga token pertama muncul dan membebaskan kapasitas GPU untuk permintaan baru. Unggahan tersebut menjelaskan manfaat itu tanpa melaporkan hasil pengukuran latensi atau throughput untuk demonstrasi gabungan ini.

Penskalaan di Lokasi yang Sudah Ada dan Berpendingin Udara

Pemisahan ini juga memungkinkan penyedia memperluas kapasitas setiap tahap secara terpisah. Prompt yang lebih panjang mungkin membutuhkan kapasitas pengisian awal D-Series yang lebih besar, sementara agen yang menghasilkan keluaran lebih panjang mungkin memerlukan kapasitas dekode SN50 tambahan, tanpa harus memperbesar kelompok lainnya secara sebanding.

Fleksibilitas ini ditujukan bagi operator yang fasilitasnya sulit menampung sistem berpendingin cairan. Intel menyatakan bahwa bentuk PCIe standar dan profil berpendingin udara 350 W pada D270 dirancang untuk digunakan di rak yang sudah ada tanpa perlu memasang sistem pendingin cairan khusus. Dipadukan dengan profil daya SN50 di tingkat rak, rancangan ini dimaksudkan untuk menambah kapasitas inferensi di lingkungan yang sudah menggunakan pendingin udara.

Arti penting demonstrasi ini terletak pada integrasinya: dua arsitektur akselerator, yang terhubung melalui perangkat lunak penyajian model yang umum digunakan dan Ethernet standar, dapat dialokasikan untuk tahap inferensi yang berbeda serta diskalakan sesuai beban kerja. Bagi penyedia yang menghadapi batasan daya dan pendinginan tetap, pertanyaan yang tersisa adalah apakah beban kerja produksi benar-benar memperoleh manfaat caching dan pemanfaatan seperti yang dijelaskan dalam tingkat yang cukup untuk membenarkan pengoperasian kedua kelompok tersebut.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.