Supermicro Akan Membangun dan Menjual Sistem Inferensi AI yang Didukung SambaNova

SambaNova dan Supermicro mengumumkan pada 3 November 2026 bahwa Supermicro akan membangun, menjual, dan mendukung sistem inferensi AI yang membagi pemrosesan antara GPU NVIDIA dan Unit Aliran Data yang Dapat Dikonfigurasi Ulang SN50 dari SambaNova. Kolaborasi ini pada tahap awal direncanakan mencakup 10.000 chip SN50.

Sistem tersebut akan menjadi bagian dari portofolio Data Center Building Block Solutions milik Supermicro. Supermicro akan mengintegrasikan, menguji, mengirimkan, dan mendukungnya, termasuk dengan layanan di lokasi, sementara para insinyur SambaNova akan menjalankan dan menyetel model pada SN50 serta membantu penerapan bagi pelanggan. Dengan demikian, kerja sama ini memadukan jalur manufaktur dan layanan server dengan rekayasa model yang diperlukan untuk penerapan akselerator heterogen.

Mengapa Inferensi Dibagi antara GPU dan RDU

Arsitektur ini membagi inferensi menjadi dua fase. Pada fase prefill, GPU NVIDIA memproses prompt yang masuk, sebuah tugas yang dibatasi oleh komputasi. RDU SN50 menangani fase dekode, yang menghasilkan respons satu token demi satu token dan dibatasi oleh memori. SambaNova menyatakan bahwa penempatan setiap fase pada perangkat keras yang sesuai menghasilkan inferensi yang lebih cepat dan efisien dibandingkan jika hanya menggunakan salah satu jenis perangkat keras.

Pengumuman yang menyertai SambaNova menjadikan AI agenik sebagai kasus penggunaan utama: agen dapat melakukan ribuan panggilan ke model bahasa besar, setiap panggilan dapat memakan waktu beberapa menit, dan beban kerja agenik menghabiskan sebagian besar waktunya dalam fase dekode. Karena itu, pembuatan token menjadi bagian penting yang menentukan tindakan agen berikutnya. Oleh sebab itu, kedua perusahaan memperlakukan dekode sebagai masalah infrastruktur tersendiri. RDU tambahan dirancang untuk mempercepat respons, sementara GPU tetap menangani pemrosesan prompt.

Menilik Desain SN50

SN50 adalah RDU generasi kelima SambaNova. Lembar data resminya mencantumkan proses TSMC 5 nanometer, SRAM 432 MB pada chip, dan HBM2E 64 GB, dengan DDR5 sebagai tingkat memori ketiga. Chip ini menggunakan Reconfigurable Dataflow Architecture milik SambaNova dan dirancang untuk fase dekode yang dibatasi oleh memori, bukan untuk beban kerja akselerator umum.

Dokumentasi produk SambaNova menyebut desain ini mampu mempercepat inferensi, meningkatkan throughput, dan mengoptimalkan efisiensi energi. Operasi dirangkai menjadi aliran data berkelanjutan sehingga transfer memori berulang dan beban untuk menjalankan ulang pekerjaan pada setiap tahap dapat dikurangi. Setiap tingkat memori juga memiliki fungsi tersendiri: SRAM menyimpan data lokal yang sering diakses dekat dengan unit komputasi, HBM2E menyimpan bobot model aktif dan cache KV yang sering diakses, sedangkan DDR5 menampung cache prompt, kumpulan model yang lebih besar, dan cache KV yang jarang diakses.

SambaNova menyatakan bahwa SN50 dapat diskalakan hingga 256 RDU di beberapa rak dan dirancang untuk agen interaktif, asisten pemrograman, serta beban kerja inferensi multi-tahap lainnya, termasuk aplikasi yang beralih di antara beberapa model. Desain multi-rak ini selaras dengan rencana kolaborasi pada tingkat rak: Supermicro akan mengintegrasikan RDU dan GPU ke dalam sistem yang akan divalidasi dan didukungnya.

Penerapan melalui Mitra dan Batasan Pusat Data

Pelanggan dapat membeli RDU SN50 bersama GPU melalui Supermicro, menggunakan jalur yang sama dengan yang mereka pakai untuk infrastruktur AI lainnya. Penerapan akan dimulai di NeoClouds dan cloud berdaulat sebelum diperluas ke perusahaan yang menjalankan AI di pusat data mereka sendiri. Pendekatan bertahap ini dimulai dari operator cloud, lalu menghadirkan arsitektur gabungan GPU-RDU yang sama ke fasilitas perusahaan.

Daya dan pendinginan menjadi pertimbangan utama dalam penerapan ini. Kedua perusahaan menyatakan bahwa SN50 dapat melayani model besar dengan kecepatan dan throughput tinggi tanpa kepadatan daya rak yang ekstrem, sehingga sistem ini lebih mudah diterapkan di pusat data yang sudah ada. Profil daya tersebut mendukung rencana retrofit kolaborasi ini: RDU dimaksudkan untuk menambah kapasitas di fasilitas yang sudah dioperasikan oleh para operator.

Kedua perusahaan juga menyatakan bahwa penambahan RDU untuk dekode dapat meningkatkan kapasitas inferensi tanpa harus menunggu pembangunan fasilitas baru yang terkendala daya dan pendinginan, sekaligus memperpanjang masa pakai GPU yang telah terpasang. Dengan demikian, proposal ini mengaitkan penambahan kapasitas dengan fasilitas dan GPU yang sudah dimiliki para operator.

SambaNova dan Supermicro memperkirakan kolaborasi ini akan memungkinkan kapasitas inferensi berkinerja tinggi yang jauh lebih besar pada 2027 daripada yang mungkin dicapai tanpa kolaborasi tersebut. Arti penting rencana ini terletak pada perpaduan perangkat keras khusus dekode dengan jalur penerapan Supermicro. Bagi operator yang menghadapi keterbatasan daya dan pendinginan, pertanyaan yang belum terjawab adalah apakah pemasangan RDU yang direncanakan dapat menambah kapasitas inferensi yang bermanfaat di fasilitas yang sudah ada, dalam skala seperti yang diproyeksikan kedua perusahaan.