D-Matrix Memperkenalkan Klaster Inferensi AI Squadron Multi-Rak

d-Matrix mengumumkan Squadron, armada sistem multi-rak untuk inferensi AI berskala pusat data, pada 12 Oktober 2026. Pendiri sekaligus CEO Sid Sheth memperkenalkan klaster tersebut dalam pidato utama pada hari pembukaan OCP Global Summit di San Jose. Klaster ini dapat diperluas hingga mencakup 16 SquadRacks dan maksimal 1.024 Corsair XPU, dan sistemnya kini dikirimkan kepada pelanggan prioritas.

Squadron dikembangkan melalui kemitraan dengan Arista, Broadcom, dan Supermicro. d-Matrix telah menerapkan sistem ini di pusat datanya di Arizona untuk kegiatan riset dan pengembangan internal, dan klaster tersebut kini dikirimkan kepada pelanggan prioritas untuk dipasang di pusat data mereka sendiri. Komponen dasar Squadron, yaitu server Corsair dan sistem rak berskala SquadRack dari perusahaan tersebut, telah tersedia secara umum. d-Matrix menyebut Squadron mampu menyediakan komputasi inferensi berdaya megawatt dan mengatakan bahwa klaster ini ditujukan bagi laboratorium AI, perusahaan, dan organisasi berdaulat yang menjalankan aplikasi sensitif terhadap latensi, seperti pengodean, agen pribadi, keamanan siber, dan perdagangan frekuensi tinggi.

Sheth menggambarkan peluncuran ini sebagai bagian dari peralihan d-Matrix, dari perusahaan yang berfokus pada chip khusus menjadi bisnis infrastruktur komputasi pusat data. “Kini, pelanggan dapat mengakses infrastruktur inferensi berskala pusat data paling efisien di dunia untuk membangun dan meningkatkan skala aplikasi AI berlatensi sangat rendah,” ujarnya dalam pengumuman perusahaan.

Presiden sekaligus CEO Supermicro, Charles Liang, mengatakan bahwa kolaborasi ini menunjukkan kemampuan Supermicro dalam menghadirkan teknologi AI melalui program Data Center Building Block Solutions. Program ini memungkinkan pelanggan menerapkan infrastruktur inferensi yang efisien dan berkinerja tinggi, mempercepat waktu hingga sistem siap beroperasi, serta mendukung beban kerja AI canggih dan lingkungan komputasi heterogen.

Konfigurasi Rak dan Interkoneksi Berstandar Terbuka

Squadron tersedia dalam beragam konfigurasi yang dapat diperluas hingga mencakup 16 SquadRacks. Setiap SquadRack terdiri atas satu rak berisi delapan server, dan semuanya dapat digabungkan menjadi satu klaster terpadu dengan hingga 1.024 Corsair XPU. Klaster-klaster tersebut saling terhubung menggunakan NIC JetStream dari d-Matrix dan diterapkan dengan perangkat lunak Aviator milik perusahaan. Karena sistemnya menggunakan pendingin udara dan dibangun berdasarkan standar industri, d-Matrix mengatakan pelanggan dapat memasangnya di pusat data yang sudah mereka operasikan tanpa perlu pendingin cair atau pembangunan fasilitas baru. Dengan arsitektur yang sama, pelanggan dapat menerapkan satu server Corsair, satu SquadRack penuh, atau klaster Squadron multi-rak.

Halaman produk berskala rak milik perusahaan mencantumkan empat konfigurasi acuan. Rak Pemula Server Tunggal dilengkapi delapan kartu dengan memori performa 16 GB berkecepatan 1.200 TB/s, memori kapasitas hingga 2 TB, dan konsumsi daya di bawah 10 kW. Rak Pemula Dua Server menggunakan dua server dan 16 kartu dengan memori performa 32 GB, berdaya 10–30 kW, serta mendukung perluasan skala melalui Ethernet menggunakan JetStream. Setengah Rak Multi-Server menggunakan empat server dan 32 kartu dengan memori performa 64 GB, berdaya 30–100 kW. Rak Penuh Siap untuk Perusahaan menggunakan delapan server dan 64 kartu dengan memori performa 128 GB, serta menjalankan model hingga 100 miliar parameter dalam mode performa.

Untuk interkoneksi, d-Matrix menggunakan PCIe guna meningkatkan skala di dalam satu node, serta Ethernet berstandar industri untuk meningkatkan skala di dalam rak dan memperluasnya ke seluruh rak. Perusahaan ini merupakan anggota konsorsium industri UALink dan UEC, yang tengah mengembangkan standar generasi berikutnya untuk peningkatan skala dan perluasan skala.

Latar Belakang SquadRack dan Platform Corsair

Squadron mengembangkan lini produk berskala rak yang pertama kali diperkenalkan d-Matrix sebagai SquadRack pada 14 Oktober 2025, dalam OCP Global Summit sebelumnya, kembali bersama Arista, Broadcom, dan Supermicro. Dalam acara tersebut, d-Matrix menyebut SquadRack sebagai solusi berskala rak pertama di industri yang dirancang khusus untuk inferensi AI, serta mengatakan bahwa solusi ini memberikan rasio biaya-kinerja hingga tiga kali lebih baik, efisiensi energi tiga kali lebih tinggi, dan pembuatan token hingga sepuluh kali lebih cepat dibandingkan akselerator tradisional.

Menurut pengumuman tahun 2025, SquadRack delapan node menjalankan model AI generatif hingga 100 miliar parameter, dengan Ethernet berbasis standar yang memungkinkan perluasan skala hingga ratusan node di beberapa rak. Komponen yang dicantumkan mencakup akselerator inferensi Corsair, akselerator IO JetStream, Platform Server AI X14 dari Supermicro, switch PCIe Broadcom untuk meningkatkan skala di dalam node, switch Ethernet Leaf Arista yang terhubung ke NIC JetStream, serta tumpukan perangkat lunak Aviator.

Platform Corsair yang menjadi inti kedua sistem menggunakan desain berbasis chiplet untuk memperluas SRAM melampaui batas tradisional, terintegrasi dengan infrastruktur berbasis PCIe yang sudah ada, dan mendukung model hingga 100 miliar parameter. Desain 3DIMC d-Matrix menumpuk DRAM langsung di atas cetakan logika, sementara tumpukan perangkat lunak Aviator dirancang bersama perangkat kerasnya, mulai dari kompilator hingga waktu jalan.

Demonstrasi Pemisahan Attention-FFN

Dalam pidato utamanya, Sheth juga mengungkapkan bahwa d-Matrix telah menerapkan pemisahan attention-FFN, atau AFD, menggunakan sistem Squadron yang dipasangkan dengan server GPU. Perusahaan melaporkan bahwa pemindahan komputasi pakar model dan jaringan feed-forward ke rak Corsair menghasilkan 845 token per detik per pengguna, dan konfigurasi heterogen tersebut mencapai throughput total 20.415 token per detik dengan 64 pengguna yang mengakses secara bersamaan. d-Matrix mengatakan bahwa pihaknya adalah yang pertama menunjukkan AFD berjalan pada silikon nyata yang saat ini tersedia.

Sebuah tulisan teknis pendamping yang diterbitkan pada 12 Oktober 2026 menjelaskan konfigurasi pengujian. Beban kerjanya adalah GPT-OSS-20B, model campuran pakar yang pakarnya mencakup 19,12 miliar dari total 20,9 miliar parameter, dengan empat dari 32 pakar aktif—sekitar 3,6 miliar parameter—pada setiap inferensi. Pada presisi empat bit, pakar-pakar tersebut muat di server Corsair dengan delapan kartu dan SRAM 16GB. GPU Nvidia H100 80GB menangani mekanisme atensi, penyematan, cache KV, dan perutean pakar, sedangkan Corsair menjalankan komputasi pakar. Pada ukuran batch 64, dua GPU H100 berbagi delapan akselerator Corsair.

d-Matrix mengatakan SRAM Corsair menyediakan bandwidth memori 150 TB/s, yang menurut perusahaan 45 kali bandwidth HBM3 pada H100 dan sekitar sembilan kali bandwidth 18 TB/s yang ditawarkan HBM4. Perusahaan melaporkan bahwa pemindahan pekerjaan jaringan umpan-maju ke Corsair memangkas waktu per token keluaran dari 2,59 milidetik pada satu H100 saja dengan panjang konteks 1K menjadi 1,28 milidetik, turun sekitar 50 persen.

Tulisan tersebut menjelaskan adanya 24 kali perjalanan bolak-balik antara GPU dan Corsair untuk 24 lapisan model, ditambah satu kali lagi untuk LM head. GPU mengirim vektor status tersembunyi berdimensi 2.880 dan penetapan pakar tujuan melalui tautan JetStream yang menyediakan bandwidth Ethernet 400 Gb/s per klaster. Komunikasi JetStream yang dimulai oleh perangkat memungkinkan GPU menulis langsung ke memori Corsair dan Corsair mengirimkan hasil kembali tanpa keterlibatan CPU host. Setiap kartu Corsair menampung satu serpihan LM head; menurut d-Matrix, pengaturan ini memangkas waktu pemrosesan LM head hingga sepersepuluhnya.

Pada ukuran batch 64, perusahaan mengatakan sistem menyelesaikan satu langkah dekode penuh untuk 64 pengguna dalam 2,46 milidetik pada panjang konteks 129. d-Matrix juga mengatakan Corsair dapat meningkatkan skala konfigurasi dekode spekulatif dan AFD agar mendukung model dengan ratusan miliar parameter, dengan menyebut GLM 5.x dan Kimi K3 sebagai sasaran.

Para peneliti d-Matrix akan mempresentasikan demonstrasi AFD secara langsung di stan OCP perusahaan, C82, pada 14 Oktober 2026 pukul 11.00 dan 14.00 PT, serta pada 15 Oktober 2026 pukul 11.00 PT.