D-Matrix lanserer Squadron-klynger for AI-inferens på tvers av flere rack

d-Matrix kunngjorde Squadron, en serie systemer med flere rack for AI-inferens i datasenterskala, 12. oktober 2026. Grunnlegger og administrerende direktør Sid Sheth presenterte klyngene i hovedinnlegget sitt på åpningsdagen av OCP Global Summit i San Jose. Klyngene kan skaleres opp til 16 SquadRacks og opptil 1 024 Corsair XPU-er, og systemene leveres nå til prioriterte kunder.

Squadron er utviklet i samarbeid med Arista, Broadcom og Supermicro. d-Matrix har allerede satt systemet i drift i selskapets datasenter i Arizona for intern forskning og utvikling, og klyngene leveres til prioriterte kunder for bruk i deres egne datasentre. Byggeklossene i Squadron – selskapets Corsair-servere og SquadRack-systemer på rackskala – er allment tilgjengelige. d-Matrix beskriver Squadron som en løsning som tilbyr inferensdatakraft i megawattklassen, og sier at klyngene er rettet mot AI-laboratorier, bedrifter og suverene organisasjoner som kjører applikasjoner med strenge krav til latenstid, for eksempel koding, personlige agenter, cybersikkerhet og høyfrekvenshandel.

Sheth beskrev lanseringen som et skifte for d-Matrix, fra å være et spesialisert brikkeselskap til å bli en virksomhet innen datainfrastruktur for datakraft. «Kundene har nå tilgang til verdens mest energieffektive infrastruktur for inferens i datasenterskala, som er tilgjengelig for utvikling og oppskalering av AI-applikasjoner med svært lav latenstid», sa han i kunngjøringen fra selskapet.

Supermicros president og administrerende direktør Charles Liang sa at samarbeidet viser Supermicros evne til å levere AI-teknologi gjennom selskapets program Data Center Building Block Solutions. Programmet gjør det mulig for kundene å ta i bruk effektiv inferensinfrastruktur med høy ytelse og raskere overgang til nettdrift for avanserte AI-arbeidsbelastninger og heterogene datamiljøer.

Rackkonfigurasjoner og sammenkobling basert på åpne standarder

Squadron leveres i flere konfigurasjoner som kan skaleres opp til 16 SquadRacks. Hvert SquadRack består av ett rack med åtte servere, og rackene kan samles i én integrert klynge med opptil 1 024 Corsair XPU-er. Klyngene kobles sammen med d-Matrix’ JetStream-NIC-er og leveres med selskapets Aviator-programvare. Siden systemene er luftkjølte og bygget på bransjestandarder, sier d-Matrix at kundene kan installere dem i datasentrene de allerede driver, uten væskekjøling eller nye utbygginger. Kundene kan bruke én Corsair-server, et komplett SquadRack eller en Squadron-klynge med flere rack på den samme arkitekturen.

Selskapets produktside for rackskala viser fire referansekonfigurasjoner. Startstativet med én server har åtte kort med 16 GB ytelsesminne på 1 200 TB/s, opptil 2 TB kapasitetsminne og et strømforbruk på under 10 kW. Startstativet med to servere har 16 kort og 32 GB ytelsesminne, og er beregnet for 10–30 kW med skalering ut via Ethernet gjennom JetStream. Halvracket med flere servere har fire servere og 32 kort med 64 GB ytelsesminne, og er beregnet for 30–100 kW. Det fullstendige, bedriftsklare racket har åtte servere og 64 kort med 128 GB ytelsesminne, og kjører modeller med opptil 100 milliarder parametere i ytelsesmodus.

Til sammenkobling bruker d-Matrix PCIe for å skalere opp innenfor én enkelt node og Ethernet basert på bransjestandarder for å skalere opp innenfor et rack og skalere ut på tvers av rack. Selskapet er medlem av bransjekonsortiene UALink og UEC, som arbeider med neste generasjons standarder for skalering opp og ut.

Bakgrunn om SquadRack og Corsair-plattformen

Squadron viderefører d-Matrix’ produktserie på rackskala, som selskapet først kunngjorde under navnet SquadRack 14. oktober 2025 på den foregående OCP Global Summit, også da sammen med Arista, Broadcom og Supermicro. På arrangementet beskrev d-Matrix SquadRack som bransjens første rackskalerte løsning spesialutviklet for AI-inferens, og sa at den gir opptil tre ganger bedre kostnadsytelse, tre ganger høyere energieffektivitet og opptil ti ganger raskere generering av tokener enn tradisjonelle akseleratorer.

Ifølge kunngjøringen fra 2025 kjører et SquadRack med åtte noder generative AI-modeller med opptil 100 milliarder parametere, med skalering ut til hundrevis av noder på tvers av flere rack via Ethernet basert på standarder. Blant komponentene som er oppført, finner vi Corsair-akseleratorer for inferens, JetStream-akseleratorer for I/O, Supermicros X14 AI Server Platform, Broadcom PCIe-svitsjer for skalering opp innenfor en node, Arista Leaf Ethernet-svitsjer koblet til JetStream-NIC-er og programvarestakken Aviator.

Corsair-plattformen, som er sentral i begge systemene, bruker et brikkebasert design som skal kunne utvide SRAM utover tradisjonelle grenser, integreres i eksisterende PCIe-basert infrastruktur og støtte modeller med opptil 100 milliarder parametere. d-Matrix’ 3DIMC-design stabler DRAM direkte oppå logikkbrikken, og programvarestakken Aviator er utviklet sammen med maskinvaren, fra kompilator til kjøretidsmiljø.

Demonstrasjon av oppdeling mellom attention og FFN

Under hovedinnlegget fortalte Sheth også at d-Matrix har implementert oppdeling mellom attention og FFN, eller AFD, ved hjelp av et Squadron-system sammenkoblet med GPU-servere. Selskapet rapporterte at overføring av modellens eksperter og feed-forward-nettverk til Corsair-rackene ga 845 tokener per sekund per bruker, og at det heterogene oppsettet oppnådde en samlet gjennomstrømning på 20 415 tokener per sekund med 64 samtidige brukere. d-Matrix sa at selskapet er det første som har vist AFD kjørende på ekte silisium som er tilgjengelig nå.

Et tilhørende teknisk innlegg, publisert 12. oktober 2026, beskriver testoppsettet. Arbeidsmengden er GPT-OSS-20B, en blandingsekspertmodell der ekspertene utgjør 19,12 milliarder av totalt 20,9 milliarder parametere, med fire av 32 eksperter aktive – omtrent 3,6 milliarder parametere – per inferens. Med firebits presisjon får disse ekspertene plass på en Corsair-server med åtte kort og 16 GB SRAM. En Nvidia H100-GPU med 80 GB håndterer oppmerksomhet, embedding-er, KV-hurtigbuffer og ruting av eksperter, mens Corsair utfører ekspertberegningene. Ved en batchstørrelse på 64 deler to H100-GPU-er åtte Corsair-akseleratorer.

d-Matrix opplyste at Corsairs SRAM har en minnebåndbredde på 150 TB/s, som selskapet beskriver som 45 ganger HBM3-båndbredden på en H100 og omtrent ni ganger de 18 TB/s som HBM4 tilbyr. Selskapet rapporterte at flytting av feedforward-beregningene til Corsair reduserte tiden per utdata-token fra 2,59 millisekunder på en enkelt H100 med en kontekstlengde på 1K til 1,28 millisekunder, en reduksjon på omtrent 50 prosent.

Innlegget beskriver 24 tur-retur-overføringer mellom GPU-en og Corsair for modellens 24 lag, pluss én til for LM-hodet. GPU-en sender en vektor for skjult tilstand med 2 880 dimensjoner og tildelinger til målekspertene over JetStream-koblinger, som gir en Ethernet-båndbredde på 400 Gb/s per klynge. JetStreams enhetsinitierte kommunikasjon gjør at GPU-en kan skrive direkte til Corsairs minne, og at Corsair kan skrive resultater tilbake uten at verts-CPU-en er involvert. Hvert Corsair-kort inneholder én del av LM-hodet, en løsning som d-Matrix opplyste reduserte behandlingstiden for LM-hodet med en faktor på ti.

Ved en batchstørrelse på 64 opplyste selskapet at systemet fullfører et dekodingstrinn for alle 64 brukerne på 2,46 millisekunder ved en kontekstlengde på 129. d-Matrix opplyste også at Corsair kan skaleres til spekulativ dekoding og AFD-konfigurasjoner for modeller med flere hundre milliarder parametere, og nevnte GLM 5.x og Kimi K3 som aktuelle mål.

d-Matrix-forskere vil demonstrere AFD live på selskapets OCP-stand C82 14. oktober 2026 kl. 11.00 og 14.00 PT, og 15. oktober 2026 kl. 11.00 PT.