D-Matrix lancerer Squadron-inferensklustre til AI på tværs af flere racks

d-Matrix annoncerede Squadron den 12. oktober 2026: en flåde af systemer med flere racks til AI-inferens i datacenterskala. Grundlægger og CEO Sid Sheth præsenterede klyngerne i sin keynote på åbningsdagen ved OCP Global Summit i San Jose. Klyngerne kan skaleres op til 16 SquadRacks og op til 1.024 Corsair-XPU’er, og systemerne er på vej ud til prioriterede kunder.

Squadron blev udviklet i samarbejde med Arista, Broadcom og Supermicro. d-Matrix har allerede installeret systemet i virksomhedens datacenter i Arizona til intern forskning og udvikling, og klyngerne sendes til prioriterede kunder, som skal installere dem i deres egne datacentre. Squadrons byggesten – virksomhedens Corsair-servere og SquadRack-systemer i rackskala – er generelt tilgængelige. d-Matrix beskriver Squadron som en løsning, der leverer inferensberegningskapacitet på megawattniveau, og oplyser, at klyngerne er målrettet AI-laboratorier, virksomheder og suveræne organisationer, der driver latensfølsomme applikationer som kodning, personlige agenter, cybersikkerhed og højfrekvenshandel.

Sheth beskrev lanceringen som d-Matrix’ udvikling fra en specialiseret chipvirksomhed til en virksomhed inden for datacenterinfrastruktur til beregning. »Kunderne har nu adgang til verdens mest energieffektive inferensinfrastruktur i datacenterskala, som er tilgængelig til udvikling og opskalering af deres AI-applikationer med ultralav latenstid,« sagde han i virksomhedens meddelelse.

Supermicros præsident og CEO Charles Liang sagde, at samarbejdet viser Supermicros evne til at levere AI-teknologier gennem virksomhedens program Data Center Building Block Solutions. Programmet gør det muligt for kunder at implementere effektiv inferensinfrastruktur med høj ydeevne og hurtigere idriftsættelse til avancerede AI-arbejdsbelastninger og heterogene computermiljøer.

Rackkonfigurationer og sammenkobling baseret på åbne standarder

Squadron fås i en række konfigurationer, der kan skaleres op til 16 SquadRacks, som hver består af ét rack med otte servere, samlet i én integreret klynge med op til 1.024 Corsair-XPU’er. Klyngerne forbindes med d-Matrix’ JetStream-NIC’er og leveres med virksomhedens Aviator-software. Da systemerne er luftkølede og bygget på industristandarder, oplyser d-Matrix, at kunderne kan installere dem i datacentre, de allerede driver, uden væskekøling eller nybyggeri. Kunderne kan implementere en enkelt Corsair-server, et komplet SquadRack eller en Squadron-klynge med flere racks på den samme arkitektur.

Virksomhedens produktside for løsninger i rackskala viser fire referencekonfigurationer. Single-Server Starter Rack har otte kort med 16 GB ydelseshukommelse ved 1.200 TB/s, op til 2 TB kapacitetshukommelse og et strømforbrug på under 10 kW. Dual-Server Starter Rack bruger to servere og 16 kort med 32 GB ydelseshukommelse og er klassificeret til 10–30 kW med skalering ud via Ethernet gennem JetStream. Multi-Server Half-Rack bruger fire servere og 32 kort med 64 GB ydelseshukommelse og er klassificeret til 30–100 kW. Enterprise-Ready Full Rack bruger otte servere og 64 kort med 128 GB ydelseshukommelse og kan køre modeller med op til 100 milliarder parametre i ydelsestilstand.

Til sammenkobling bruger d-Matrix PCIe til at skalere op inden for en enkelt node og Ethernet baseret på industristandarder til at skalere op inden for et rack og skalere ud på tværs af racks. Virksomheden er medlem af industrikonsortierne UALink og UEC, som arbejder på næste generations standarder for skalering op og ud.

Baggrund om SquadRack og Corsair-platformen

Squadron videreudvikler d-Matrix’ produktlinje i rackskala, som virksomheden først annoncerede under navnet SquadRack den 14. oktober 2025 ved det foregående OCP Global Summit, også dengang sammen med Arista, Broadcom og Supermicro. Ved arrangementet beskrev d-Matrix SquadRack som branchens første rackskala-løsning, der er specialudviklet til AI-inferens, og oplyste, at den leverer op til tre gange bedre forhold mellem pris og ydeevne, tre gange højere energieffektivitet og op til ti gange hurtigere generering af tokens end traditionelle acceleratorer.

Ifølge meddelelsen fra 2025 kan et SquadRack med otte noder køre generative AI-modeller med op til 100 milliarder parametre, og Ethernet baseret på standarder gør det muligt at skalere ud til hundredvis af noder på tværs af flere racks. De anførte komponenter omfatter Corsair-inferensacceleratorer, JetStream-IO-acceleratorer, Supermicros X14 AI Server Platform, Broadcom-PCIe-switche til skalering op inden for en node, Arista Leaf-Ethernet-switche forbundet til JetStream-NIC’er samt softwarestakken Aviator.

Corsair-platformen, der er central i begge systemer, bygger på et chipletdesign, som skal kunne skalere SRAM ud over traditionelle begrænsninger, integreres i eksisterende PCIe-baseret infrastruktur og understøtte modeller med op til 100 milliarder parametre. d-Matrix’ 3DIMC-design placerer DRAM direkte oven på logikmatricen, og softwarestakken Aviator er udviklet i fællesskab med hardwaren, fra compileren til runtime-miljøet.

Demonstration af opdeling mellem attention og FFN

Under keynoten oplyste Sheth også, at d-Matrix har implementeret opdeling af attention og FFN, eller AFD, ved hjælp af et Squadron-system koblet sammen med GPU-servere. Virksomheden rapporterede, at overførsel af modellens eksperter og feedforward-netværk til Corsair-racks gav 845 tokens i sekundet pr. bruger, og at den heterogene opsætning nåede en samlet gennemstrømning på 20.415 tokens i sekundet med 64 samtidige brugere. d-Matrix sagde, at virksomheden er den første til at demonstrere AFD på fysisk silicium, der er tilgængeligt nu.

Et tilhørende teknisk indlæg, offentliggjort den 12. oktober 2026, beskriver testopsætningen. Arbejdsbelastningen er GPT-OSS-20B, en mixture-of-experts-model, hvor eksperterne står for 19,12 milliarder af modellens i alt 20,9 milliarder parametre, og hvor fire af 32 eksperter er aktive – svarende til cirka 3,6 milliarder parametre – ved hver inferens. Ved fire bit passer eksperterne på en Corsair-server med otte kort og 16 GB SRAM. En Nvidia H100-GPU med 80 GB håndterer attention, embeddings, KV-cache og ekspertrouting, mens Corsair udfører ekspertberegningerne. Ved en batchstørrelse på 64 deles otte Corsair-acceleratorer mellem to H100-GPU’er.

d-Matrix oplyste, at Corsairs SRAM leverer en hukommelsesbåndbredde på 150 TB/s, hvilket ifølge virksomheden er 45 gange HBM3-båndbredden på en H100 og cirka ni gange de 18 TB/s, som HBM4 tilbyder. Virksomheden rapporterede, at flytningen af feedforward-beregningerne til Corsair reducerede tiden pr. outputtoken fra 2,59 millisekunder på en enkelt H100 ved en kontekstlængde på 1K til 1,28 millisekunder – en reduktion på cirka 50 procent.

Indlægget beskriver 24 ture frem og tilbage mellem GPU’en og Corsair for modellens 24 lag plus endnu en tur for LM-headet. GPU’en sender en skjult tilstandsvektor med 2.880 dimensioner og information om, hvilke eksperter der skal bruges, via JetStream-forbindelser, der leverer 400 Gb/s Ethernet-båndbredde pr. klynge. JetStreams enhedsinitierede kommunikation gør det muligt for GPU’en at skrive direkte til Corsairs hukommelse og for Corsair at skrive resultaterne tilbage uden involvering af værts-CPU’en. Hvert Corsair-kort indeholder en shard af LM-headet, en løsning, som ifølge d-Matrix reducerede LM-headets behandlingstid med en faktor ti.

Ved en batchstørrelse på 64 gennemfører systemet ifølge virksomheden et fuldt afkodningstrin for 64 brugere på 2,46 millisekunder ved en kontekstlængde på 129. d-Matrix oplyste også, at Corsair kan skaleres til spekulativ afkodning og AFD-konfigurationer med modeller på flere hundrede milliarder parametre, og nævnte GLM 5.x og Kimi K3 som mål.

d-Matrix-forskere vil demonstrere AFD live på virksomhedens OCP-stand C82 den 14. oktober 2026 kl. 11 og 14 PT samt den 15. oktober 2026 kl. 11 PT.