D-Matrix onthult Squadron-clusters voor AI-inferentie met meerdere racks

d-Matrix kondigde Squadron aan, een reeks systemen met meerdere racks voor AI-inferentie op datacenterschaal. Dat gebeurde op 12 oktober 2026, toen oprichter en CEO Sid Sheth de clusters presenteerde tijdens zijn keynote op de openingsdag van de OCP Global Summit in San Jose. De clusters zijn schaalbaar tot 16 SquadRacks en maximaal 1.024 Corsair XPU’s. De systemen worden geleverd aan geselecteerde klanten.

Squadron is ontwikkeld in samenwerking met Arista, Broadcom en Supermicro. d-Matrix heeft het systeem al ingezet in zijn datacenter in Arizona voor intern onderzoek en ontwikkeling. De clusters worden geleverd aan geselecteerde klanten, die ze in hun eigen datacenters kunnen implementeren. De bouwstenen van Squadron, de Corsair-servers en SquadRack-racksystemen van het bedrijf, zijn algemeen verkrijgbaar. Volgens d-Matrix biedt Squadron inferentierekenkracht op megawattschaal. Het bedrijf zei dat de clusters bedoeld zijn voor AI-labs, ondernemingen en soevereine organisaties die latencygevoelige toepassingen uitvoeren, zoals programmeren, persoonlijke agents, cyberbeveiliging en hoogfrequente handel.

Sheth schetste de lancering als een volgende stap in de ontwikkeling van d-Matrix: van een gespecialiseerd chipbedrijf naar een onderneming die rekeninfrastructuur voor datacenters levert. “Klanten hebben nu toegang tot de efficiëntste inferentie-infrastructuur op datacenterschaal ter wereld, om hun AI-toepassingen met ultralage latentie te bouwen en op te schalen”, zei hij in de aankondiging van het bedrijf.

Charles Liang, president en CEO van Supermicro, zei dat de samenwerking laat zien hoe Supermicro met zijn programma Data Center Building Block Solutions AI-technologieën kan leveren. Zo kunnen klanten efficiënte, hoogwaardige inferentie-infrastructuur inzetten en de tijd tot ingebruikname verkorten voor geavanceerde AI-workloads en heterogene rekenomgevingen.

Rackconfiguraties en interconnect op basis van open standaarden

Squadron is verkrijgbaar in verschillende configuraties, schaalbaar tot 16 SquadRacks. Elk daarvan bestaat uit één rack met acht servers; samen vormen ze één geïntegreerd cluster met maximaal 1.024 Corsair XPU’s. De clusters zijn onderling verbonden met JetStream-NIC’s van d-Matrix en worden geleverd met de Aviator-software van het bedrijf. Omdat de systemen luchtgekoeld zijn en op industriestandaarden zijn gebaseerd, kunnen klanten ze volgens d-Matrix installeren in datacenters die ze al gebruiken, zonder vloeistofkoeling of nieuwbouw. Klanten kunnen dezelfde architectuur gebruiken voor één Corsair-server, een volledig SquadRack of een Squadron-cluster met meerdere racks.

Op de productpagina voor racksystemen van het bedrijf staan vier referentieconfiguraties. Het starterrack met één server bevat acht kaarten met 16 GB prestatiegeheugen met een snelheid van 1.200 TB/s, maximaal 2 TB capaciteitsgeheugen en een stroomverbruik van minder dan 10 kW. Het starterrack met twee servers bevat twee servers en 16 kaarten met 32 GB prestatiegeheugen. Het heeft een vermogen van 10–30 kW en kan via JetStream met Ethernet worden uitgebreid. Het halfrack met meerdere servers bevat vier servers en 32 kaarten met 64 GB prestatiegeheugen en heeft een vermogen van 30–100 kW. Het volledige rack voor ondernemingen bevat acht servers en 64 kaarten met 128 GB prestatiegeheugen en kan in prestatiemodus modellen met maximaal 100 miljard parameters uitvoeren.

Voor de interconnect gebruikt d-Matrix PCIe om binnen één node op te schalen, en Ethernet volgens industriestandaarden om binnen een rack op te schalen en over meerdere racks uit te breiden. Het bedrijf is lid van de industriële consortia UALink en UEC, die werken aan standaarden voor de volgende generatie schaalvergroting en uitbreiding.

Achtergrond van SquadRack en het Corsair-platform

Squadron breidt de rackproductlijn uit die d-Matrix op 14 oktober 2025 tijdens de vorige OCP Global Summit voor het eerst aankondigde onder de naam SquadRack, opnieuw samen met Arista, Broadcom en Supermicro. Tijdens dat evenement omschreef d-Matrix SquadRack als de eerste rackoplossing in de sector die speciaal voor AI-inferentie was ontwikkeld. Volgens het bedrijf biedt de oplossing tot drie keer betere prijs-prestatieverhoudingen, drie keer zo hoge energie-efficiëntie en tot tien keer snellere tokengeneratie dan traditionele accelerators.

Volgens de aankondiging uit 2025 kan een SquadRack met acht nodes generatieve AI-modellen met maximaal 100 miljard parameters uitvoeren. Ethernet op basis van standaarden kan worden opgeschaald naar honderden nodes verspreid over meerdere racks. De genoemde onderdelen zijn Corsair-inferentieaccelerators, JetStream IO-accelerators, het X14 AI Server Platform van Supermicro, Broadcom PCIe-switches voor opschaling binnen een node, Arista Leaf Ethernet-switches die zijn verbonden met JetStream-NIC’s, en de Aviator-softwarestack.

Het Corsair-platform, de kern van beide systemen, heeft een chipletontwerp waarmee SRAM verder kan worden opgeschaald dan met traditionele beperkingen mogelijk is. Het platform kan worden geïntegreerd in bestaande infrastructuur op basis van PCIe en ondersteunt modellen met maximaal 100 miljard parameters. In het 3DIMC-ontwerp van d-Matrix wordt DRAM rechtstreeks boven op de logische chip gestapeld. De Aviator-softwarestack is samen met de hardware ontworpen, van compiler tot runtime.

Demonstratie van disaggregatie van attention en FFN

Sheth maakte tijdens de keynote ook bekend dat d-Matrix disaggregatie van attention en FFN (feed-forward network), ofwel AFD, heeft geïmplementeerd met een Squadron-systeem in combinatie met GPU-servers. Volgens het bedrijf leverde het uitbesteden van de experts en het feed-forward network van het model aan Corsair-racks 845 tokens per seconde per gebruiker op. De heterogene opstelling haalde in totaal een doorvoer van 20.415 tokens per seconde met 64 gelijktijdige gebruikers. d-Matrix zei dat het bedrijf als eerste heeft laten zien dat AFD draait op siliciumhardware die momenteel verkrijgbaar is.

Een bijbehorende technische blogpost, gepubliceerd op 12 oktober 2026, beschrijft de testopstelling. De workload is GPT-OSS-20B, een mixture-of-expertsmodel waarvan de experts 19,12 miljard van de in totaal 20,9 miljard parameters vertegenwoordigen. Bij elke inferentie zijn vier van de 32 experts actief, goed voor ongeveer 3,6 miljard parameters. Bij een precisie van vier bits passen die experts op een Corsair-server met acht kaarten en 16 GB SRAM. Een Nvidia H100-GPU met 80 GB verzorgt de attention, embeddings, KV-cache en routering naar experts, terwijl Corsair de berekeningen van de experts uitvoert. Bij een batchgrootte van 64 delen twee H100-GPU’s acht Corsair-versnellers.

Volgens d-Matrix levert de SRAM van Corsair een geheugenbandbreedte van 150 TB/s. Het bedrijf omschrijft dat als 45 keer de HBM3-bandbreedte van een H100 en ongeveer negen keer de 18 TB/s van HBM4. Volgens het bedrijf daalde de tijd per outputtoken door het feedforwardwerk naar Corsair te verplaatsen van 2,59 milliseconden op één H100 bij een contextlengte van 1K naar 1,28 milliseconden, een afname van ongeveer 50 procent.

In de post worden 24 retourcommunicaties tussen de GPU en Corsair beschreven voor de 24 lagen van het model, plus nog één voor de LM-head. De GPU stuurt daarbij een hidden-statevector met 2.880 dimensies en toewijzingen aan de dolexperts via JetStream-verbindingen, die per cluster een Ethernet-bandbreedte van 400 Gb/s bieden. Dankzij de door apparaten geïnitieerde communicatie van JetStream kan de GPU rechtstreeks naar het Corsair-geheugen schrijven en kan Corsair resultaten terugschrijven zonder tussenkomst van de host-CPU. Elke Corsair-kaart bevat één shard van de LM-head. Volgens d-Matrix zorgde deze opzet ervoor dat de verwerkingstijd van de LM-head met een factor tien daalde.

Volgens het bedrijf voert het systeem bij een batchgrootte van 64 een volledige decodeerstap voor 64 gebruikers uit in 2,46 milliseconden bij een contextlengte van 129. d-Matrix zei ook dat Corsair configuraties voor speculatief decoderen en AFD kan opschalen naar modellen met honderden miljarden parameters. Het noemde GLM 5.x en Kimi K3 als doelmodellen.

Onderzoekers van d-Matrix geven op 14 oktober 2026 om 11.00 en 14.00 uur PT een livepresentatie van de AFD-demonstratie bij stand C82 van het bedrijf op OCP. Ook op 15 oktober 2026 om 11.00 uur PT geven ze daar een livepresentatie.