D-Matrix presenterar Squadron-kluster för AI-inferens med flera rack

d-Matrix presenterade Squadron, en serie system med flera rack för AI-inferens i datacenterskala, den 12 oktober 2026. Grundaren och vd:n Sid Sheth presenterade klustren under sitt huvudanförande på öppningsdagen av OCP Global Summit i San Jose. Klustren kan skalas upp till 16 SquadRacks och upp till 1 024 Corsair-XPU:er, och systemen levereras till prioriterade kunder.

Squadron utvecklades i samarbete med Arista, Broadcom och Supermicro. d-Matrix har redan installerat systemet i sitt datacenter i Arizona för intern forskning och utveckling, och klustren levereras till prioriterade kunder för installation i deras egna datacenter. Grundkomponenterna i Squadron – företagets Corsair-servrar och SquadRack-system i rackskala – är allmänt tillgängliga. d-Matrix beskriver Squadron som en lösning som erbjuder inferensberäkningskapacitet på megawattnivå och uppger att klustren riktar sig till AI-laboratorier, företag och suveräna organisationer som kör latenskänsliga applikationer, till exempel kodning, personliga agenter, cybersäkerhet och högfrekvenshandel.

Sheth beskrev lanseringen som ett led i d-Matrix utveckling från ett specialiserat chipföretag till ett företag inom datacenterinfrastruktur för beräkningar. ”Kunderna har nu tillgång till världens mest energieffektiva inferensinfrastruktur i datacenterskala som finns tillgänglig för att bygga och skala upp sina AI-applikationer med extremt låg latens”, sade han i företagets tillkännagivande.

Supermicros vd och koncernchef Charles Liang sade att samarbetet visar Supermicros förmåga att leverera AI-teknik genom programmet Data Center Building Block Solutions. Det gör det möjligt för kunder att driftsätta energieffektiv inferensinfrastruktur med hög prestanda och kortare tid till driftsättning för avancerade AI-arbetsbelastningar och heterogena datormiljöer.

Rackkonfigurationer och sammankoppling enligt öppna standarder

Squadron finns i flera konfigurationer som kan skalas upp till 16 SquadRacks. Varje SquadRack är ett rack med åtta servrar, och de kan kombineras till ett integrerat kluster med upp till 1 024 Corsair-XPU:er. Klustren kopplas samman med d-Matrix JetStream-NIC:ar och driftsätts med företagets Aviator-programvara. Eftersom systemen är luftkylda och bygger på branschstandarder uppger d-Matrix att kunder kan installera dem i datacenter som de redan driver, utan vätskekylning eller nybyggnation. Kunder kan driftsätta en enda Corsair-server, ett helt SquadRack eller ett Squadron-kluster med flera rack på samma arkitektur.

På företagets produktsida för rackskala listas fyra referenskonfigurationer. Start-racket med en server har åtta kort med 16 GB prestandaminne med en hastighet på 1 200 TB/s, upp till 2 TB kapacitetsminne och en effektförbrukning under 10 kW. Start-racket med två servrar har två servrar och 16 kort med 32 GB prestandaminne. Det är dimensionerat för 10–30 kW och kan skalas ut via Ethernet med JetStream. Halvracket med flera servrar har fyra servrar och 32 kort med 64 GB prestandaminne och är dimensionerat för 30–100 kW. Det fullstora racket för företag har åtta servrar och 64 kort med 128 GB prestandaminne och kan köra modeller med upp till 100 miljarder parametrar i prestandaläge.

För sammankoppling använder d-Matrix PCIe för att skala upp inom en enskild nod och Ethernet enligt branschstandard för att skala upp inom ett rack och skala ut mellan rack. Företaget är medlem i branschkonsortierna UALink och UEC, som arbetar med nästa generations standarder för skalning uppåt och utåt.

Bakgrund om SquadRack och Corsair-plattformen

Squadron bygger vidare på rackskaleserien som d-Matrix först presenterade som SquadRack den 14 oktober 2025 på föregående OCP Global Summit, även då tillsammans med Arista, Broadcom och Supermicro. Vid det evenemanget beskrev d-Matrix SquadRack som branschens första rackskalelösning som är specialbyggd för AI-inferens och uppgav att den ger upp till tre gånger bättre kostnadsprestanda, tre gånger högre energieffektivitet och upp till tio gånger snabbare tokengenerering än traditionella acceleratorer.

Enligt tillkännagivandet från 2025 kan ett SquadRack med åtta noder köra generativa AI-modeller med upp till 100 miljarder parametrar, med skalning ut till hundratals noder över flera rack via Ethernet enligt standard. Bland de angivna komponenterna finns Corsair-inferensacceleratorer, JetStream IO-acceleratorer, Supermicros X14 AI Server Platform, Broadcom PCIe-switchar för skalning upp inom en nod, Arista Leaf Ethernet-switchar anslutna till JetStream-NIC:ar och programvarustacken Aviator.

Corsair-plattformen, som utgör kärnan i båda systemen, använder en chipletbaserad konstruktion avsedd att göra det möjligt att skala SRAM utöver traditionella begränsningar, integreras i befintlig PCIe-baserad infrastruktur och hantera modeller med upp till 100 miljarder parametrar. d-Matrix 3DIMC-konstruktion staplar DRAM direkt ovanpå logikchipet, och programvarustacken Aviator har utformats tillsammans med hårdvaran, från kompilator till körmiljö.

Demonstration av separering av attention och FFN

Under huvudanförandet berättade Sheth också att d-Matrix har implementerat separering av attention och FFN, eller AFD, med hjälp av ett Squadron-system kopplat till GPU-servrar. Företaget rapporterade att när modellens experter och feed-forward-nätverk flyttades till Corsair-rack uppnåddes 845 token per sekund och användare. Den heterogena konfigurationen nådde en total genomströmning på 20 415 token per sekund med 64 samtidiga användare. d-Matrix uppgav att företaget är först med att visa AFD köras på kisel som för närvarande finns tillgängligt.

Ett kompletterande tekniskt inlägg, publicerat den 12 oktober 2026, beskriver testuppställningen. Arbetsbelastningen består av GPT-OSS-20B, en modell med blandning av experter där experterna står för 19,12 miljarder av modellens totalt 20,9 miljarder parametrar. Vid varje inferens är fyra av 32 experter aktiva, motsvarande ungefär 3,6 miljarder parametrar. Med fyrabitsprecision ryms dessa experter på en Corsair-server med åtta kort och 16 GB SRAM. En Nvidia H100-GPU med 80 GB hanterar uppmärksamhet, inbäddningar, KV-cache och routning av experter, medan Corsair utför expertberäkningarna. Vid en batchstorlek på 64 delar två H100-GPU:er på åtta Corsair-acceleratorer.

d-Matrix uppgav att Corsairs SRAM ger en minnesbandbredd på 150 TB/s, vilket företaget beskriver som 45 gånger HBM3-bandbredden hos en H100 och ungefär nio gånger de 18 TB/s som HBM4 erbjuder. Företaget rapporterade att tiden per genererad token minskade från 2,59 millisekunder på en ensam H100 vid en kontextlängd på 1K till 1,28 millisekunder när feedforward-beräkningarna flyttades till Corsair, en minskning med ungefär 50 procent.

Inlägget beskriver 24 tur-och-returöverföringar mellan GPU:n och Corsair för modellens 24 lager, plus ytterligare en för LM-huvudet. GPU:n skickar en vektor för dolt tillstånd med 2 880 dimensioner samt tilldelningar till målexperter via JetStream-länkar, som ger en Ethernetbandbredd på 400 Gb/s per kluster. JetStreams enhetsinitierade kommunikation gör att GPU:n kan skriva direkt till Corsairs minne och att Corsair kan skicka tillbaka resultat utan att värddatorns CPU behöver medverka. Varje Corsair-kort innehåller en shard av LM-huvudet, en lösning som enligt d-Matrix minskade behandlingstiden för LM-huvudet tiofalt.

Vid en batchstorlek på 64 slutför systemet enligt företaget ett avkodningssteg för samtliga 64 användare på 2,46 millisekunder vid en kontextlängd på 129. d-Matrix uppgav också att Corsair kan skalas för konfigurationer med spekulativ avkodning och AFD för modeller med hundratals miljarder parametrar, och nämnde GLM 5.x och Kimi K3 som mål.

d-Matrix-forskare kommer att genomföra AFD-demonstrationen live vid företagets monter C82 på OCP den 14 oktober 2026 kl. 11.00 och 14.00 PT samt den 15 oktober 2026 kl. 11.00 PT.