D-Matrix presenta Squadron, cluster di inferenza IA multi-rack

Il 12 ottobre 2026, d-Matrix ha annunciato Squadron, una flotta di sistemi multi-rack per l’inferenza IA su scala da data center. Il fondatore e CEO Sid Sheth ha presentato i cluster durante il discorso di apertura della prima giornata dell’OCP Global Summit a San Jose. I cluster possono arrivare a 16 SquadRack e fino a 1.024 XPU Corsair; i sistemi sono in spedizione ai clienti prioritari.

Squadron è stato sviluppato in collaborazione con Arista, Broadcom e Supermicro. d-Matrix ha già installato il sistema nel proprio data center in Arizona per le attività interne di ricerca e sviluppo, e i cluster sono in spedizione ai clienti prioritari, che li installeranno nei propri data center. I componenti di base di Squadron, i server Corsair e i sistemi rack-scale SquadRack dell’azienda, sono generalmente disponibili. d-Matrix descrive Squadron come una soluzione che offre megawatt di capacità di calcolo per l’inferenza e ha dichiarato che i cluster sono destinati a laboratori di IA, aziende e organizzazioni sovrane che eseguono applicazioni sensibili alla latenza, come la programmazione, gli agenti personali, la cybersicurezza e il trading ad alta frequenza.

Sheth ha presentato il lancio come l’evoluzione di d-Matrix da azienda specializzata in chip a realtà che si occupa di infrastrutture di calcolo per data center. «I clienti hanno ora accesso all’infrastruttura di inferenza su scala da data center più efficiente al mondo attualmente disponibile, per sviluppare e portare su larga scala le loro applicazioni IA a latenza ultra-bassa», ha dichiarato nell’annuncio dell’azienda.

Charles Liang, presidente e CEO di Supermicro, ha affermato che la collaborazione dimostra la capacità di Supermicro di fornire tecnologie IA attraverso il programma Data Center Building Block Solutions, consentendo ai clienti di implementare infrastrutture di inferenza efficienti e ad alte prestazioni e di ridurre il tempo necessario per renderle operative, per carichi di lavoro IA avanzati e ambienti di calcolo eterogenei.

Configurazioni rack e interconnessione basata su standard aperti

Squadron è disponibile in diverse configurazioni, scalabili fino a 16 SquadRack, ciascuno costituito da un singolo rack con otto server, combinati in un unico cluster integrato con un massimo di 1.024 XPU Corsair. I cluster sono interconnessi tramite le NIC JetStream di d-Matrix e vengono forniti con il software Aviator dell’azienda. Poiché i sistemi sono raffreddati ad aria e basati su standard di settore, d-Matrix ha dichiarato che i clienti possono installarli nei data center già in uso, senza dover ricorrere al raffreddamento a liquido o realizzare nuove strutture. I clienti possono implementare un singolo server Corsair, un intero SquadRack oppure un cluster Squadron multi-rack basato sulla stessa architettura.

La pagina dei prodotti rack-scale dell’azienda elenca quattro configurazioni di riferimento. Lo Starter Rack a server singolo include otto schede con 16 GB di memoria ad alte prestazioni a 1.200 TB/s, fino a 2 TB di memoria di capacità e un assorbimento inferiore a 10 kW. Lo Starter Rack a doppio server impiega due server e 16 schede con 32 GB di memoria ad alte prestazioni; ha una potenza nominale di 10–30 kW e consente l’espansione orizzontale tramite Ethernet attraverso JetStream. Il mezzo rack multi-server impiega quattro server e 32 schede con 64 GB di memoria ad alte prestazioni; ha una potenza nominale di 30–100 kW. Il rack completo pronto per le aziende impiega otto server e 64 schede con 128 GB di memoria ad alte prestazioni e può eseguire, in modalità prestazioni, modelli fino a 100 miliardi di parametri.

Per l’interconnessione, d-Matrix utilizza PCIe per aumentare la capacità all’interno di un singolo nodo e Ethernet basata su standard di settore per aumentarla all’interno di un rack e per espandersi tra rack. L’azienda fa parte dei consorzi di settore UALink e UEC, impegnati nello sviluppo di standard di nuova generazione per l’espansione verticale e orizzontale.

Contesto su SquadRack e sulla piattaforma Corsair

Squadron amplia la linea rack-scale che d-Matrix aveva presentato per la prima volta con il nome SquadRack il 14 ottobre 2025, durante l’edizione precedente dell’OCP Global Summit, ancora una volta insieme ad Arista, Broadcom e Supermicro. In quell’occasione, d-Matrix aveva descritto SquadRack come la prima soluzione rack-scale del settore progettata appositamente per l’inferenza IA e aveva dichiarato che offriva un rapporto costo-prestazioni fino a tre volte migliore, un’efficienza energetica tre volte superiore e una generazione di token fino a dieci volte più veloce rispetto agli acceleratori tradizionali.

Secondo l’annuncio del 2025, un SquadRack a otto nodi esegue modelli di IA generativa fino a 100 miliardi di parametri, con possibilità di espansione orizzontale tramite Ethernet basata su standard fino a centinaia di nodi distribuiti su più rack. Tra i componenti elencati figurano gli acceleratori di inferenza Corsair, gli acceleratori IO JetStream, la piattaforma server IA X14 di Supermicro, gli switch PCIe Broadcom per aumentare la capacità all’interno di un nodo, gli switch Ethernet Leaf di Arista collegati alle NIC JetStream e lo stack software Aviator.

La piattaforma Corsair, al centro di entrambi i sistemi, utilizza un’architettura basata su chiplet progettata per superare i limiti tradizionali della SRAM, si integra nelle infrastrutture esistenti basate su PCIe e supporta modelli fino a 100 miliardi di parametri. L’architettura 3DIMC di d-Matrix impila la DRAM direttamente sul die logico, mentre lo stack software Aviator è progettato congiuntamente all’hardware, dal compilatore all’ambiente di esecuzione.

Dimostrazione della disaggregazione Attention-FFN

Durante il discorso di apertura, Sheth ha inoltre rivelato che d-Matrix ha implementato la disaggregazione attention-FFN, o AFD, utilizzando un sistema Squadron abbinato a server GPU. L’azienda ha riferito che trasferire gli esperti del modello e la rete feed-forward ai rack Corsair ha prodotto 845 token al secondo per utente e che la configurazione eterogenea ha raggiunto una velocità di elaborazione complessiva di 20.415 token al secondo con 64 utenti simultanei. d-Matrix ha dichiarato di essere la prima azienda a dimostrare l’esecuzione di AFD su silicio reale attualmente disponibile.

Un articolo tecnico di approfondimento pubblicato il 12 ottobre 2026 descrive la configurazione del test. Il carico di lavoro è GPT-OSS-20B, un modello a miscela di esperti in cui gli esperti rappresentano 19,12 miliardi dei 20,9 miliardi di parametri totali; a ogni inferenza ne sono attivi quattro su 32, per circa 3,6 miliardi di parametri. Con una precisione a 4 bit, questi esperti trovano posto in un server Corsair con otto schede e 16 GB di SRAM. Una GPU Nvidia H100 da 80 GB gestisce il meccanismo di attenzione, gli embedding, la cache KV e l’instradamento degli esperti, mentre Corsair esegue i calcoli degli esperti; con una dimensione del batch di 64, due GPU H100 condividono otto acceleratori Corsair.

d-Matrix ha dichiarato che la SRAM di Corsair offre una larghezza di banda della memoria di 150 TB/s, pari, secondo l’azienda, a 45 volte quella della HBM3 su una H100 e a circa nove volte i 18 TB/s offerti dalla HBM4. L’azienda ha riferito che trasferire a Corsair l’elaborazione feed-forward ha ridotto il tempo per token in output da 2,59 millisecondi, con una singola H100 e una lunghezza del contesto di 1K, a 1,28 millisecondi, con una diminuzione di circa il 50 per cento.

L’articolo descrive 24 cicli di andata e ritorno tra la GPU e Corsair per i 24 livelli del modello, più un altro per la testa LM. La GPU invia un vettore di stato nascosto di 2.880 dimensioni e le assegnazioni degli esperti di destinazione tramite i collegamenti JetStream, che offrono una larghezza di banda Ethernet di 400 Gb/s per cluster. La comunicazione avviata dai dispositivi di JetStream consente alla GPU di scrivere direttamente nella memoria Corsair e a Corsair di restituire i risultati senza coinvolgere la CPU host. Ogni scheda Corsair contiene una partizione della testa LM; secondo d-Matrix, questa configurazione ha ridotto di dieci volte il tempo di elaborazione della testa LM.

Con una dimensione del batch di 64, l’azienda ha dichiarato che il sistema completa un intero passaggio di decodifica per 64 utenti in 2,46 millisecondi, con una lunghezza del contesto di 129. d-Matrix ha inoltre affermato che Corsair può scalare configurazioni di decodifica speculativa e AFD fino a modelli con centinaia di miliardi di parametri, indicando GLM 5.x e Kimi K3 come obiettivi.

I ricercatori di d-Matrix presenteranno dal vivo la dimostrazione AFD allo stand C82 dell’azienda all’OCP, il 14 ottobre 2026 alle 11:00 e alle 14:00 PT, e il 15 ottobre 2026 alle 11:00 PT.