D-Matrix dévoile Squadron, des clusters d’inférence IA multi-racks

d-Matrix a annoncé Squadron, une flotte de systèmes multi-racks destinée à l’inférence IA à l’échelle des centres de données, le 12 octobre 2026. Son fondateur et PDG, Sid Sheth, a dévoilé les clusters lors de son discours d’ouverture au premier jour du sommet OCP Global Summit, à San Jose. Les clusters peuvent regrouper jusqu’à 16 SquadRacks et jusqu’à 1 024 XPU Corsair. Les systèmes sont en cours de livraison aux clients prioritaires.

Squadron a été développé en partenariat avec Arista, Broadcom et Supermicro. d-Matrix a déjà déployé le système dans son centre de données en Arizona pour ses activités internes de recherche et développement, et les clusters sont en cours de livraison à des clients prioritaires qui les installeront dans leurs propres centres de données. Les éléments constitutifs de Squadron — les serveurs Corsair et les systèmes rack à l’échelle de l’armoire SquadRack de l’entreprise — sont généralement disponibles. d-Matrix indique que Squadron fournit plusieurs mégawatts de puissance de calcul pour l’inférence et précise que les clusters sont destinés aux laboratoires d’IA, aux entreprises et aux organisations souveraines qui exécutent des applications sensibles à la latence, comme le codage, les agents personnels, la cybersécurité et le trading à haute fréquence.

Sheth a présenté ce lancement comme une étape dans l’évolution de d-Matrix, qui passe d’une entreprise spécialisée dans les puces à une activité d’infrastructure de calcul pour centres de données. « Les clients ont désormais accès à l’infrastructure d’inférence à l’échelle des centres de données la plus efficace au monde parmi celles disponibles, pour créer et faire évoluer leurs applications d’IA à latence ultra-faible », a-t-il déclaré dans l’annonce de l’entreprise.

Charles Liang, président et PDG de Supermicro, a déclaré que cette collaboration démontrait la capacité de Supermicro à fournir des technologies d’IA dans le cadre de son programme Data Center Building Block Solutions. Celui-ci permet aux clients de déployer une infrastructure d’inférence efficace et performante, avec une mise en service accélérée, pour des charges de travail d’IA avancées et des environnements informatiques hétérogènes.

Configurations en rack et interconnexion fondée sur des normes ouvertes

Squadron est proposé dans différentes configurations pouvant regrouper jusqu’à 16 SquadRacks — chacun étant un rack unique de huit serveurs — au sein d’un seul cluster intégré comprenant jusqu’à 1 024 XPU Corsair. Les clusters sont interconnectés au moyen des cartes réseau JetStream de d-Matrix et déployés avec le logiciel Aviator de l’entreprise. Comme les systèmes sont refroidis par air et reposent sur des normes industrielles, d-Matrix indique que les clients peuvent les installer dans les centres de données qu’ils exploitent déjà, sans refroidissement liquide ni nouvelle construction. Les clients peuvent déployer un seul serveur Corsair, un SquadRack complet ou un cluster Squadron multi-racks, tous fondés sur la même architecture.

La page des produits en rack de l’entreprise présente quatre configurations de référence. Le rack de démarrage à serveur unique comprend huit cartes dotées de 16 Go de mémoire de performance, avec un débit de 1 200 To/s, jusqu’à 2 To de mémoire de capacité et une consommation électrique inférieure à 10 kW. Le rack de démarrage à deux serveurs comporte deux serveurs et 16 cartes dotées de 32 Go de mémoire de performance ; sa puissance nominale est de 10 à 30 kW et son extension à l’échelle horizontale s’effectue par Ethernet via JetStream. Le demi-rack multi-serveurs comprend quatre serveurs et 32 cartes dotées de 64 Go de mémoire de performance ; sa puissance nominale est de 30 à 100 kW. Le rack complet prêt pour les entreprises comporte huit serveurs et 64 cartes dotées de 128 Go de mémoire de performance. Il exécute en mode performance des modèles comptant jusqu’à 100 milliards de paramètres.

Pour l’interconnexion, d-Matrix utilise PCIe pour augmenter la capacité au sein d’un même nœud, et Ethernet, une norme industrielle, pour l’étendre à l’intérieur d’un rack et entre plusieurs racks. L’entreprise est membre des consortiums industriels UALink et UEC, qui travaillent à l’élaboration de normes de nouvelle génération pour l’extension à l’échelle locale et entre systèmes.

Contexte sur SquadRack et la plateforme Corsair

Squadron prolonge la gamme de systèmes en rack que d-Matrix a présentée pour la première fois sous le nom de SquadRack le 14 octobre 2025, lors de l’édition précédente du sommet OCP Global Summit, là encore aux côtés d’Arista, Broadcom et Supermicro. À cette occasion, d-Matrix avait présenté SquadRack comme la première solution en rack du secteur spécialement conçue pour l’inférence IA et avait déclaré qu’elle offrait un rapport coût-performance jusqu’à trois fois supérieur, une efficacité énergétique trois fois plus élevée et une génération de jetons jusqu’à dix fois plus rapide que les accélérateurs traditionnels.

Selon l’annonce de 2025, un SquadRack à huit nœuds exécute des modèles d’IA générative comptant jusqu’à 100 milliards de paramètres, avec une extension à l’échelle horizontale vers des centaines de nœuds répartis sur plusieurs racks grâce à Ethernet fondé sur des normes. Parmi les composants cités figurent les accélérateurs d’inférence Corsair, les accélérateurs d’E/S JetStream, la plateforme serveur d’IA X14 de Supermicro, les commutateurs PCIe de Broadcom pour augmenter la capacité au sein d’un nœud, les commutateurs Ethernet Leaf d’Arista connectés aux cartes réseau JetStream, ainsi que la pile logicielle Aviator.

La plateforme Corsair, au cœur des deux systèmes, repose sur une architecture à chiplets conçue pour dépasser les limites traditionnelles de la mémoire SRAM. Elle s’intègre aux infrastructures PCIe existantes et prend en charge des modèles comptant jusqu’à 100 milliards de paramètres. La conception 3DIMC de d-Matrix empile la mémoire DRAM directement sur la puce logique, et la pile logicielle Aviator est conçue conjointement avec le matériel, du compilateur à l’environnement d’exécution.

Démonstration de la désagrégation entre mécanisme d’attention et réseau feed-forward

Lors de son discours d’ouverture, Sheth a également révélé que d-Matrix avait mis en œuvre la désagrégation entre le mécanisme d’attention et le réseau feed-forward, ou AFD, à l’aide d’un système Squadron associé à des serveurs équipés de GPU. L’entreprise a indiqué que le déport des experts du modèle et de son réseau feed-forward vers des racks Corsair avait permis d’atteindre 845 jetons par seconde et par utilisateur, et que la configuration hétérogène avait atteint un débit total de 20 415 jetons par seconde avec 64 utilisateurs simultanés. d-Matrix affirme être la première entreprise à avoir démontré l’exécution de l’AFD sur du silicium réellement disponible.

Un article technique complémentaire publié le 12 octobre 2026 décrit la configuration du test. La charge de travail est GPT-OSS-20B, un modèle à mélange d’experts dans lequel les experts représentent 19,12 milliards des 20,9 milliards de paramètres au total, quatre des 32 experts étant actifs à chaque inférence, soit environ 3,6 milliards de paramètres. Avec une précision de quatre bits, ces experts tiennent sur un serveur Corsair à huit cartes doté de 16 Go de SRAM. Un GPU Nvidia H100 de 80 Go prend en charge le mécanisme d’attention, les plongements, le cache KV et le routage des experts, tandis que Corsair exécute les calculs des experts ; avec une taille de lot de 64, deux GPU H100 partagent huit accélérateurs Corsair.

d-Matrix a déclaré que la SRAM de Corsair offre une bande passante mémoire de 150 To/s, soit, selon l’entreprise, 45 fois celle de la mémoire HBM3 d’un H100 et environ neuf fois les 18 To/s offerts par HBM4. L’entreprise a indiqué que le transfert des opérations du réseau à propagation avant vers Corsair a réduit le temps par jeton généré, qui est passé de 2,59 millisecondes sur un H100 seul, avec une longueur de contexte de 1K, à 1,28 milliseconde, soit une baisse d’environ 50 %.

L’article décrit 24 allers-retours entre le GPU et Corsair pour les 24 couches du modèle, auxquels s’ajoute un autre pour la tête LM. Le GPU envoie un vecteur d’état caché de 2 880 dimensions ainsi que les affectations aux experts cibles via les liaisons JetStream, qui fournissent une bande passante Ethernet de 400 Gb/s par cluster. La communication initiée par les appareils de JetStream permet au GPU d’écrire directement dans la mémoire de Corsair et à Corsair de renvoyer les résultats sans intervention du processeur hôte. Chaque carte Corsair héberge une partition de la tête LM ; d-Matrix a indiqué que cette disposition avait réduit d’un facteur dix le temps de traitement de la tête LM.

Avec une taille de lot de 64, le système effectue une étape complète de décodage pour 64 utilisateurs en 2,46 millisecondes, selon l’entreprise, avec une longueur de contexte de 129. d-Matrix a également déclaré que Corsair peut faire évoluer les configurations de décodage spéculatif et d’AFD pour les appliquer à des modèles comptant des centaines de milliards de paramètres, citant GLM 5.x et Kimi K3 comme cibles.

Les chercheurs de d-Matrix présenteront en direct la démonstration d’AFD sur le stand C82 de l’entreprise à l’OCP, le 14 octobre 2026 à 11 h et à 14 h, heure du Pacifique (PT), ainsi que le 15 octobre 2026 à 11 h, heure du Pacifique (PT).