D-Matrix stellt KI-Inferenzcluster mit mehreren Racks unter dem Namen Squadron vor

d-Matrix kündigte Squadron am 12. Oktober 2026 als Flotte von Systemen mit mehreren Racks für KI-Inferenz im Rechenzentrumsmaßstab an. Gründer und CEO Sid Sheth stellte die Cluster während seiner Keynote am Eröffnungstag des OCP Global Summit in San Jose vor. Die Cluster lassen sich auf bis zu 16 SquadRacks und bis zu 1.024 Corsair-XPUs skalieren; die Auslieferung der Systeme an vorrangig bediente Kunden läuft bereits.

Squadron wurde in Zusammenarbeit mit Arista, Broadcom und Supermicro entwickelt. d-Matrix hat das System bereits in seinem Rechenzentrum in Arizona für interne Forschungs- und Entwicklungsarbeiten eingesetzt. Die Cluster werden an vorrangig bediente Kunden ausgeliefert, die sie in ihren eigenen Rechenzentren einsetzen sollen. Die Bausteine von Squadron – die Corsair-Server und Rack-Scale-Systeme SquadRack des Unternehmens – sind allgemein verfügbar. d-Matrix zufolge bietet Squadron Inferenz-Rechenleistung im Megawattbereich. Die Cluster richten sich an KI-Labore, Unternehmen und souveräne Organisationen, die latenzempfindliche Anwendungen wie Programmierung, persönliche Agenten, Cybersicherheit und Hochfrequenzhandel betreiben.

Sheth stellte die Markteinführung als Entwicklung von d-Matrix dar: weg von einem auf Spezialchips ausgerichteten Unternehmen, hin zu einem Anbieter von Recheninfrastruktur für Rechenzentren. „Kunden steht jetzt die weltweit energieeffizienteste verfügbare Inferenzinfrastruktur im Rechenzentrumsmaßstab zur Verfügung, mit der sie ihre KI-Anwendungen mit extrem niedriger Latenz entwickeln und hochfahren können“, sagte er in der Unternehmensmitteilung.

Supermicro-Präsident und CEO Charles Liang sagte, die Zusammenarbeit zeige, dass Supermicro im Rahmen seines Programms Data Center Building Block Solutions KI-Technologien bereitstellen könne. So könnten Kunden effiziente, leistungsstarke Inferenzinfrastrukturen für fortschrittliche KI-Workloads und heterogene Computing-Umgebungen einsetzen und dabei die Zeit bis zur Inbetriebnahme verkürzen.

Rack-Konfigurationen und offene Standards für die Vernetzung

Squadron ist in verschiedenen Konfigurationen erhältlich, die sich auf bis zu 16 SquadRacks erweitern lassen. Jedes davon besteht aus einem einzelnen Rack mit acht Servern; zusammen bilden sie einen integrierten Cluster mit bis zu 1.024 Corsair-XPUs. Die Cluster sind über JetStream-Netzwerkkarten von d-Matrix miteinander verbunden und werden mit der Aviator-Software des Unternehmens betrieben. Da die Systeme luftgekühlt sind und auf Industriestandards beruhen, können Kunden sie laut d-Matrix in ihren bestehenden Rechenzentren installieren – ohne Flüssigkeitskühlung oder neue Gebäude errichten zu müssen. Auf derselben Architektur können Kunden einen einzelnen Corsair-Server, ein vollständiges SquadRack oder einen Squadron-Cluster mit mehreren Racks einsetzen.

Auf der Produktseite für Rack-Scale-Systeme des Unternehmens sind vier Referenzkonfigurationen aufgeführt. Das Starterrack mit einem Server verfügt über acht Karten mit 16 GB Leistungsspeicher bei 1.200 TB/s, bis zu 2 TB Kapazitätsspeicher und eine Leistungsaufnahme von weniger als 10 kW. Das Starterrack mit zwei Servern umfasst zwei Server und 16 Karten mit 32 GB Leistungsspeicher. Seine Nennleistung liegt bei 10–30 kW; über JetStream lässt es sich per Ethernet erweitern. Das Halbrack mit mehreren Servern umfasst vier Server und 32 Karten mit 64 GB Leistungsspeicher; seine Nennleistung liegt bei 30–100 kW. Das vollständige, für den Unternehmenseinsatz ausgelegte Rack umfasst acht Server und 64 Karten mit 128 GB Leistungsspeicher. Im Leistungsmodus führt es Modelle mit bis zu 100 Milliarden Parametern aus.

Für die Vernetzung nutzt d-Matrix PCIe, um innerhalb eines einzelnen Knotens zu skalieren, und Ethernet nach Industriestandard, um innerhalb eines Racks zu skalieren und die Kapazität über mehrere Racks hinweg zu erweitern. Das Unternehmen ist Mitglied der Industriekonsortien UALink und UEC, die an Standards der nächsten Generation für die Skalierung innerhalb und zwischen Systemen arbeiten.

Hintergrund zu SquadRack und der Corsair-Plattform

Squadron baut die Rack-Scale-Produktlinie von d-Matrix aus, die das Unternehmen auf dem vorangegangenen OCP Global Summit am 14. Oktober 2025 erstmals als SquadRack vorgestellt hatte – erneut gemeinsam mit Arista, Broadcom und Supermicro. Damals bezeichnete d-Matrix SquadRack als die branchenweit erste speziell für KI-Inferenz entwickelte Rack-Scale-Lösung. Laut Unternehmen bietet sie ein bis zu dreimal besseres Verhältnis von Kosten zu Leistung, eine dreimal höhere Energieeffizienz und eine bis zu zehnmal schnellere Token-Generierung als herkömmliche Beschleuniger.

Der Ankündigung von 2025 zufolge führt ein SquadRack mit acht Knoten generative KI-Modelle mit bis zu 100 Milliarden Parametern aus. Ethernet nach Industriestandard ermöglicht die Erweiterung auf Hunderte von Knoten über mehrere Racks hinweg. Zu den aufgeführten Komponenten gehören Corsair-Inferenzbeschleuniger, JetStream-IO-Beschleuniger, Supermicros X14-AI-Serverplattform, Broadcom-PCIe-Switches zur Skalierung innerhalb eines Knotens, über JetStream-Netzwerkkarten verbundene Arista-Leaf-Ethernet-Switches sowie der Aviator-Software-Stack.

Die Corsair-Plattform, die im Zentrum beider Systeme steht, basiert auf einem Chiplet-Design, das den SRAM über herkömmliche Grenzen hinaus skalieren soll. Sie lässt sich in bestehende PCIe-basierte Infrastrukturen integrieren und unterstützt Modelle mit bis zu 100 Milliarden Parametern. Beim 3DIMC-Design von d-Matrix wird DRAM direkt auf dem Logikchip gestapelt. Der Aviator-Software-Stack wurde von der Compiler- bis zur Laufzeitumgebung gemeinsam mit der Hardware entwickelt.

Demonstration der Entkopplung von Attention und FFN

Sheth gab während der Keynote außerdem bekannt, dass d-Matrix die Entkopplung von Attention und FFN (Attention-FFN Disaggregation, AFD) mit einem Squadron-System in Verbindung mit GPU-Servern umgesetzt hat. Dem Unternehmen zufolge erreichte die Auslagerung der Experten und des Feedforward-Netzwerks des Modells auf Corsair-Racks eine Leistung von 845 Tokens pro Sekunde und Nutzer. Bei dem heterogenen Aufbau lag der Gesamtdurchsatz mit 64 gleichzeitigen Nutzern bei 20.415 Tokens pro Sekunde. d-Matrix erklärte, das Unternehmen sei das erste, das AFD auf derzeit verfügbarer realer Siliziumhardware demonstriert habe.

Ein am 12. Oktober 2026 veröffentlichter technischer Begleitbeitrag beschreibt den Testaufbau. Als Workload dient GPT-OSS-20B, ein Mixture-of-Experts-Modell, bei dem die Experten 19,12 Milliarden der insgesamt 20,9 Milliarden Parameter ausmachen. Bei jeder Inferenz sind vier der 32 Experten aktiv, was ungefähr 3,6 Milliarden Parametern entspricht. Bei einer Präzision von vier Bit passen diese Experten auf einen Corsair-Server mit acht Karten und 16 GB SRAM. Eine Nvidia-H100-GPU mit 80 GB übernimmt Attention, Embeddings, den KV-Cache und das Routing zu den Experten, während Corsair die Berechnungen der Experten ausführt. Bei einer Batchgröße von 64 teilen sich zwei H100-GPUs acht Corsair-Beschleuniger.

d-Matrix zufolge bietet Corsairs SRAM eine Speicherbandbreite von 150 TB/s. Das Unternehmen bezeichnet sie als 45-mal so hoch wie die HBM3-Bandbreite einer H100 und ungefähr neunmal so hoch wie die 18 TB/s von HBM4. Laut d-Matrix sank durch die Verlagerung der Feed-Forward-Berechnungen auf Corsair die Zeit pro Ausgabetoken von 2,59 Millisekunden auf einer einzelnen H100 bei einer Kontextlänge von 1K auf 1,28 Millisekunden – eine Verringerung um ungefähr 50 Prozent.

Der Beitrag beschreibt 24 Übertragungen zwischen GPU und Corsair für die 24 Schichten des Modells sowie eine weitere für den Kopf des Sprachmodells. Dabei sendet die GPU über JetStream-Verbindungen, die eine Ethernet-Bandbreite von 400 Gb/s pro Cluster bereitstellen, einen Vektor des verborgenen Zustands mit 2.880 Dimensionen sowie die Zuweisungen zu den Ziel-Experten. Die von den Geräten initiierte Kommunikation von JetStream ermöglicht es der GPU, direkt in den Corsair-Speicher zu schreiben und Corsair, Ergebnisse ohne Beteiligung der Host-CPU zurückzuschreiben. Jede Corsair-Karte enthält einen Teil des Sprachmodellkopfs. Laut d-Matrix verringerte diese Anordnung dessen Verarbeitungszeit um den Faktor zehn.

Bei einer Batchgröße von 64 führt das System laut d-Matrix einen vollständigen Dekodierungsschritt für 64 Nutzer in 2,46 Millisekunden bei einer Kontextlänge von 129 aus. Außerdem erklärte das Unternehmen, Corsair könne Konfigurationen für Speculative Decoding und AFD auf Modelle mit mehreren hundert Milliarden Parametern skalieren; als Zielmodelle nannte es GLM 5.x und Kimi K3.

d-Matrix-Forschende werden die AFD-Demonstration am 14. Oktober 2026 um 11 Uhr und um 14 Uhr PT sowie am 15. Oktober 2026 um 11 Uhr PT live am OCP-Messestand des Unternehmens, Stand C82, präsentieren.