D-Matrix představuje vícerackové clustery Squadron pro inferenci AI

Společnost d-Matrix oznámila 12. října 2026 systém Squadron, soubor vícerackových systémů pro inferenční výpočty AI v měřítku datových center. Zakladatel a generální ředitel Sid Sheth představil clustery ve svém úvodním projevu první den konference OCP Global Summit v San José. Clustery lze rozšířit až na 16 systémů SquadRack a až 1 024 XPU Corsair a systémy se již dodávají prioritním zákazníkům.

Squadron vznikl ve spolupráci se společnostmi Arista, Broadcom a Supermicro. Společnost d-Matrix již systém nasadila ve svém datovém centru v Arizoně pro interní výzkum a vývoj a clustery dodává prioritním zákazníkům k nasazení v jejich vlastních datových centrech. Základními stavebními prvky systému Squadron, servery Corsair a rackovými systémy SquadRack od společnosti d-Matrix, jsou běžně dostupné produkty. d-Matrix popisuje Squadron jako řešení, které nabízí inferenční výpočetní výkon v řádu megawattů, a uvedla, že clustery jsou určeny pro laboratoře AI, podniky a suverénní organizace, které provozují aplikace citlivé na latenci, například nástroje pro programování, osobní asistenty, kybernetickou bezpečnost a vysokofrekvenční obchodování.

Sheth představil uvedení na trh jako proměnu společnosti d-Matrix ze specializovaného výrobce čipů v podnik zaměřený na výpočetní infrastrukturu pro datová centra. „Zákazníci nyní mají přístup k nejefektivnější infrastruktuře pro inferenční výpočty v měřítku datových center na světě, která je dostupná pro vývoj a rozšiřování jejich aplikací AI s mimořádně nízkou latencí,“ uvedl v oznámení společnosti.

Charles Liang, prezident a generální ředitel společnosti Supermicro, uvedl, že tato spolupráce dokládá schopnost Supermicro dodávat technologie AI prostřednictvím programu Data Center Building Block Solutions. Ten zákazníkům umožňuje nasazovat efektivní, vysoce výkonnou inferenční infrastrukturu a zkracuje dobu do uvedení do provozu pro pokročilé úlohy AI a heterogenní výpočetní prostředí.

Rackové konfigurace a propojení založené na otevřených standardech

Squadron je k dispozici v řadě konfigurací, které lze rozšířit až na 16 systémů SquadRack. Každý z nich tvoří jeden rack s osmi servery; až 1 024 XPU Corsair lze propojit do jediného integrovaného clusteru. Clustery jsou propojeny síťovými kartami JetStream od d-Matrix a dodávají se se softwarem Aviator této společnosti. Protože jsou systémy chlazené vzduchem a založené na průmyslových standardech, mohou je podle d-Matrix zákazníci instalovat ve svých stávajících datových centrech, aniž by potřebovali kapalinové chlazení nebo nové budovy. Zákazníci mohou na stejné architektuře nasadit jeden server Corsair, celý systém SquadRack nebo vícerackový cluster Squadron.

Na stránce produktů pro racková řešení společnost uvádí čtyři referenční konfigurace. Startovací rack s jedním serverem obsahuje osm karet s 16 GB výkonné paměti o propustnosti 1 200 TB/s, až 2 TB kapacitní paměti a jeho příkon je nižší než 10 kW. Startovací rack se dvěma servery využívá dva servery a 16 karet s 32 GB výkonné paměti; jeho příkon činí 10–30 kW a rozšiřování systému zajišťuje technologie JetStream založená na Ethernetu. Poloviční rack se čtyřmi servery využívá čtyři servery a 32 karet s 64 GB výkonné paměti; jeho příkon činí 30–100 kW. Plný rack připravený pro podnikové nasazení využívá osm serverů a 64 karet se 128 GB výkonné paměti a v režimu vysokého výkonu spouští modely až se 100 miliardami parametrů.

Pro propojení využívá d-Matrix rozhraní PCIe ke škálování výkonu v rámci jednoho uzlu a standardní Ethernet ke škálování v rámci racku i napříč racky. Společnost je členem průmyslových konsorcií UALink a UEC, která pracují na standardech nové generace pro vertikální i horizontální škálování.

Pozadí systémů SquadRack a platformy Corsair

Squadron rozšiřuje řadu rackových systémů, kterou d-Matrix poprvé představila pod názvem SquadRack 14. října 2025 na předchozím ročníku konference OCP Global Summit, opět ve spolupráci se společnostmi Arista, Broadcom a Supermicro. Tehdy d-Matrix označila SquadRack za první rackové řešení v oboru navržené speciálně pro inferenční výpočty AI a uvedla, že oproti tradičním akcelerátorům nabízí až trojnásobný poměr ceny a výkonu, trojnásobnou energetickou účinnost a až desetkrát rychlejší generování tokenů.

Podle oznámení z roku 2025 dokáže osmiuzlový systém SquadRack spouštět generativní modely AI až se 100 miliardami parametrů; Ethernet založený na standardech umožňuje škálovat systém na stovky uzlů napříč několika racky. Mezi uvedené součásti patří inferenční akcelerátory Corsair, akcelerátory IO JetStream, serverová platforma Supermicro X14 AI Server Platform, přepínače PCIe Broadcom pro škálování v rámci uzlu, ethernetové přepínače Arista Leaf propojené se síťovými kartami JetStream a softwarová sada Aviator.

Platforma Corsair, která je jádrem obou systémů, využívá čipletovou konstrukci navrženou tak, aby umožňovala rozšiřovat SRAM nad rámec tradičních omezení. Lze ji začlenit do stávající infrastruktury založené na PCIe a podporuje modely až se 100 miliardami parametrů. Konstrukce 3DIMC od d-Matrix vrství paměť DRAM přímo na logickou matrici a softwarová sada Aviator se navrhuje společně s hardwarem, od kompilátoru až po běhové prostředí.

Ukázka oddělení výpočtů attention a FFN

Sheth během hlavního projevu také prozradil, že d-Matrix implementovala oddělení výpočtů attention a FFN neboli AFD pomocí systému Squadron propojeného se servery GPU. Společnost uvedla, že přesunutím expertních částí modelu a dopředné neuronové sítě na racky Corsair dosáhla rychlosti 845 tokenů za sekundu na uživatele a že heterogenní sestava dosáhla celkové propustnosti 20 415 tokenů za sekundu při 64 souběžně připojených uživatelích. Podle d-Matrix jde o první ukázku AFD provozovaného na reálném křemíku, který je v současnosti dostupný.

Doprovodný technický příspěvek zveřejněný 12. října 2026 popisuje uspořádání testu. Použitou zátěží je GPT-OSS-20B, model typu mixture-of-experts, v němž experti představují 19,12 miliardy z celkových 20,9 miliardy parametrů; při každé inferenci jsou aktivní čtyři z 32 expertů, tedy přibližně 3,6 miliardy parametrů. Při čtyřbitové přesnosti se tito experti vejdou na server Corsair s osmi kartami a 16GB SRAM. GPU Nvidia H100 s 80GB paměti zajišťuje pozornost, embeddingy, mezipaměť KV a směrování expertů, zatímco Corsair provádí výpočty expertů; při velikosti dávky 64 se o osm akcelerátorů Corsair dělí dvě GPU H100.

Společnost d-Matrix uvedla, že SRAM v systému Corsair nabízí paměťovou propustnost 150 TB/s, což je podle jejího vyjádření 45krát více než propustnost HBM3 v H100 a přibližně devětkrát více než 18 TB/s, které poskytuje HBM4. Firma oznámila, že přesunutí výpočtů dopředné neuronové sítě na Corsair zkrátilo dobu na výstupní token z 2,59 milisekundy na samostatné H100 při délce kontextu 1K na 1,28 milisekundy, tedy přibližně o 50 procent.

Příspěvek popisuje 24 zpátečních přenosů mezi GPU a Corsair pro 24 vrstev modelu a jeden další přenos pro hlavu LM. GPU přitom posílá vektor skrytého stavu o 2 880 dimenzích a přiřazení cílovým expertům prostřednictvím propojení JetStream, která pro každý cluster poskytují ethernetovou propustnost 400 Gb/s. Komunikace JetStream iniciovaná zařízením umožňuje GPU zapisovat přímo do paměti Corsair a systému Corsair vracet výsledky bez zapojení hostitelského CPU. Každá karta Corsair obsahuje jeden díl hlavy LM; podle d-Matrix toto uspořádání zkrátilo dobu jejího zpracování desetkrát.

Společnost uvedla, že systém při velikosti dávky 64 dokončí úplný krok dekódování pro 64 uživatelů za 2,46 milisekundy při délce kontextu 129. d-Matrix také uvedla, že Corsair lze škálovat pro konfigurace spekulativního dekódování a AFD až na modely se stovkami miliard parametrů; jako cíle jmenovala GLM 5.x a Kimi K3.

Výzkumníci d-Matrix předvedou demonstraci AFD živě na stánku společnosti na veletrhu OCP, stánek C82, 14. října 2026 v 11:00 a 14:00 PT a 15. října 2026 v 11:00 PT.