D-Matrix发布Squadron多机架AI推理集群

2026年10月12日，d-Matrix宣布推出Squadron，这是一系列面向数据中心规模AI推理的多机架系统。创始人兼首席执行官Sid Sheth在圣何塞举行的OCP全球峰会开幕日主题演讲中发布了这些集群。集群最多可扩展至16个SquadRack和1,024个Corsair XPU，系统已开始向优先客户发货。

Squadron由d-Matrix与Arista、Broadcom和Supermicro合作开发。d-Matrix已在其亚利桑那州数据中心部署该系统，用于内部研发；这些集群也已开始发货，供优先客户部署在各自的数据中心。构成Squadron基础的Corsair服务器和SquadRack机架级系统均已全面上市。d-Matrix称，Squadron可提供兆瓦级推理算力，目标客户包括AI实验室、企业和主权机构，面向代码编写、个人智能体、网络安全和高频交易等对延迟敏感的应用。

Sheth将此次发布描述为d-Matrix从一家专注于专业芯片的公司，发展成为数据中心计算基础设施业务的转型之举。他在公司公告中表示：“如今，客户可以使用全球最高效的数据中心级推理基础设施，构建并扩展超低延迟AI应用。”

Supermicro总裁兼首席执行官Charles Liang表示，此次合作展现了Supermicro通过其“数据中心构建模块解决方案”计划交付AI技术的能力，使客户能够为先进AI工作负载和异构计算环境部署高效、高性能的推理基础设施，并加快上线速度。

机架配置与开放标准互连

Squadron提供多种配置，最多可扩展至16个SquadRack；每个SquadRack都是一座包含八台服务器的独立机架，最多可整合成一个搭载1,024个Corsair XPU的集群。这些集群通过d-Matrix的JetStream网卡互连，并搭载该公司的Aviator软件。d-Matrix表示，由于系统采用风冷设计并基于行业标准构建，客户无需液冷，也无需新建数据中心设施，即可将其安装在现有数据中心。客户可以基于同一架构部署单台Corsair服务器、完整的SquadRack，或由多个机架组成的Squadron集群。

该公司的机架级产品页面列出了四种参考配置。单服务器入门机架配备八张卡，具有16GB高性能内存，带宽为1,200 TB/s；容量内存最高可达2TB，功耗低于10 kW。双服务器入门机架采用两台服务器和16张卡，配备32GB高性能内存，功耗为10–30 kW，并通过JetStream实现基于以太网的横向扩展。多服务器半机架采用四台服务器和32张卡，配备64GB高性能内存，功耗为30–100 kW。企业级全机架采用八台服务器和64张卡，配备128GB高性能内存，可在性能模式下运行参数量最高达1,000亿的模型。

在互连方面，d-Matrix使用PCIe在单个节点内纵向扩展，并采用符合行业标准的以太网，在机架内纵向扩展、跨机架横向扩展。该公司是UALink和UEC行业联盟的成员；这两个联盟正致力于制定下一代纵向扩展和横向扩展标准。

SquadRack与Corsair平台背景

Squadron拓展了d-Matrix于2025年10月14日在上一届OCP全球峰会上首次以SquadRack之名发布的机架级产品线，当时该公司同样与Arista、Broadcom和Supermicro共同发布了产品。d-Matrix在会上称，SquadRack是业内首款专为AI推理打造的机架级解决方案，并表示，与传统加速器相比，它的性价比最高可提升三倍，能效可提升三倍，令令牌生成速度最高提升十倍。

根据2025年的公告，一套八节点SquadRack可运行参数量最高达1,000亿的生成式AI模型，并可通过基于标准的以太网，将横向扩展能力延伸至多个机架中的数百个节点。公告列出的组件包括Corsair推理加速器、JetStream IO加速器、Supermicro X14 AI服务器平台、用于在节点内纵向扩展的Broadcom PCIe交换机、与JetStream网卡相连的Arista叶脊架构以太网交换机，以及Aviator软件栈。

两套系统的核心Corsair平台采用基于芯粒的设计，旨在突破传统限制、扩展SRAM容量；它可集成到现有的PCIe基础设施中，并支持参数量最高达1,000亿的模型。d-Matrix的3DIMC设计将DRAM直接堆叠在逻辑裸片上；Aviator软件栈则从编译器到运行时均与硬件协同设计。

Attention-FFN解耦演示

Sheth还在主题演讲中透露，d-Matrix已借助一套与GPU服务器配对的Squadron系统实现注意力层与前馈网络解耦，即AFD。该公司报告称，将模型的专家模块和前馈网络卸载到Corsair机架后，每位用户的生成速度达到每秒845个令牌；这一异构配置在64名并发用户下的总吞吐量达到每秒20,415个令牌。d-Matrix表示，该公司是首家展示AFD在目前已上市的真实硅芯片上运行的企业。

一篇于2026年10月12日发布的配套技术文章介绍了测试环境。测试负载为 GPT-OSS-20B，这是一种混合专家模型，其中专家部分占总计 209 亿个参数中的 191.2 亿个；每次推理会激活 32 个专家中的 4 个，涉及约 36 亿个参数。在四位精度下，这些专家可装入一台配备 8 张计算卡、拥有 16GB SRAM 的 Corsair 服务器。配备 80GB 显存的 Nvidia H100 GPU 负责处理注意力机制、嵌入、KV 缓存和专家路由，Corsair 则运行专家计算；在批量大小为 64 时，两块 H100 GPU 共享 8 个 Corsair 加速器。

d-Matrix 表示，Corsair 的 SRAM 可提供 150 TB/s 的内存带宽；据该公司称，这相当于 H100 上 HBM3 带宽的 45 倍，也约为 HBM4 所提供的 18 TB/s 的 9 倍。该公司报告称，将前馈计算转移至 Corsair 后，在上下文长度为 1K 时，每个输出令牌的耗时从单块 H100 上的 2.59 毫秒降至 1.28 毫秒，减少约 50%。

文章介绍，该模型有 24 层，因此 GPU 与 Corsair 之间需要往返通信 24 次，此外还要为 LM 头额外往返一次。GPU 会通过 JetStream 链路发送一个维度为 2,880 的隐藏状态向量以及目标专家分配信息；这些链路为每个集群提供 400 Gb/s 的以太网带宽。JetStream 支持由设备发起通信，因此 GPU 可以直接向 Corsair 内存写入数据，Corsair 也能将结果写回，无需主机 CPU 参与。每张 Corsair 卡都承载 LM 头的一个分片；d-Matrix 称，这种安排将 LM 头的处理时间缩短至原来的十分之一。

该公司表示，在批量大小为 64 时，系统可在上下文长度为 129 的情况下，于 2.46 毫秒内完成 64 名用户的一次完整解码步骤。d-Matrix 还表示，Corsair 可将推测解码和 AFD 配置扩展至参数量达数千亿的模型，并将 GLM 5.x 和 Kimi K3 列为目标模型。

d-Matrix 的研究人员将于2026年10月14日上午11点和下午2点（太平洋时间），以及2026年10月15日上午11点（太平洋时间），在公司 OCP 展位 C82 现场演示 AFD。