D-Matrix представляет Squadron — многостоечные кластеры для инференса ИИ

12 октября 2026 года d-Matrix объявила о выпуске Squadron — комплекса многостоечных систем для инференса ИИ в масштабах дата-центра. Основатель и генеральный директор компании Сид Шет представил кластеры в своей вступительной речи в первый день саммита OCP Global Summit в Сан-Хосе. Кластеры масштабируются до 16 SquadRacks и поддерживают до 1 024 XPU Corsair; системы уже поставляются приоритетным клиентам.

Squadron создана в партнерстве с Arista, Broadcom и Supermicro. d-Matrix уже развернула систему в своем дата-центре в Аризоне для внутренних исследований и разработок, а кластеры поставляются приоритетным клиентам для развертывания в их собственных дата-центрах. Базовые компоненты Squadron — серверы Corsair и стоечные системы SquadRack компании — уже доступны широкому кругу заказчиков. d-Matrix заявляет, что Squadron обеспечивает вычислительные мощности для инференса в несколько мегаватт. По словам компании, кластеры предназначены для лабораторий ИИ, предприятий и суверенных организаций, использующих приложения, чувствительные к задержкам, например инструменты для написания кода, персональных ИИ-агентов, кибербезопасности и высокочастотной торговли.

Шет представил запуск как переход d-Matrix от специализации на производстве микросхем к созданию вычислительной инфраструктуры для дата-центров. «Теперь клиенты могут использовать самую энергоэффективную в мире инфраструктуру для инференса в масштабах дата-центра, чтобы создавать и запускать свои приложения ИИ со сверхнизкой задержкой», — сказал он в объявлении компании.

Президент и генеральный директор Supermicro Чарльз Лян заявил, что это сотрудничество демонстрирует способность Supermicro предоставлять технологии ИИ в рамках программы Data Center Building Block Solutions. Благодаря этому клиенты могут развертывать эффективную высокопроизводительную инфраструктуру для инференса, сокращая время до запуска передовых рабочих нагрузок ИИ и сред гетерогенных вычислений.

Варианты компоновки стоек и соединение на основе открытых стандартов

Squadron предлагается в нескольких конфигурациях, которые можно масштабировать до 16 SquadRacks. Каждая SquadRack представляет собой отдельную стойку с восемью серверами; все стойки объединяются в единый кластер, поддерживающий до 1 024 XPU Corsair. Кластеры соединяются с помощью сетевых адаптеров JetStream от d-Matrix и поставляются с программным обеспечением Aviator компании. Поскольку системы имеют воздушное охлаждение и построены на основе отраслевых стандартов, как сообщила d-Matrix, клиенты могут устанавливать их в уже работающих дата-центрах, не прибегая к жидкостному охлаждению или строительству новых площадок. На одной архитектуре клиенты могут развернуть отдельный сервер Corsair, целую стойку SquadRack или мног стоечный кластер Squadron.

На странице продукта стоечного масштаба компании перечислены четыре эталонные конфигурации. Начальная стойка с одним сервером оснащена восемью картами и 16 ГБ высокопроизводительной памяти со скоростью 1 200 ТБ/с, до 2 ТБ памяти для хранения данных и потребляет менее 10 кВт. Начальная стойка с двумя серверами включает два сервера и 16 карт с 32 ГБ высокопроизводительной памяти; ее энергопотребление составляет 10–30 кВт, а масштабирование за счет подключения дополнительных систем по Ethernet обеспечивается через JetStream. Полустойка с несколькими серверами включает четыре сервера и 32 карты с 64 ГБ высокопроизводительной памяти; ее энергопотребление составляет 30–100 кВт. Полноразмерная стойка корпоративного класса включает восемь серверов и 64 карты с 128 ГБ высокопроизводительной памяти и позволяет запускать в режиме высокой производительности модели объемом до 100 миллиардов параметров.

Для соединения компонентов d-Matrix использует PCIe, чтобы масштабировать систему внутри одного узла, и стандартный Ethernet для масштабирования внутри стойки и между стойками. Компания входит в отраслевые консорциумы UALink и UEC, которые разрабатывают стандарты следующего поколения для вертикального и горизонтального масштабирования.

Общие сведения о SquadRack и платформе Corsair

Squadron развивает линейку стоечных систем d-Matrix, впервые представленную под названием SquadRack 14 октября 2025 года на предыдущем саммите OCP Global Summit, также совместно с Arista, Broadcom и Supermicro. Тогда d-Matrix назвала SquadRack первой в отрасли стоечной системой, специально созданной для инференса ИИ, и заявила, что она обеспечивает до трех раз более высокое соотношение производительности и стоимости, втрое большую энергоэффективность и до десяти раз более быструю генерацию токенов по сравнению с традиционными ускорителями.

Согласно объявлению 2025 года, восьмиузловая SquadRack запускает генеративные модели ИИ объемом до 100 миллиардов параметров, а Ethernet на основе стандартов обеспечивает горизонтальное масштабирование до сотен узлов в нескольких стойках. В перечень компонентов входят ускорители для инференса Corsair, ускорители ввода-вывода JetStream, серверная платформа X14 AI Server Platform от Supermicro, коммутаторы PCIe Broadcom для масштабирования внутри узла, коммутаторы Ethernet уровня доступа Arista Leaf, подключенные к сетевым адаптерам JetStream, и программный стек Aviator.

Платформа Corsair, лежащая в основе обеих систем, использует чиплетную архитектуру, призванную превзойти традиционные ограничения масштабирования SRAM, интегрируется в существующую инфраструктуру на базе PCIe и поддерживает модели объемом до 100 миллиардов параметров. В конструкции 3DIMC от d-Matrix память DRAM размещается непосредственно поверх кристалла логики, а программный стек Aviator совместно разрабатывался с аппаратной частью — от компилятора до среды выполнения.

Демонстрация разделения вычислений блока внимания и FFN

Во время вступительной речи Шет также сообщил, что d-Matrix реализовала разделение вычислений блока внимания и FFN (AFD) с помощью системы Squadron в паре с серверами на базе графических процессоров. По данным компании, перенос вычислений экспертов модели и сети прямого распространения на стойки Corsair обеспечил скорость 845 токенов в секунду на пользователя, а гетерогенная конфигурация достигла общей пропускной способности 20 415 токенов в секунду при 64 одновременных пользователях. d-Matrix заявила, что первой продемонстрировала работу AFD на реальных кремниевых чипах, уже доступных в настоящее время.

В сопутствующей технической публикации от 12 октября 2026 года описана конфигурация тестирования. В качестве рабочей нагрузки использовалась GPT-OSS-20B — модель с архитектурой «смесь экспертов», в которой на экспертов приходится 19,12 млрд из общего числа 20,9 млрд параметров; при каждом выводе активны четыре из 32 экспертов, то есть примерно 3,6 млрд параметров. При точности 4 бита эти эксперты помещаются на сервере Corsair с восемью картами и 16 ГБ SRAM. Графический процессор Nvidia H100 с 80 ГБ памяти отвечает за механизм внимания, эмбеддинги, KV-кэш и маршрутизацию экспертов, а Corsair выполняет вычисления экспертов. При размере пакета 64 два графических процессора H100 совместно используют восемь ускорителей Corsair.

По данным d-Matrix, SRAM Corsair обеспечивает пропускную способность памяти 150 ТБ/с — в 45 раз выше, чем у HBM3 в H100, и примерно в девять раз выше, чем у HBM4, предлагающей 18 ТБ/с. Компания сообщила, что перенос вычислений прямого распространения на Corsair сократил время генерации одного выходного токена с 2,59 миллисекунды на одном H100 при длине контекста 1K до 1,28 миллисекунды — примерно на 50%.

В публикации описаны 24 цикла обмена данными между GPU и Corsair для 24 слоёв модели и ещё один цикл для выходного слоя языковой модели (LM head). GPU передаёт вектор скрытого состояния размерностью 2 880 и назначения экспертов по каналам JetStream, обеспечивающим пропускную способность Ethernet 400 Гбит/с на кластер. Инициируемая устройствами связь JetStream позволяет GPU записывать данные непосредственно в память Corsair, а Corsair — отправлять результаты обратно без участия хост-процессора. На каждой карте Corsair размещён отдельный фрагмент выходного слоя языковой модели; по словам d-Matrix, такое решение сократило время его обработки в десять раз.

Компания сообщила, что при размере пакета 64 система выполняет полный шаг декодирования для 64 пользователей за 2,46 миллисекунды при длине контекста 129. d-Matrix также заявила, что Corsair позволяет масштабировать конфигурации для спекулятивного декодирования и AFD до моделей с сотнями миллиардов параметров, назвав целевыми моделями GLM 5.x и Kimi K3.

Исследователи d-Matrix проведут демонстрацию AFD вживую на стенде компании C82 на OCP 14 октября 2026 года в 11:00 и 14:00 по тихоокеанскому времени, а также 15 октября 2026 года в 11:00 по тихоокеанскому времени.