D-Matrix представляє багатостійкові кластери Squadron для інференсу ШІ

12 жовтня 2026 року d-Matrix оголосила про Squadron — комплекс багатостійкових систем для інференсу ШІ в масштабах центрів обробки даних. Засновник і генеральний директор компанії Сід Шет представив кластери під час вступної доповіді першого дня саміту OCP Global Summit у Сан-Хосе. Кластери можна масштабувати до 16 SquadRacks і до 1 024 XPU Corsair; системи вже постачають пріоритетним клієнтам.

Squadron розробили у партнерстві з Arista, Broadcom і Supermicro. d-Matrix уже розгорнула систему у своєму центрі обробки даних в Аризоні для внутрішніх досліджень і розробок, а кластери постачають пріоритетним клієнтам для встановлення у їхніх власних центрах обробки даних. Базові компоненти Squadron — сервери Corsair і стійкові системи SquadRack — уже доступні широкому загалу. За словами d-Matrix, Squadron забезпечує обчислювальну потужність для інференсу на рівні мегаватів; кластери призначені для лабораторій ШІ, підприємств і суверенних організацій, які запускають чутливі до затримок застосунки, зокрема для програмування, персональних агентів, кібербезпеки та високочастотної торгівлі.

Шет представив цей запуск як перетворення d-Matrix зі спеціалізованої компанії з виробництва мікросхем на компанію, що створює обчислювальну інфраструктуру для центрів обробки даних. «Тепер клієнти мають доступ до найефективнішої у світі інфраструктури для інференсу в масштабах центрів обробки даних, доступної для створення та масштабування їхніх застосунків ШІ з наднизькою затримкою», — сказав він у оголошенні компанії.

Президент і генеральний директор Supermicro Чарльз Лян заявив, що ця співпраця демонструє здатність Supermicro постачати технології ШІ в межах програми Data Center Building Block Solutions. Вона дає клієнтам змогу розгортати ефективну високопродуктивну інфраструктуру для інференсу, швидше вводити її в експлуатацію та використовувати для складних навантажень ШІ й у неоднорідних обчислювальних середовищах.

Конфігурації стійок і з’єднання на основі відкритих стандартів

Squadron пропонується в різних конфігураціях, які можна масштабувати до 16 SquadRacks — кожна з них є окремою стійкою з вісьмома серверами. Їх можна об’єднати в один інтегрований кластер із до 1 024 XPU Corsair. Кластери з’єднуються за допомогою мережевих карт JetStream від d-Matrix і працюють із програмним забезпеченням Aviator від компанії. Оскільки системи мають повітряне охолодження та побудовані на основі галузевих стандартів, клієнти, за словами d-Matrix, можуть встановлювати їх у центрах обробки даних, якими вже користуються, без рідинного охолодження чи будівництва нової інфраструктури. На одній архітектурі клієнти можуть розгорнути окремий сервер Corsair, цілу стійку SquadRack або багатостійковий кластер Squadron.

На сторінці продукту стійкового масштабу компанії наведено чотири типові конфігурації. Початкова стійка з одним сервером містить вісім карт із 16 ГБ високопродуктивної пам’яті, пропускна здатність якої становить 1 200 ТБ/с, до 2 ТБ пам’яті для зберігання даних і споживає менш ніж 10 кВт. Початкова стійка з двома серверами містить два сервери й 16 карт із 32 ГБ високопродуктивної пам’яті; її номінальна потужність становить 10–30 кВт, а масштабування за межі стійки відбувається через Ethernet за допомогою JetStream. Напівстійка з кількома серверами містить чотири сервери й 32 карти з 64 ГБ високопродуктивної пам’яті; її номінальна потужність становить 30–100 кВт. Повнорозмірна стійка корпоративного класу містить вісім серверів і 64 карти зі 128 ГБ високопродуктивної пам’яті та запускає моделі обсягом до 100 млрд параметрів у режимі високої продуктивності.

Для з’єднання компонентів d-Matrix використовує PCIe для нарощування потужності в межах одного вузла, а галузевий стандарт Ethernet — для масштабування в межах стійки та між стійками. Компанія входить до галузевих консорціумів UALink і UEC, які працюють над стандартами наступного покоління для вертикального та горизонтального масштабування.

Передумови створення SquadRack і платформи Corsair

Squadron розвиває лінійку стійкових систем, яку d-Matrix уперше представила під назвою SquadRack 14 жовтня 2025 року на попередньому саміті OCP Global Summit, знову разом з Arista, Broadcom і Supermicro. Тоді d-Matrix назвала SquadRack першою в галузі стійковою системою, спеціально створеною для інференсу ШІ, і заявила, що вона забезпечує до утричі краще співвідношення ціни та продуктивності, утричі вищу енергоефективність і до десяти разів швидше генерує токени, ніж традиційні прискорювачі.

Згідно з оголошенням 2025 року, восьмивузлова SquadRack запускає генеративні моделі ШІ обсягом до 100 млрд параметрів, а масштабування за межі стійки на основі стандартного Ethernet дає змогу з’єднувати сотні вузлів у кількох стійках. До переліку компонентів входять прискорювачі інференсу Corsair, прискорювачі введення-виведення JetStream, серверна платформа для ШІ Supermicro X14 AI Server Platform, комутатори PCIe Broadcom для нарощування потужності в межах вузла, комутатори Ethernet Leaf від Arista, з’єднані з мережевими картами JetStream, і програмний стек Aviator.

В основі обох систем лежить платформа Corsair: вона використовує конструкцію на основі чиплетів, що має забезпечити масштабування SRAM понад традиційні обмеження, інтегрується в наявну інфраструктуру на базі PCIe та підтримує моделі обсягом до 100 млрд параметрів. У конструкції 3DIMC від d-Matrix пам’ять DRAM розміщена безпосередньо на кристалі логіки, а програмний стек Aviator спільно розроблявся з апаратним забезпеченням — від компілятора до середовища виконання.

Демонстрація розділення механізму уваги та мережі прямого поширення (FFN)

Під час вступної доповіді Шет також повідомив, що d-Matrix реалізувала розділення механізму уваги та мережі прямого поширення (attention-FFN disaggregation, або AFD), використавши систему Squadron у парі із серверними системами на базі графічних процесорів. За даними компанії, перенесення експертів моделі та мережі прямого поширення на стійки Corsair забезпечило швидкість 845 токенів на секунду на користувача, а гетерогенна конфігурація досягла загальної пропускної здатності 20 415 токенів на секунду за одночасної роботи 64 користувачів. d-Matrix заявила, що першою продемонструвала роботу AFD на реальному кремнії, який уже доступний.

У супровідній технічній публікації, опублікованій 12 жовтня 2026 року, описано конфігурацію тестування. Робочим навантаженням була GPT-OSS-20B — модель із сумішшю експертів, у якій на експертів припадає 19,12 млрд із загальних 20,9 млрд параметрів; під час кожного інференсу активні чотири з 32 експертів, тобто приблизно 3,6 млрд параметрів. За чотирибітної точності ці експерти вміщуються на сервері Corsair із вісьмома картами та 16GB SRAM. Графічний процесор Nvidia H100 із 80GB обробляє механізм уваги, вбудовування, кеш KV і маршрутизацію до експертів, тоді як Corsair виконує обчислення експертів. За розміру пакета 64 два графічні процесори H100 спільно використовують вісім прискорювачів Corsair.

За словами d-Matrix, SRAM у Corsair забезпечує пропускну здатність пам’яті 150 TB/s, що, як стверджує компанія, у 45 разів перевищує пропускну здатність HBM3 у H100 і приблизно в дев’ять разів — 18 TB/s, які забезпечує HBM4. Компанія повідомила, що перенесення обчислень прямого поширення на Corsair скоротило час обробки одного вихідного токена з 2,59 мілісекунди на одному H100 за довжини контексту 1K до 1,28 мілісекунди — приблизно на 50 відсотків.

У публікації описано 24 цикли обміну даними між графічним процесором і Corsair для 24 шарів моделі та ще один цикл для голови мовної моделі (LM head). Графічний процесор надсилає вектор прихованого стану розмірністю 2 880 і призначення для цільових експертів через канали JetStream, які забезпечують пропускну здатність Ethernet 400 Gb/s на кластер. Ініційований пристроями обмін даними JetStream дає графічному процесору змогу записувати інформацію безпосередньо в пам’ять Corsair, а Corsair — надсилати результати назад без участі центрального процесора хоста. На кожній карті Corsair розміщено один сегмент голови мовної моделі; за словами d-Matrix, таке рішення скоротило час її обробки в десять разів.

За розміру пакета 64 система, як повідомила компанія, виконує повний крок декодування для 64 користувачів за 2,46 мілісекунди за довжини контексту 129. d-Matrix також заявила, що Corsair може масштабувати конфігурації спекулятивного декодування та AFD для моделей із сотнями мільярдів параметрів, назвавши GLM 5.x і Kimi K3 цільовими моделями.

Дослідники d-Matrix наживо продемонструють AFD на стенді компанії OCP C82 14 жовтня 2026 року об 11:00 та о 14:00 за тихоокеанським часом (PT), а також 15 жовтня 2026 року об 11:00 за тихоокеанським часом (PT).