D-Matrix, 다중 랙 AI 추론 클러스터 Squadron 공개

d-Matrix는 2026년 10월 12일 데이터센터 규모의 AI 추론을 위한 다중 랙 시스템 제품군 Squadron을 발표했다. 창업자 겸 CEO인 Sid Sheth는 산호세에서 열린 OCP Global Summit 첫날 기조연설에서 클러스터를 공개했다. 클러스터는 SquadRack 16개, Corsair XPU 최대 1,024개까지 확장할 수 있으며, 시스템은 주요 고객사에 출하되고 있다.

Squadron은 Arista, Broadcom, Supermicro와 협력해 개발했다. d-Matrix는 이미 애리조나 데이터센터에 시스템을 구축해 내부 연구개발에 활용하고 있으며, 고객사가 자체 데이터센터에 배치할 수 있도록 클러스터를 주요 고객사에 출하하고 있다. Squadron의 구성 요소인 Corsair 서버와 랙 규모 시스템 SquadRack은 일반 판매 중이다. d-Matrix는 Squadron이 메가와트급 추론 컴퓨팅을 제공한다고 설명했으며, 코딩, 개인 에이전트, 사이버 보안, 고빈도 매매 등 지연 시간에 민감한 애플리케이션을 운영하는 AI 연구소, 기업, 주권 기관을 겨냥한 제품이라고 밝혔다.

Sheth는 이번 출시를 d-Matrix가 특수 칩 기업에서 데이터센터 컴퓨팅 인프라 기업으로 진화하는 과정이라고 설명했다. 그는 회사 발표에서 “이제 고객은 초저지연 AI 애플리케이션을 구축하고 확장하는 데 필요한, 현재 이용할 수 있는 세계에서 가장 효율적인 데이터센터 규모 추론 인프라를 사용할 수 있습니다”라고 말했다.

Supermicro의 사장 겸 CEO인 Charles Liang은 이번 협력이 Data Center Building Block Solutions 프로그램을 통해 AI 기술을 제공하는 Supermicro의 역량을 보여준다고 말했다. 이 프로그램을 통해 고객은 첨단 AI 워크로드와 이기종 컴퓨팅 환경을 위한 효율적이고 고성능인 추론 인프라를 더 짧은 온라인 가동 시간으로 구축할 수 있다.

랙 구성 및 개방형 표준 상호 연결

Squadron은 다양한 구성으로 제공되며, 각각 8대의 서버를 탑재한 단일 랙인 SquadRack을 최대 16개까지 통합해 Corsair XPU 최대 1,024개를 갖춘 하나의 클러스터로 확장할 수 있다. 클러스터는 d-Matrix의 JetStream NIC로 상호 연결되며, 회사의 Aviator 소프트웨어와 함께 배포된다. 시스템은 공랭식이고 업계 표준을 기반으로 구축됐기 때문에, d-Matrix는 고객이 액체 냉각이나 신규 구축 없이 기존에 운영 중인 데이터센터에 시스템을 설치할 수 있다고 밝혔다. 고객은 동일한 아키텍처를 기반으로 Corsair 서버 한 대, SquadRack 전체 또는 여러 랙으로 구성된 Squadron 클러스터를 배포할 수 있다.

회사의 랙 규모 제품 페이지에는 기준 구성 4종이 소개돼 있다. 단일 서버 스타터 랙은 카드 8개와 1,200TB/s 속도의 성능 메모리 16GB를 탑재하고, 용량 메모리는 최대 2TB까지 지원하며, 소비 전력은 10kW 미만이다. 듀얼 서버 스타터 랙은 서버 2대와 카드 16개를 사용하며 성능 메모리는 32GB다. 정격 전력은 10~30kW이고 JetStream을 통한 이더넷 기반 확장을 지원한다. 멀티 서버 하프 랙은 서버 4대와 카드 32개를 사용하며 성능 메모리는 64GB, 정격 전력은 30~100kW다. 엔터프라이즈급 풀 랙은 서버 8대와 카드 64개를 사용하며 성능 메모리는 128GB다. 성능 모드에서 최대 1,000억 개의 매개변수를 가진 모델을 실행한다.

상호 연결에는 단일 노드 내 확장에 PCIe를, 랙 내 확장과 랙 간 수평 확장에 업계 표준 이더넷을 사용한다. 이 회사는 차세대 확장 및 수평 확장 표준을 개발 중인 업계 컨소시엄 UALink와 UEC의 회원사다.

SquadRack 및 Corsair 플랫폼의 배경

Squadron은 d-Matrix가 2025년 10월 14일 이전 OCP Global Summit에서 Arista, Broadcom, Supermicro와 함께 처음 SquadRack이라는 이름으로 발표한 랙 규모 제품군을 확장한 것이다. 당시 d-Matrix는 SquadRack이 AI 추론 전용으로 설계된 업계 최초의 랙 규모 솔루션이라고 설명하며, 기존 가속기보다 비용 대비 성능이 최대 3배 우수하고 에너지 효율은 3배 높으며 토큰 생성 속도는 최대 10배 빠르다고 밝혔다.

2025년 발표에 따르면 8노드 SquadRack은 최대 1,000억 개의 매개변수를 가진 생성형 AI 모델을 실행하며, 표준 기반 이더넷을 통해 여러 랙에 걸쳐 수백 개 노드까지 확장할 수 있다. 공개된 구성 요소에는 Corsair 추론 가속기, JetStream IO 가속기, Supermicro의 X14 AI 서버 플랫폼, 노드 내 확장을 위한 Broadcom PCIe 스위치, JetStream NIC에 연결되는 Arista Leaf 이더넷 스위치, Aviator 소프트웨어 스택이 포함된다.

두 시스템의 중심에 있는 Corsair 플랫폼은 기존 한계를 넘어 SRAM 용량을 확장하도록 설계된 칩렛 기반 구조를 사용하고, 기존 PCIe 기반 인프라에 통합되며, 최대 1,000억 개의 매개변수를 가진 모델을 지원한다. d-Matrix의 3DIMC 설계는 DRAM을 로직 다이 위에 직접 적층하며, Aviator 소프트웨어 스택은 컴파일러부터 런타임까지 하드웨어와 함께 공동 설계됐다.

어텐션-FFN 분리 시연

Sheth는 기조연설에서 d-Matrix가 Squadron 시스템과 GPU 서버를 결합해 어텐션-FFN 분리(AFD)를 구현했다고도 밝혔다. 회사에 따르면 모델의 전문가와 피드포워드 네트워크를 Corsair 랙으로 오프로드한 결과 사용자당 초당 845개 토큰을 처리했으며, 동시 사용자 64명을 둔 이기종 구성에서는 총 처리량이 초당 20,415개 토큰에 달했다. d-Matrix는 현재 구매할 수 있는 실제 실리콘에서 AFD 실행을 선보인 것은 자사가 처음이라고 밝혔다.

2026년 10월 12일에 공개된 관련 기술 게시물에서는 테스트 환경을 설명한다. 작업 부하로 사용된 GPT-OSS-20B는 전문가 혼합 모델로, 전체 매개변수 20.9 billion 중 19.12 billion이 전문가에 해당하며 추론할 때마다 32개 전문가 중 4개, 약 3.6 billion개의 매개변수가 활성화된다. 4비트 정밀도에서는 이 전문가들이 SRAM 16GB를 탑재한 Corsair 서버의 카드 8개에 들어간다. 80GB Nvidia H100 GPU는 어텐션, 임베딩, KV 캐시, 전문가 라우팅을 처리하고 Corsair는 전문가 연산을 수행하며, 배치 크기가 64일 때 H100 GPU 2개가 Corsair 가속기 8개를 공유한다.

d-Matrix는 Corsair의 SRAM이 150 TB/s의 메모리 대역폭을 제공한다고 밝혔다. 회사는 이 대역폭이 H100의 HBM3 대역폭보다 45배 높고, HBM4가 제공하는 18 TB/s보다 약 9배 높다고 설명했다. 또한 피드포워드 연산을 Corsair로 옮기면 컨텍스트 길이 1K에서 단독 H100의 출력 토큰당 처리 시간이 2.59밀리초에서 1.28밀리초로 줄어들어 약 50% 단축된다고 밝혔다.

이 게시물에 따르면 모델의 24개 레이어를 처리하기 위해 GPU와 Corsair 사이에서 24회 왕복 통신을 수행하고, LM 헤드 처리에 한 차례 더 왕복한다. 이때 GPU는 2,880차원의 은닉 상태 벡터와 대상 전문가 할당 정보를 JetStream 링크를 통해 전송하며, 이 링크는 클러스터당 400 Gb/s의 이더넷 대역폭을 제공한다. JetStream의 장치 주도 통신을 사용하면 GPU가 호스트 CPU의 개입 없이 Corsair 메모리에 직접 기록하고 Corsair도 결과를 다시 기록할 수 있다. 각 Corsair 카드에는 LM 헤드의 샤드 하나가 들어가며, d-Matrix는 이 방식으로 LM 헤드 처리 시간이 10분의 1로 줄었다고 밝혔다.

회사는 배치 크기 64에서 컨텍스트 길이 129일 때 시스템이 64명 전체 사용자의 디코딩 단계를 2.46밀리초 만에 완료한다고 밝혔다. d-Matrix는 또한 Corsair가 추측 디코딩 및 AFD 구성에서 수천억 개의 매개변수를 가진 모델까지 확장할 수 있다며, GLM 5.x와 Kimi K3를 적용 대상으로 제시했다.

d-Matrix 연구진은 2026년 10월 14일 오전 11시와 오후 2시(PT), 그리고 2026년 10월 15일 오전 11시(PT)에 회사의 OCP 부스 C82에서 AFD 시연을 진행한다.