D-Matrix ra mắt các cụm suy luận AI đa rack Squadron

Ngày 12 tháng 10 năm 2026, d-Matrix công bố Squadron, một hệ thống gồm nhiều rack dành cho suy luận AI ở quy mô trung tâm dữ liệu. Nhà sáng lập kiêm CEO Sid Sheth giới thiệu các cụm này trong bài phát biểu khai mạc tại OCP Global Summit ở San Jose. Các cụm có thể mở rộng lên đến 16 SquadRacks và tối đa 1.024 Corsair XPU; hệ thống hiện đang được giao cho các khách hàng ưu tiên.

Squadron được phát triển với sự hợp tác của Arista, Broadcom và Supermicro. d-Matrix đã triển khai hệ thống này tại trung tâm dữ liệu của mình ở Arizona để phục vụ hoạt động nghiên cứu và phát triển nội bộ; các cụm cũng đang được giao cho khách hàng ưu tiên để triển khai tại trung tâm dữ liệu của họ. Các cấu phần nền tảng của Squadron—máy chủ Corsair và hệ thống rack quy mô lớn SquadRack của công ty—đã được cung cấp rộng rãi. d-Matrix cho biết Squadron cung cấp năng lực tính toán suy luận ở quy mô megawatt và hướng đến các phòng thí nghiệm AI, doanh nghiệp và tổ chức có chủ quyền đang vận hành những ứng dụng nhạy cảm với độ trễ, chẳng hạn như lập trình, tác nhân cá nhân, an ninh mạng và giao dịch tần suất cao.

Sheth mô tả lần ra mắt này là bước chuyển mình của d-Matrix từ một công ty chuyên về chip thành doanh nghiệp cung cấp cơ sở hạ tầng tính toán cho trung tâm dữ liệu. Ông nói trong thông báo của công ty: “Giờ đây, khách hàng có thể tiếp cận cơ sở hạ tầng suy luận hiệu quả nhất thế giới ở quy mô trung tâm dữ liệu, phục vụ việc xây dựng và nhanh chóng mở rộng các ứng dụng AI có độ trễ cực thấp.”

Chủ tịch kiêm CEO của Supermicro, Charles Liang, cho biết sự hợp tác này thể hiện năng lực cung cấp công nghệ AI của Supermicro thông qua chương trình Data Center Building Block Solutions, giúp khách hàng triển khai cơ sở hạ tầng suy luận hiệu quả, hiệu năng cao nhanh hơn, sẵn sàng đưa vào vận hành các khối lượng công việc AI tiên tiến và môi trường điện toán không đồng nhất.

Cấu hình rack và kết nối theo tiêu chuẩn mở

Squadron có nhiều cấu hình, có thể mở rộng lên đến 16 SquadRacks, mỗi rack gồm tám máy chủ, kết hợp thành một cụm tích hợp duy nhất với tối đa 1.024 Corsair XPU. Các cụm được kết nối với nhau bằng card mạng JetStream của d-Matrix và triển khai cùng phần mềm Aviator của công ty. d-Matrix cho biết, nhờ sử dụng hệ thống làm mát bằng không khí và được xây dựng theo các tiêu chuẩn ngành, khách hàng có thể lắp đặt hệ thống tại những trung tâm dữ liệu hiện có mà không cần làm mát bằng chất lỏng hay xây dựng cơ sở mới. Khách hàng có thể triển khai một máy chủ Corsair, một SquadRack hoàn chỉnh hoặc một cụm Squadron gồm nhiều rack trên cùng một kiến trúc.

Trang sản phẩm quy mô rack của công ty liệt kê bốn cấu hình tham chiếu. Rack khởi đầu một máy chủ có tám card với 16GB bộ nhớ hiệu năng, tốc độ 1.200 TB/s, tối đa 2TB bộ nhớ dung lượng và mức tiêu thụ điện dưới 10 kW. Rack khởi đầu hai máy chủ sử dụng hai máy chủ và 16 card, với 32GB bộ nhớ hiệu năng; công suất định mức là 10–30 kW và có thể mở rộng thông qua Ethernet bằng JetStream. Rack nửa rack bốn máy chủ sử dụng bốn máy chủ và 32 card, với 64GB bộ nhớ hiệu năng; công suất định mức là 30–100 kW. Rack hoàn chỉnh sẵn sàng cho doanh nghiệp sử dụng tám máy chủ và 64 card, với 128GB bộ nhớ hiệu năng, có thể chạy các mô hình lên đến 100 tỷ tham số ở chế độ hiệu năng.

Để kết nối, d-Matrix sử dụng PCIe nhằm mở rộng trong một nút đơn, cùng Ethernet theo tiêu chuẩn ngành để mở rộng trong phạm vi một rack và mở rộng ra nhiều rack. Công ty là thành viên của các liên minh ngành UALink và UEC, đang phát triển những tiêu chuẩn mở rộng thế hệ tiếp theo.

Thông tin nền về SquadRack và nền tảng Corsair

Squadron mở rộng dòng sản phẩm quy mô rack mà d-Matrix lần đầu công bố với tên SquadRack vào ngày 14 tháng 10 năm 2025, tại kỳ OCP Global Summit trước đó, một lần nữa với sự tham gia của Arista, Broadcom và Supermicro. Tại sự kiện đó, d-Matrix mô tả SquadRack là giải pháp quy mô rack đầu tiên trong ngành được thiết kế chuyên biệt cho suy luận AI, đồng thời cho biết giải pháp này mang lại hiệu năng trên chi phí tốt hơn gấp ba lần, hiệu quả năng lượng cao gấp ba lần và tốc độ tạo token nhanh hơn tới mười lần so với các bộ tăng tốc truyền thống.

Theo thông báo năm 2025, một SquadRack tám nút có thể chạy các mô hình AI tạo sinh lên đến 100 tỷ tham số, với khả năng mở rộng qua Ethernet theo tiêu chuẩn đến hàng trăm nút trên nhiều rack. Các cấu phần được liệt kê gồm bộ tăng tốc suy luận Corsair, bộ tăng tốc I/O JetStream, nền tảng máy chủ AI X14 của Supermicro, bộ chuyển mạch PCIe của Broadcom để mở rộng trong một nút, bộ chuyển mạch Ethernet Arista Leaf kết nối với card mạng JetStream và nền tảng phần mềm Aviator.

Nền tảng Corsair, trung tâm của cả hai hệ thống, sử dụng thiết kế dựa trên chiplet nhằm mở rộng SRAM vượt quá các giới hạn truyền thống, tích hợp với cơ sở hạ tầng hiện có dựa trên PCIe và hỗ trợ các mô hình lên đến 100 tỷ tham số. Thiết kế 3DIMC của d-Matrix xếp chồng DRAM trực tiếp lên khuôn logic; nền tảng phần mềm Aviator được đồng thiết kế cùng phần cứng, từ trình biên dịch đến thời gian chạy.

Trình diễn tách rời Attention và FFN

Trong bài phát biểu, Sheth cũng tiết lộ d-Matrix đã triển khai phương pháp tách rời attention và FFN, hay AFD, bằng cách kết hợp hệ thống Squadron với các máy chủ GPU. Công ty cho biết việc chuyển các chuyên gia của mô hình và mạng truyền thẳng sang các rack Corsair đạt tốc độ 845 token mỗi giây cho mỗi người dùng; cấu hình không đồng nhất này đạt tổng thông lượng 20.415 token mỗi giây với 64 người dùng đồng thời. d-Matrix cho biết đây là công ty đầu tiên trình diễn AFD chạy trên silicon thực đang được cung cấp hiện nay.

Một bài viết kỹ thuật đi kèm, được đăng ngày 12 tháng 10 năm 2026, mô tả thiết lập thử nghiệm. Tác vụ sử dụng GPT-OSS-20B, một mô hình hỗn hợp chuyên gia trong đó các chuyên gia chiếm 19,12 tỷ trong tổng số 20,9 tỷ tham số; ở mỗi lần suy luận, có 4 trong số 32 chuyên gia hoạt động, tương ứng với khoảng 3,6 tỷ tham số. Ở độ chính xác 4 bit, các chuyên gia này có thể chạy trên máy chủ Corsair với tám card và 16GB SRAM. GPU Nvidia H100 80GB đảm nhiệm cơ chế chú ý, nhúng, bộ nhớ đệm KV và định tuyến chuyên gia, trong khi Corsair thực hiện tính toán chuyên gia; với kích thước lô 64, hai GPU H100 cùng sử dụng tám bộ tăng tốc Corsair.

d-Matrix cho biết SRAM của Corsair cung cấp băng thông bộ nhớ 150 TB/s, cao gấp 45 lần băng thông HBM3 trên H100 và xấp xỉ chín lần mức 18 TB/s mà HBM4 cung cấp. Công ty báo cáo rằng việc chuyển tác vụ mạng truyền thẳng sang Corsair đã rút ngắn thời gian xử lý mỗi token đầu ra từ 2,59 mili giây trên một GPU H100 đơn lẻ ở độ dài ngữ cảnh 1K xuống còn 1,28 mili giây, tức giảm khoảng 50%.

Bài viết mô tả 24 lượt trao đổi dữ liệu giữa GPU và Corsair tương ứng với 24 lớp của mô hình, cùng một lượt trao đổi bổ sung dành cho đầu LM. GPU gửi một vectơ trạng thái ẩn có 2.880 chiều cùng các phân công chuyên gia đích qua các kết nối JetStream, cung cấp băng thông Ethernet 400 Gb/s cho mỗi cụm. Cơ chế giao tiếp do thiết bị khởi tạo của JetStream cho phép GPU ghi trực tiếp vào bộ nhớ Corsair và Corsair gửi kết quả trở lại mà không cần CPU máy chủ tham gia. Mỗi card Corsair chứa một phân đoạn của đầu LM; theo d-Matrix, cách bố trí này giúp giảm thời gian xử lý đầu LM xuống còn một phần mười.

Công ty cho biết với kích thước lô 64, hệ thống hoàn tất một bước giải mã đầy đủ cho 64 người dùng trong 2,46 mili giây ở độ dài ngữ cảnh 129. d-Matrix cũng cho biết Corsair có thể mở rộng các cấu hình giải mã suy đoán và AFD để chạy các mô hình có hàng trăm tỷ tham số, trong đó GLM 5.x và Kimi K3 là những mục tiêu được nêu tên.

Các nhà nghiên cứu của d-Matrix sẽ trình diễn trực tiếp AFD tại gian hàng C82 của công ty ở OCP vào ngày 14 tháng 10 năm 2026, lúc 11 giờ sáng và 2 giờ chiều theo giờ Thái Bình Dương (PT), cũng như ngày 15 tháng 10 năm 2026, lúc 11 giờ sáng theo giờ Thái Bình Dương (PT).