D-Matrix presenta Squadron, clústeres de inferencia de IA de varios racks

d-Matrix anunció Squadron, una flota de sistemas de varios racks para inferencia de IA a escala de centro de datos, el 12 de octubre de 2026. Su fundador y director ejecutivo, Sid Sheth, presentó los clústeres durante su discurso inaugural en la primera jornada de la OCP Global Summit, en San José. Los clústeres pueden ampliarse hasta 16 SquadRacks y un máximo de 1.024 XPU Corsair, y los sistemas ya se están enviando a clientes prioritarios.

Squadron se desarrolló en colaboración con Arista, Broadcom y Supermicro. d-Matrix ya implementó el sistema en su centro de datos de Arizona para actividades internas de investigación y desarrollo, y está enviando los clústeres a clientes prioritarios para que los instalen en sus propios centros de datos. Los componentes básicos de Squadron —los servidores Corsair de la compañía y los sistemas rack-scale SquadRack— están disponibles de forma general. d-Matrix afirma que Squadron ofrece capacidad de cómputo de inferencia de varios megavatios y señaló que los clústeres están dirigidos a laboratorios de IA, empresas y organizaciones soberanas que ejecutan aplicaciones sensibles a la latencia, como programación, agentes personales, ciberseguridad y operaciones bursátiles de alta frecuencia.

Sheth presentó el lanzamiento como una evolución de d-Matrix, que pasa de ser una empresa especializada en chips a convertirse en un negocio de infraestructura de cómputo para centros de datos. «Ahora, los clientes tienen acceso a la infraestructura de inferencia a escala de centro de datos más eficiente del mundo disponible para desarrollar y ampliar sus aplicaciones de IA de latencia ultrabaja», afirmó en el anuncio de la compañía.

El presidente y director ejecutivo de Supermicro, Charles Liang, señaló que la colaboración demuestra la capacidad de Supermicro para ofrecer tecnologías de IA mediante su programa Data Center Building Block Solutions, lo que permite a los clientes implementar infraestructura de inferencia eficiente y de alto rendimiento, con un menor tiempo hasta la puesta en línea, para cargas de trabajo avanzadas de IA y entornos de computación heterogéneos.

Configuraciones de racks e interconexión de estándar abierto

Squadron está disponible en una variedad de configuraciones que pueden ampliarse hasta 16 SquadRacks —cada uno, un rack individual con ocho servidores— combinados en un único clúster integrado con un máximo de 1.024 XPU Corsair. Los clústeres se interconectan mediante NIC JetStream de d-Matrix y se implementan con el software Aviator de la compañía. Como los sistemas utilizan refrigeración por aire y se basan en estándares de la industria, d-Matrix afirmó que los clientes pueden instalarlos en los centros de datos que ya operan, sin necesidad de refrigeración líquida ni de construir nuevas instalaciones. Los clientes pueden implementar un único servidor Corsair, un SquadRack completo o un clúster Squadron de varios racks sobre la misma arquitectura.

La página de productos para racks de la compañía enumera cuatro configuraciones de referencia. El rack inicial de un servidor incorpora ocho tarjetas con 16 GB de memoria de rendimiento a 1.200 TB/s, hasta 2 TB de memoria de capacidad y un consumo inferior a 10 kW. El rack inicial de dos servidores utiliza dos servidores y 16 tarjetas con 32 GB de memoria de rendimiento; su potencia nominal es de 10–30 kW y permite ampliar el sistema mediante Ethernet a través de JetStream. El medio rack de varios servidores utiliza cuatro servidores y 32 tarjetas con 64 GB de memoria de rendimiento, y tiene una potencia nominal de 30–100 kW. El rack completo listo para empresas utiliza ocho servidores y 64 tarjetas con 128 GB de memoria de rendimiento, y ejecuta modelos de hasta 100.000 millones de parámetros en modo de rendimiento.

Para la interconexión, d-Matrix utiliza PCIe para ampliar la capacidad dentro de un único nodo, y Ethernet estándar de la industria para ampliarla dentro de un rack y escalar horizontalmente entre racks. La compañía forma parte de los consorcios industriales UALink y UEC, que trabajan en estándares de próxima generación para la expansión vertical y horizontal.

Antecedentes de SquadRack y la plataforma Corsair

Squadron amplía la línea de sistemas rack-scale que d-Matrix presentó por primera vez como SquadRack el 14 de octubre de 2025, durante la edición anterior de la OCP Global Summit, nuevamente junto con Arista, Broadcom y Supermicro. En ese evento, d-Matrix describió SquadRack como la primera solución de la industria diseñada específicamente para la inferencia de IA y afirmó que ofrece una relación costo-rendimiento hasta tres veces mejor, una eficiencia energética tres veces mayor y una generación de tokens hasta diez veces más rápida que los aceleradores tradicionales.

Según el anuncio de 2025, un SquadRack de ocho nodos ejecuta modelos de IA generativa de hasta 100.000 millones de parámetros, y la conexión mediante Ethernet basada en estándares permite escalar horizontalmente a cientos de nodos distribuidos en varios racks. Entre sus componentes se enumeran los aceleradores de inferencia Corsair, los aceleradores de E/S JetStream, la plataforma de servidores de IA X14 de Supermicro, los conmutadores PCIe de Broadcom para ampliar la capacidad dentro de un nodo, los conmutadores Ethernet Leaf de Arista conectados a las NIC JetStream y la pila de software Aviator.

La plataforma Corsair, que constituye el núcleo de ambos sistemas, utiliza un diseño basado en chiplets pensado para ampliar la SRAM más allá de los límites tradicionales, se integra en la infraestructura existente basada en PCIe y admite modelos de hasta 100.000 millones de parámetros. El diseño 3DIMC de d-Matrix apila memoria DRAM directamente sobre la matriz lógica, y la pila de software Aviator se diseña conjuntamente con el hardware, desde el compilador hasta el entorno de ejecución.

Demostración de la desagregación de atención y FFN

Durante el discurso inaugural, Sheth también reveló que d-Matrix implementó la desagregación de atención y FFN, o AFD, mediante un sistema Squadron emparejado con servidores GPU. La compañía informó que descargar en los racks Corsair los expertos del modelo y la red de alimentación hacia delante produjo 845 tokens por segundo por usuario, y que la configuración heterogénea alcanzó un rendimiento total de 20.415 tokens por segundo con 64 usuarios simultáneos. d-Matrix afirmó que es la primera compañía en mostrar AFD funcionando en silicio real actualmente disponible.

Una publicación técnica complementaria, publicada el 12 de octubre de 2026, describe la configuración de la prueba. La carga de trabajo es GPT-OSS-20B, un modelo de mezcla de expertos en el que los expertos representan 19.12 mil millones de los 20.9 mil millones de parámetros totales, con cuatro de los 32 expertos activos por inferencia, es decir, aproximadamente 3.6 mil millones de parámetros. Con una precisión de cuatro bits, esos expertos caben en un servidor Corsair con ocho tarjetas y 16 GB de SRAM. Una GPU Nvidia H100 de 80 GB se encarga de la atención, las incrustaciones, la caché KV y el enrutamiento de expertos, mientras que Corsair ejecuta los cálculos de los expertos. Con un tamaño de lote de 64, dos GPU H100 comparten ocho aceleradores Corsair.

d-Matrix afirmó que la SRAM de Corsair ofrece un ancho de banda de memoria de 150 TB/s, que, según la empresa, es 45 veces el ancho de banda de HBM3 en una H100 y aproximadamente nueve veces los 18 TB/s que ofrece HBM4. La empresa informó que trasladar el trabajo de la red de propagación hacia delante a Corsair redujo el tiempo por token de salida de 2.59 milisegundos en una H100 independiente, con una longitud de contexto de 1K, a 1.28 milisegundos, una reducción de aproximadamente el 50 por ciento.

La publicación describe 24 viajes de ida y vuelta entre la GPU y Corsair, uno por cada una de las 24 capas del modelo, más uno adicional para el cabezal LM. La GPU envía un vector de estado oculto de 2,880 dimensiones y las asignaciones de expertos objetivo a través de enlaces JetStream, que proporcionan un ancho de banda Ethernet de 400 Gb/s por clúster. La comunicación iniciada por los dispositivos de JetStream permite que la GPU escriba directamente en la memoria de Corsair y que Corsair devuelva los resultados sin la intervención de la CPU del equipo anfitrión. Cada tarjeta Corsair contiene una partición del cabezal LM; según d-Matrix, esta configuración redujo diez veces el tiempo de procesamiento del cabezal LM.

Con un tamaño de lote de 64, la empresa afirmó que el sistema completa un paso de decodificación para los 64 usuarios en 2.46 milisegundos, con una longitud de contexto de 129. d-Matrix también afirmó que Corsair puede escalar las configuraciones de decodificación especulativa y AFD para modelos de cientos de miles de millones de parámetros, y mencionó GLM 5.x y Kimi K3 como objetivos.

Los investigadores de d-Matrix presentarán la demostración de AFD en directo en el estand C82 de OCP de la empresa el 14 de octubre de 2026, a las 11 a. m. y a las 2 p. m., hora del Pacífico, y el 15 de octubre de 2026, a las 11 a. m., hora del Pacífico.