D-Matrix apresenta clusters de inferência de IA Squadron com vários racks

A d-Matrix anunciou o Squadron, um conjunto de sistemas com vários racks para inferência de IA em escala de data center, em 12 de outubro de 2026. O fundador e CEO Sid Sheth apresentou os clusters durante a palestra de abertura do primeiro dia do OCP Global Summit, em San Jose. Os clusters podem chegar a 16 SquadRacks e até 1.024 XPUs Corsair, e os sistemas estão sendo enviados a clientes prioritários.

O Squadron foi desenvolvido em parceria com Arista, Broadcom e Supermicro. A d-Matrix já implantou o sistema em seu data center no Arizona para pesquisa e desenvolvimento internos, e os clusters estão sendo enviados a clientes prioritários para implantação em seus próprios data centers. Os componentes básicos do Squadron — os servidores Corsair e os sistemas SquadRack para escala de rack da empresa — estão disponíveis para venda geral. A d-Matrix afirma que o Squadron oferece capacidade de computação de inferência na escala de megawatts e disse que os clusters são voltados a laboratórios de IA, empresas e organizações soberanas que executam aplicações sensíveis à latência, como programação, agentes pessoais, cibersegurança e negociação de alta frequência.

Sheth apresentou o lançamento como a evolução da d-Matrix, de uma empresa especializada em chips para um negócio de infraestrutura de computação para data centers. “Agora, os clientes têm acesso à infraestrutura de inferência em escala de data center mais eficiente do mundo, disponível para desenvolver e ampliar suas aplicações de IA com latência ultrabaixa”, afirmou no comunicado da empresa.

O presidente e CEO da Supermicro, Charles Liang, disse que a colaboração demonstra a capacidade da Supermicro de fornecer tecnologias de IA por meio de seu programa Data Center Building Block Solutions, permitindo que os clientes implantem uma infraestrutura de inferência eficiente e de alto desempenho, com menor tempo até a entrada em operação, para cargas de trabalho avançadas de IA e ambientes de computação heterogêneos.

Configurações de rack e interconexão de padrão aberto

O Squadron está disponível em várias configurações, que podem chegar a 16 SquadRacks — cada um formado por um único rack com oito servidores — combinados em um cluster integrado com até 1.024 XPUs Corsair. Os clusters são interconectados por NICs JetStream da d-Matrix e implantados com o software Aviator da empresa. Como os sistemas são refrigerados a ar e construídos com base em padrões do setor, a d-Matrix afirmou que os clientes podem instalá-los nos data centers que já operam, sem refrigeração líquida nem novas instalações. Os clientes podem implantar um único servidor Corsair, um SquadRack completo ou um cluster Squadron com vários racks usando a mesma arquitetura.

A página de produtos da empresa para escala de rack apresenta quatro configurações de referência. O rack inicial de servidor único conta com oito placas, 16 GB de memória de desempenho com largura de banda de 1.200 TB/s, até 2 TB de memória de capacidade e consumo de energia inferior a 10 kW. O rack inicial de servidor duplo usa dois servidores e 16 placas, com 32 GB de memória de desempenho; sua potência nominal é de 10 a 30 kW, com expansão baseada em Ethernet por meio do JetStream. O meio rack multiservidor usa quatro servidores e 32 placas, com 64 GB de memória de desempenho e potência nominal de 30 a 100 kW. O rack completo pronto para empresas usa oito servidores e 64 placas, com 128 GB de memória de desempenho, e executa modelos de até 100 bilhões de parâmetros no modo de desempenho.

Para a interconexão, a d-Matrix usa PCIe para expandir a capacidade dentro de um único nó e Ethernet padrão do setor para expandir a capacidade dentro de um rack e entre racks. A empresa é membro dos consórcios do setor UALink e UEC, que trabalham em padrões de próxima geração para expansão dentro de um sistema e entre sistemas.

Contexto sobre o SquadRack e a plataforma Corsair

O Squadron amplia a linha de produtos para escala de rack que a d-Matrix anunciou pela primeira vez como SquadRack em 14 de outubro de 2025, no OCP Global Summit anterior, também ao lado de Arista, Broadcom e Supermicro. Na ocasião, a d-Matrix descreveu o SquadRack como a primeira solução do setor para escala de rack projetada especificamente para inferência de IA e afirmou que ele oferece até três vezes mais relação custo-desempenho, três vezes mais eficiência energética e geração de tokens até dez vezes mais rápida que a dos aceleradores tradicionais.

Segundo o anúncio de 2025, um SquadRack de oito nós executa modelos de IA generativa com até 100 bilhões de parâmetros, com expansão por Ethernet baseada em padrões para centenas de nós distribuídos por vários racks. Entre os componentes listados estão os aceleradores de inferência Corsair, os aceleradores de E/S JetStream, a plataforma de servidor de IA X14 da Supermicro, os switches PCIe da Broadcom para expansão dentro de um nó, os switches Ethernet Leaf da Arista conectados às NICs JetStream e a pilha de software Aviator.

A plataforma Corsair, que está no centro dos dois sistemas, usa um design baseado em chiplets, concebido para ampliar a SRAM além dos limites tradicionais, integra-se à infraestrutura existente baseada em PCIe e oferece suporte a modelos de até 100 bilhões de parâmetros. O design 3DIMC da d-Matrix empilha DRAM diretamente sobre a matriz lógica, e a pilha de software Aviator é projetada em conjunto com o hardware, do compilador ao ambiente de execução.

Demonstração da desagregação de atenção e FFN

Sheth também revelou durante a palestra que a d-Matrix implementou a desagregação de atenção e FFN, ou AFD, usando um sistema Squadron emparelhado com servidores equipados com GPUs. A empresa informou que transferir os especialistas do modelo e a rede feed-forward para racks Corsair gerou 845 tokens por segundo por usuário e que a configuração heterogênea alcançou uma taxa de transferência total de 20.415 tokens por segundo com 64 usuários simultâneos. A d-Matrix afirmou ser a primeira a demonstrar AFD em silício real atualmente disponível.

Uma publicação técnica complementar, publicada em 12 de outubro de 2026, descreve a configuração do teste. A carga de trabalho é o GPT-OSS-20B, um modelo de mistura de especialistas no qual os especialistas representam 19,12 bilhões dos 20,9 bilhões de parâmetros totais; quatro dos 32 especialistas ficam ativos em cada inferência, totalizando cerca de 3,6 bilhões de parâmetros. Com precisão de quatro bits, esses especialistas cabem em um servidor Corsair com oito placas e 16 GB de SRAM. Uma GPU Nvidia H100 de 80 GB processa a atenção, as incorporações, o cache KV e o encaminhamento dos especialistas, enquanto o Corsair executa os cálculos dos especialistas; com um tamanho de lote de 64, duas GPUs H100 compartilham oito aceleradores Corsair.

A d-Matrix afirmou que a SRAM do Corsair oferece uma largura de banda de memória de 150 TB/s, o que, segundo a empresa, é 45 vezes a largura de banda da HBM3 em uma H100 e cerca de nove vezes os 18 TB/s oferecidos pela HBM4. A empresa informou que transferir o processamento da rede feed-forward para o Corsair reduziu o tempo por token gerado de 2,59 milissegundos, em uma única H100 com um comprimento de contexto de 1K, para 1,28 milissegundos — uma redução de cerca de 50%.

A publicação descreve 24 viagens de ida e volta entre a GPU e o Corsair, correspondentes às 24 camadas do modelo, além de mais uma para a cabeça do modelo de linguagem (LM head). A GPU envia um vetor de estado oculto de 2.880 dimensões e as atribuições dos especialistas de destino por meio de conexões JetStream, que oferecem largura de banda Ethernet de 400 Gb/s por cluster. A comunicação iniciada pelo dispositivo do JetStream permite que a GPU grave diretamente na memória do Corsair e que o Corsair devolva os resultados sem intervenção da CPU hospedeira. Cada placa Corsair contém uma partição da cabeça do modelo de linguagem, uma configuração que, segundo a d-Matrix, reduziu em dez vezes o tempo de processamento dessa camada.

Com um tamanho de lote de 64, a empresa afirmou que o sistema conclui uma etapa completa de decodificação para 64 usuários em 2,46 milissegundos, com um comprimento de contexto de 129. A d-Matrix também afirmou que o Corsair pode ser dimensionado para executar configurações de decodificação especulativa e AFD em modelos com centenas de bilhões de parâmetros, citando GLM 5.x e Kimi K3 como alvos.

Pesquisadores da d-Matrix apresentarão a demonstração de AFD ao vivo no estande C82 da empresa na OCP, em 14 de outubro de 2026, às 11h e às 14h, horário do Pacífico (PT), e em 15 de outubro de 2026, às 11h, horário do Pacífico (PT).