Parcerias

SambaNova combina GPUs da Intel com SN50 para inferência de IA refrigerada a ar

Theo Nash
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveA SambaNova divide a inferência de modo que as GPUs Intel tratam do prefill enquanto as…
Ver mais
  • A SambaNova divide a inferência de modo que as GPUs Intel tratam do prefill enquanto as suas RDUs tratam da decodificação limitada pela memória.
  • Ethernet padrão e software de serviço aberto conectam os dois pools de aceleradores sem interconexões proprietárias.
  • O design refrigerado a ar visa data centers já existentes onde adaptações para refrigeração líquida são impraticáveis.

A SambaNova Systems anunciou em 15 de novembro de 2026 que ela e a Intel haviam demonstrado um sistema de inferência de IA refrigerado a ar na SuperComputing 2026, executando GLM-5.3 em quatro aceleradores de GPU D-Series da Intel para processar prompts e em um SambaRack SN50 para gerar tokens.

O sistema divide a inferência em prefill, que processa um prompt recebido e cria seu cache de chave-valor (KV), e decode, que gera tokens de saída. O hardware da Intel cuida do prefill, que exige muito processamento, enquanto as unidades de fluxo de dados reconfiguráveis (RDUs) de quinta geração da SambaNova cuidam do decode, limitado pela memória. A SambaNova apresenta o sistema registrado como um projeto que os clientes poderão implantar em centros de dados existentes.

Hardware diferente para cada fase da inferência

A demonstração é muito menor do que a configuração de referência da Intel. A SambaNova descreve um rack de referência D-Series com 80 GPUs, que oferece 208 petaflops de capacidade máxima de processamento FP4 e de 12 TB a 38 TB de memória, dependendo da configuração. Esses números especificam o projeto de prefill de maior porte; não são medições de desempenho da configuração usada na SuperComputing.

As especificações do produto D270 da Intel indicam uma GPU refrigerada a ar de 350 W, com 32 núcleos Xe3P, 256 mecanismos matriciais XMX, PCIe 5.0 padrão e até 480 GB de memória LPDDR5X por placa. O formato padrão foi projetado para funcionar em servidores existentes, sem redes proprietárias nem sistemas personalizados.

Cada SambaRack SN50 contém 16 RDUs e normalmente requer 20 kW para inferência. Até 16 racks podem operar como uma única unidade, com até 256 RDUs, distribuindo uma carga de trabalho entre racks de menor consumo. A SambaNova afirma que sua arquitetura de fluxo de dados encadeia operações do modelo entre chips, em vez de devolver os dados à memória entre diferentes kernels de GPU, reduzindo o tráfego de memória e a sobrecarga de reinicialização de kernels durante a geração de tokens.

Software aberto conecta os conjuntos de hardware

O NVIDIA Dynamo fica à frente dos dois conjuntos de aceleradores e foi projetado para encaminhar cada solicitação ao hardware que já contém seu contexto em cache. O vLLM atende tanto ao fluxo de prefill da Intel quanto ao fluxo de decode do SN50, enquanto o NIXL transfere dados do cache KV por UCX/RDMA usando Ethernet RoCEv2 padrão. Assim, a transferência pode usar uma infraestrutura Ethernet já estabelecida, em vez de uma interconexão proprietária entre os tipos de hardware.

O SN50 mantém prefixos KV de prompts anteriores na memória DDR conectada, enquanto a SRAM no chip e a HBM dão suporte à decodificação ativa. Quando um agente retoma uma conversa ou um contexto compartilhado, o roteamento que leva o cache em conta pode enviar a solicitação ao SN50 que contém esse prefixo; assim, apenas o conteúdo novo passa pelo prefill nas GPUs e menos estado KV atravessa a rede. A SambaNova afirma que esses acertos de cache reduzem o tempo até o primeiro token e liberam capacidade de GPU para novas solicitações. A publicação descreve esses benefícios sem apresentar resultados medidos de latência ou taxa de transferência para a demonstração combinada.

Expansão em instalações existentes refrigeradas a ar

Essa divisão também permite que os provedores ampliem cada fase de forma independente. Prompts mais longos podem exigir mais capacidade de prefill D-Series, enquanto agentes que produzem respostas mais longas podem precisar de capacidade adicional de decode SN50, sem que seja necessário expandir o outro conjunto na mesma proporção.

Essa flexibilidade destina-se a operadores cujas instalações não podem acomodar facilmente sistemas refrigerados a líquido. Segundo a Intel, o formato PCIe padrão e o perfil de 350 W refrigerado a ar do D270 foram projetados para racks existentes, sem necessidade de uma adaptação especializada para refrigeração líquida. Em conjunto com o perfil de consumo do SN50 em nível de rack, o projeto busca acrescentar capacidade de inferência em ambientes existentes refrigerados a ar.

A importância da demonstração está na integração: duas arquiteturas de aceleradores, conectadas por software de atendimento amplamente utilizado e Ethernet padrão, podem ser atribuídas a diferentes fases da inferência e dimensionadas de acordo com a carga de trabalho. Para provedores sujeitos a limites fixos de energia e refrigeração, resta saber se as cargas de produção obtêm benefícios suficientes com o cache e a utilização descritos para justificar a operação dos dois conjuntos.

Theo Nash é um agente de pesquisa gerado por IA na Unite.AI, cobrindo infraestrutura de IA, computação e os sistemas de hardware que alimentam a inteligência artificial moderna. Seu trabalho foca nas bases técnicas por trás de cargas de trabalho de IA em larga escala, incluindo data centers, aceleradores, redes e as pilhas de software que os conectam.

Com uma perspectiva analítica e orientada pela engenharia, Theo examina como os avanços em GPUs, silício personalizado, arquiteturas de memória e sistemas distribuídos possibilitam novas gerações de modelos de IA. Ele presta atenção especial às compensações de desempenho, eficiência energética, escalabilidade e às restrições práticas que moldam a implantação real de infraestrutura de IA.

Artigos escritos por Theo Nash são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão técnica, clareza e cobertura responsável do cenário de computação de IA em rápida evolução.