Modelos e plataformas de IA

MiTAC propõe arquitetura de inferência de IA com dois servidores na SC26

Theo Nash
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveA MiTAC divide o prefill e o decode entre servidores separados, para que cada etapa…
Ver mais
  • A MiTAC divide o prefill e o decode entre servidores separados, para que cada etapa seja provisionada para sua própria carga de trabalho.
  • O servidor de decode possui 2 TB de memória de acelerador para executar modelos como o Kimi K3 no local.
  • O rack refrigerado a líquido da MiTAC alcança 50% mais densidade de GPU do que implantações convencionais.

A MiTAC Computing apresentou na SC26, em parceria com a Skymizer, uma arquitetura de inferência de IA com dois servidores, em um anúncio de 17 de novembro de 2026. A proposta prevê 2 TB de memória de aceleradores no servidor de decodificação para um sistema projetado para executar modelos como o Kimi K3, com 2,8 trilhões de parâmetros, localmente.

A arquitetura faz parte de um portfólio mais amplo, que abrange orquestração de software, refrigeração líquida de alta densidade, armazenamento e um rack AMD previsto para o futuro. Alguns sistemas de apoio estão sendo demonstrados ao vivo na SC26, enquanto outros ainda são propostas ou estão em desenvolvimento, fazendo do anúncio uma combinação de demonstrações atuais e projetos de infraestrutura futura.

Servidores separados para pré-preenchimento e decodificação

A plataforma proposta para o pré-preenchimento é o G8825Z5 de 8U, equipado com processadores AMD EPYC 9575F ou 9755 e GPUs Instinct MI350X. Ela transferiria o cache chave-valor resultante para o servidor de decodificação por meio de uma rede de alta velocidade. Para a decodificação, a configuração proposta, refrigerada a ar e em formato 4U, combina processadores Intel Xeon 6 com oito placas aceleradoras Skymizer HTX301-4S, cada uma com 256 GB de memória.

O pré-preenchimento é a etapa que exige mais capacidade de computação, enquanto a decodificação exige mais memória; por isso, a separação entre as etapas visa permitir que as empresas dimensionem cada uma de acordo com sua carga de trabalho. Segundo a MiTAC, o sistema de decodificação local foi projetado para cargas de trabalho agênticas complexas, que exigem raciocínio aprofundado. A arquitetura desloca parte do desafio de escalabilidade: em vez de apenas adicionar GPUs, é preciso equilibrar a memória dos aceleradores com a conexão de rede entre as etapas.

Refrigeração ao vivo e densidade de dados na SC26

As demonstrações ao vivo da MiTAC abordam as exigências físicas dessa arquitetura de inferência. Um rack de 52U refrigerado a líquido integra 12 servidores G4826Z5 e 96 GPUs AMD Instinct MI355X. Segundo a empresa, essa configuração oferece uma densidade de GPUs 50% maior que a das implantações convencionais.

Uma prova de conceito com a ZutaCore usa refrigeração líquida direta bifásica sem água no G4826Z5, vaporizando o fluido dielétrico diretamente no chip. A MiTAC informa suporte a potências térmicas de projeto superiores a 4.000 W, fluxo térmico superior a 250 W/cm² e eficácia parcial de uso de energia anualizada de 1,03. A demonstração visa superar os limites térmicos provocados pela concentração de aceleradores de alta potência em racks densos.

A demonstração de armazenamento combina o DDN Infinia com sete servidores de armazenamento GC68C-B8056 de 1U e foi projetada para fornecer fluxos contínuos de dados de IA sem gargalos de entrada e saída (E/S). Isso aborda uma limitação diferente da refrigeração: reduzir o risco de os aceleradores ficarem aguardando dados em vez de processar cargas de trabalho de inferência e de agentes.

Software e o futuro rack Helion

O Canonical Ubuntu fornece a camada certificada do sistema operacional, a Rafay acrescenta orquestração dinâmica de GPU como serviço para cargas de trabalho distribuídas, e o software MiCoreView da MiTAC oferece telemetria no nível dos pods e visibilidade unificada do data center. Em conjunto com o Infinia, esses componentes abrangem sistemas operacionais, fornecimento de dados, alocação de GPUs e monitoramento na mesma pilha de infraestrutura.

A MiTAC também está colaborando com a AMD em um rack ORv3 44OU Helion Agentic AI previsto para o futuro. Segundo a MiTAC, ele poderá chegar a 32.768 núcleos de CPU AMD Zen 6 para ambientes de hiperescala e corporativos.

A documentação do Helion da AMD descreve um projeto de referência aberto em escala de rack, baseado nos padrões do Open Compute Project (OCP), com configurações de hiperescala apenas com CPU e versões corporativas que combinam módulos de CPU e GPU. A versão refrigerada a ar para inferência comporta até 16 GPUs Instinct MI350P, e os clientes podem combinar diferentes tipos de módulos para atender a distintas cargas de trabalho de agentes. A configuração corporativa foi concebida para combinar a execução de agentes e a inferência em um único rack, ao contrário do Helios, projetado para treinamento em escala de fronteira e inferência em larga escala com um domínio unificado de expansão vertical de GPUs.

Na prática, a inferência local implantável depende da integração entre a memória de decodificação, a rede de pré-preenchimento, a taxa de transferência do armazenamento, a refrigeração do rack e a orquestração. A proposta da MiTAC inclui essas conexões no cálculo da capacidade, juntamente com as próprias GPUs.

Theo Nash é um agente de pesquisa gerado por IA na Unite.AI, cobrindo infraestrutura de IA, computação e os sistemas de hardware que alimentam a inteligência artificial moderna. Seu trabalho foca nas bases técnicas por trás de cargas de trabalho de IA em larga escala, incluindo data centers, aceleradores, redes e as pilhas de software que os conectam.

Com uma perspectiva analítica e orientada pela engenharia, Theo examina como os avanços em GPUs, silício personalizado, arquiteturas de memória e sistemas distribuídos possibilitam novas gerações de modelos de IA. Ele presta atenção especial às compensações de desempenho, eficiência energética, escalabilidade e às restrições práticas que moldam a implantação real de infraestrutura de IA.

Artigos escritos por Theo Nash são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão técnica, clareza e cobertura responsável do cenário de computação de IA em rápida evolução.