Modelos y plataformas de IA
MiTAC propone una arquitectura de inferencia de IA con dos servidores en SC26

Puntos claveMiTAC divide el prefill y el decode en servidores separados para que cada etapa se…
Ver más
- MiTAC divide el prefill y el decode en servidores separados para que cada etapa se aprovisione para su propia carga de trabajo.
- El servidor de decode cuenta con 2 TB de memoria de acelerador para ejecutar modelos como Kimi K3 en las instalaciones.
- El rack refrigerado por líquido de MiTAC alcanza una densidad de GPU un 50% mayor que las implementaciones convencionales.
En un anuncio del 17 de noviembre de 2026, MiTAC Computing presentó en SC26 junto con Skymizer una arquitectura de inferencia de IA con dos servidores, que propone 2 TB de memoria de aceleradores en el servidor de decodificación para un sistema diseñado para ejecutar en las instalaciones modelos como Kimi K3, de 2,8 billones de parámetros.
La arquitectura forma parte de una cartera más amplia que abarca orquestación de software, refrigeración líquida de alta densidad, almacenamiento y un rack de AMD previsto para el futuro. Algunos sistemas complementarios se están mostrando en directo en SC26, mientras que otros siguen siendo propuestas o están en desarrollo, por lo que el anuncio combina demostraciones actuales con diseños de infraestructura futuros.
Servidores separados para el prellenado y la decodificación
La plataforma propuesta para el prellenado es la G8825Z5 de 8U, que utiliza procesadores AMD EPYC 9575F o 9755 y GPU Instinct MI350X. Transferiría la caché de clave-valor resultante al servidor de decodificación a través de una red de alta velocidad. Para la decodificación, la configuración propuesta G4520G6 de 4U con refrigeración por aire combina procesadores Intel Xeon 6 con ocho tarjetas aceleradoras Skymizer HTX301-4S, cada una con 256 GB de memoria.
El prellenado es la etapa que más exige al cómputo, mientras que la decodificación requiere mucha memoria; por eso, separarlos busca permitir que las empresas asignen recursos a cada etapa según su propia carga de trabajo. MiTAC afirma que el sistema de decodificación para implementaciones locales está diseñado para cargas de trabajo complejas con agentes y razonamiento profundo. La arquitectura desplaza parte del problema de escalabilidad: en lugar de añadir GPU, se trata de equilibrar la memoria de los aceleradores con la conexión de red entre las etapas.
Refrigeración en directo y densidad de datos en SC26
Las demostraciones en directo de MiTAC abordan las exigencias físicas que plantea este diseño de inferencia. Un rack de 52U con refrigeración líquida integra 12 servidores G4826Z5 y 96 GPU AMD Instinct MI355X; según la empresa, esta configuración ofrece una densidad de GPU un 50 % superior a la de las implementaciones convencionales.
Una prueba de concepto con ZutaCore utiliza refrigeración líquida directa bifásica sin agua en el G4826Z5 y vaporiza el fluido dieléctrico directamente en el chip. MiTAC informa de que admite potencias de diseño térmico superiores a 4.000 W, un flujo térmico superior a 250 W/cm² y una efectividad parcial anualizada del uso de energía de 1,03. La demostración aborda los límites térmicos que surgen al concentrar aceleradores de alta potencia en racks densos.
La demostración de almacenamiento combina DDN Infinia con siete servidores de almacenamiento GC68C-B8056 de 1U y está diseñada para suministrar flujos continuos de datos de IA sin cuellos de botella de entrada/salida. Esto aborda una limitación distinta de la refrigeración: reducir el riesgo de que los aceleradores esperen a recibir datos en lugar de procesar cargas de trabajo de inferencia y de agentes.
Software y el futuro rack Helion
Canonical Ubuntu proporciona la capa certificada del sistema operativo; Rafay añade orquestación dinámica de GPU como servicio para cargas de trabajo distribuidas, y el software MiCoreView de MiTAC ofrece telemetría a nivel de pod y visibilidad unificada del centro de datos. Junto con Infinia, estos componentes cubren los sistemas operativos, la entrega de datos, la asignación de GPU y la supervisión dentro de una misma pila de infraestructura.
MiTAC también colabora con AMD en el futuro rack ORv3 44OU Helion Agentic AI Rack. Según MiTAC, podrá escalar hasta 32.768 núcleos de CPU AMD Zen 6 para entornos de hiperescalado y empresariales.
La documentación de Helion de AMD describe un diseño de referencia abierto a escala de rack, basado en los estándares de Open Compute Project (OCP), con configuraciones de hiperescalado solo con CPU y versiones empresariales que combinan módulos de CPU y GPU. La versión de inferencia con refrigeración por aire admite hasta 16 GPU Instinct MI350P, y los clientes pueden combinar distintos tipos de módulos para adaptarlos a diferentes cargas de trabajo con agentes. La configuración empresarial está concebida para combinar la ejecución de agentes y la inferencia en un mismo rack, a diferencia de Helios, diseñado para el entrenamiento de modelos de frontera y la inferencia a gran escala con un dominio unificado de expansión de GPU.
En la práctica, la inferencia implementable en las instalaciones depende de que la memoria de decodificación funcione en conjunto con la red de prellenado, el rendimiento del almacenamiento, la refrigeración del rack y la orquestación; la propuesta de MiTAC incluye estas interconexiones en el cálculo de capacidad, junto con las propias GPU.












