Z.ai Detalla la Inferencia GLM-5.3-Flash construida sobre 100,000 chips chinos

Z.ai el 17 de septiembre de 2026 publicó un informe técnico que describe cómo construyó un servicio de inferencia de grado de producción completo para su modelo GLM-5.3-Flash desde cero en un clúster de más de 100,000 aceleradores de IA fabricados en China. Según la empresa, gran parte del trabajo fue realizado por un Infra Agent impulsado por GLM-5.3 en lugar de únicamente por ingenieros de infraestructura, y toda la inferencia de producción para GLM-5.3-Flash se ejecuta en el sistema.

Z.ai dijo que nadie había operado previamente un clúster de aceleradores fabricados en China a esta escala. La empresa citó una capacidad y ancho de banda de memoria en chip relativamente limitados, una nueva arquitectura de modelo, una ventana de contexto de 1 millón de tokens y solicitudes multimodales, junto con un ecosistema inmaduro en el que el soporte de kernels era incompleto y los ingenieros tenían que adivinar el comportamiento que debería haber sido documentado.

GLM-5.3-Flash lanzado el 26 de agosto de 2026 como el primer modelo multimodal nativo de la serie GLM-5, con 320 mil millones de parámetros totales y 18 mil millones de parámetros activos bajo una arquitectura híbrida que combina atención dispersa y lineal. Antes del lanzamiento, Z.ai probó el modelo de forma anónima como ox-alpha en OpenCode y OpenRouter, y la empresa dijo que se convirtió en el modelo más utilizado en ambas plataformas dentro de una semana del lanzamiento, procesando más de 62 billones de tokens en seis días.

El Método de Retroalimentación Densa

En el centro del informe hay un problema de sistemas: las métricas de extremo a extremo pueden indicar a un agente que los resultados empeoraron, pero no por qué. Una prueba de precisión numérica fallida, un aumento del 30 % en el tiempo hasta el primer token, o una caída del 20 % en el rendimiento de salida no muestra qué capa es responsable ni qué probar a continuación. La respuesta de Z.ai, que denomina retroalimentación densa, integra pruebas de corrección, registros de ejecución, trazas de ejecución, eventos en tiempo de ejecución, microbenchmark y métricas de extremo a extremo en flujos de trabajo repetibles que permiten al agente validar cada hipótesis localmente en lugar de esperar a una implementación completa y una prueba de carga después de cada cambio.

La empresa define tres propiedades obligatorias para dicha retroalimentación. Debe ser local, vinculada siempre que sea posible a parámetros de lanzamiento específicos, cambios de código, kernels, condiciones de entrada, hilos, intervalos de ejecución o rutas de código. Debe ser económica y oportuna de obtener. Y debe permitir una verificación objetiva mediante implementaciones de referencia y experimentos controlados, ya que las correlaciones observadas por sí solas no establecen una causa raíz.

En el bucle de lanzamiento descrito en el informe, los ingenieros definieron objetivos y límites del sistema y revisaron cambios críticos relacionados con la semántica numérica, el comportamiento de concurrencia y el riesgo de producción, mientras el agente se encargaba del análisis, las hipótesis y los cambios de código. La pila que optimizaron conjuntamente combinó paralelismo de tensores intra-nodo para atención lineal y la LM Head, ReplaySSM, cuantización W8A8, cuantización de caché de precisión mixta INT8/FP8/BF16 y Layer Split, bajo una arquitectura desagregada Encode-Prefill-Decode.

Tres Casos de Ingeniería

El primer caso se refiere a la corrección numérica. La validación que comparó rutas de ejecución de kernels particionados y no particionados expuso un problema de precisión en la ruta de Paralelismo de Contexto del kernel KDA: la operación tl.dot utilizaba por defecto cálculo TF32 incluso cuando sus entradas eran FP32, por lo que los errores se acumulaban durante la fusión de estados y se agravaban a medida que aumentaba la longitud del contexto. La solución estableció explícitamente la precisión de entrada a tf32x3, que emplea tres operaciones TF32 Tensor Core para obtener un resultado de mayor precisión.

Según el informe, las correcciones se fusionaron upstream en Flash Linear Attention. La solicitud de extracción, abierta y fusionada el 27 de agosto de 2026, aplica la cadena afín tf32x3 en los kernels de actualización de estado y fusión de transformaciones como una ruta de precisión opcional, añade pruebas de Paralelismo de Contexto y retrocede explícitamente a precisión IEEE en plataformas sin soporte tf32 (AMD, NPUs y GPUs NVIDIA con capacidad de cómputo inferior a 8.0).

El segundo caso se refiere a un cuello de botella de concurrencia en la Transferencia KV. Según el informe, los ingenieros establecieron un criterio de aceptación que, bajo la misma carga de trabajo, Prefill más Transferencia KV deberían ejecutarse dentro del 5 % del punto de referencia solo de Prefill. El agente encontró brechas que superaban el 20 % en algunos escenarios y las rastreó hasta DeepEP v1.2.1, en el que ninguno de los intranode_dispatch ni el intranode_combine llamado liberó explícitamente el GIL de Python. Mientras esas llamadas mantenían el bloqueo, el hilo Python de Mooncake Transfer en el mismo proceso no podía adquirir el GIL a tiempo, por lo que la programación y el envío de tareas de transferencia se retrasaron y la superposición con el cómputo se redujo. El informe señala que internode_dispatch en la misma versión ya liberaba el GIL, con un comentario de código que indicaba que la intención era evitar bloquear la Transferencia KV en otros hilos mientras la CPU esperaba. Después de que la corrección liberó el GIL durante los intervalos de ejecución relevantes en C++, el informe indica que la brecha cayó por debajo del 1 % bajo las mismas condiciones de prueba.

El tercer caso se refiere al rendimiento del kernel. Z.ai hizo que el agente destilara técnicas de kernels escritos a mano en proyectos como SGLang, Flash Linear Attention y DeepGEMM en esqueletos de optimización reutilizables que incluyen condiciones de aplicabilidad, métodos de transformación, limitaciones de recursos y evidencia de validación. En un kernel representativo KDA Decode, la empresa informa que la optimización de división del agente redujo el tiempo de ejecución en un 9,6 %. Tras identificar la computación como el principal cuello de botella, el agente fusionó los mosaicos de la dimensión V del kernel, que repetían la misma normalización y cálculos de compuerta FP32 cuatro veces, en un único bloque de hilos con resultados intermedios residentes en registros y una reducción a nivel de warp, lo que produjo, según la empresa, una aceleración de 1,71× respecto a la versión anterior.

Resultados declarados y auto‑mejora recursiva

Z.ai informa que GLM-5.3-Flash pasó de la adaptación inicial del modelo a la disponibilidad para producción en menos de dos semanas, con un rendimiento de extremo a extremo que finalmente se triplicó respecto a la línea base inicial. La compañía también señaló que la eficiencia de utilización del hardware y el coste por token alcanzaron niveles comparables a los de las GPUs NVIDIA convencionales.

La empresa enmarca el esfuerzo como un ejemplo temprano de mejora recursiva autónoma, destacando que el modelo participó en la optimización del sistema de inferencia en el que se ejecuta. Al mismo tiempo, Z.ai afirma que aún no ha alcanzado la mejora recursiva autónoma, y que la elección de objetivos, el establecimiento de límites y la evaluación de riesgos siguen siendo responsabilidades humanas que, según la compañía, deben seguir siendo asumidas por personas.