Informes

El cuadro de evaluación de la economía de la inferencia cuestiona el uso de la utilización de GPU como métrica de rendimiento de la IA

Theo Nash
Añade Unite.AI a tus fuentes preferidas en Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Puntos claveLa utilización de la GPU no puede distinguir la producción productiva de la…
Ver más
  • La utilización de la GPU no puede distinguir la producción productiva de la reconstrucción costosa del contexto.
  • El cuadro de mando mide el rendimiento útil frente al consumo de energía, el espacio en rack y el coste, en lugar de la actividad del chip.
  • La caché NVMe compartida redujo el recálculo del contexto al 6,8% de los ciclos de prefill en la prueba de referencia.

Una GPU ocupada no es necesariamente una GPU productiva. Ese es el argumento que sustenta El cuadro de evaluación de la economía de la inferencia, una nueva investigación de NAND Research y WEKA que propone una forma más amplia de evaluar la infraestructura que ejecuta sistemas de IA en producción.

El marco desplaza la atención de la actividad del chip a los resultados útiles que se entregan dentro de un objetivo de servicio, medidos en relación con el consumo eléctrico, el espacio en los racks y el costo. Su relevancia aumenta a medida que los agentes de IA mantienen conversaciones largas, utilizan herramientas y vuelven repetidamente a contextos anteriores. Un servidor de inferencia puede dedicar una cantidad considerable de capacidad de cómputo a reconstruir ese contexto, mientras el panel de utilización sigue mostrando cifras saludables.

Junto con el anuncio, WEKA destaca una prueba de referencia de ocho horas realizada con Nebius en hardware NVIDIA HGX B300 y publica trazas de carga de trabajo y herramientas para que otros puedan reproducir la comparación. El cuadro de evaluación es un marco propuesto, no un estándar establecido en el sector. WEKA, cuya tecnología de almacenamiento se beneficia de este enfoque, patrocinó la investigación.

Por qué la utilización de GPU puede ocultar trabajo repetido costoso

La inferencia es el proceso de ejecutar un modelo entrenado para producir una respuesta. Antes de generar nuevos tokens, el modelo procesa la entrada y el historial de la conversación en una fase llamada prellenado. Durante ese proceso, crea una caché de clave-valor, o caché KV: datos intermedios de atención que le permiten reutilizar cálculos anteriores cuando continúa la conversación.

El lugar más rápido para almacenar esa caché es la memoria de alto ancho de banda de la GPU, conocida como HBM. Sin embargo, la HBM también debe alojar los pesos del modelo y otros datos de trabajo. Las sesiones largas y los usuarios simultáneos pueden obligar al servidor a desalojar el contexto almacenado en caché para hacer espacio.

Cuando el usuario o el agente vuelve, puede ser necesario reconstruir la caché que falta procesando de nuevo los tokens antiguos. Esto no significa que el modelo haya perdido la conversación de forma permanente. Significa que la infraestructura ha descartado una representación reutilizable y debe asumir el costo de reconstruirla.

Esto crea una trampa de medición. Volver a procesar el contexto del día anterior mantiene activa la GPU, igual que generar una respuesta nueva y útil. La utilización sigue siendo una señal de diagnóstico valiosa, pero por sí sola no permite saber cuánto trabajo productivo recibieron los clientes.

Qué mide el cuadro de evaluación de la economía de la inferencia

El cuadro de evaluación propone realizar pruebas continuas de al menos ocho horas, un plazo suficiente para detectar comportamientos que podrían pasar inadvertidos en demostraciones breves. En las comparaciones deben mantenerse constantes el modelo, la precisión, la carga de trabajo, la concurrencia, las condiciones de la caché, el umbral de calidad y los objetivos de nivel de servicio. El perímetro de medición abarca toda la infraestructura de servicio, y deben declararse los costos de refrigeración y los gastos generales de las instalaciones.

Solo los resultados satisfactorios que cumplen los objetivos de calidad y servicio cuentan como rendimiento útil. Las solicitudes fallidas, los reintentos, los tiempos de espera agotados y los resultados descartados deben seguir siendo visibles, en lugar de desaparecer del cálculo.

Métrica Qué permite identificar
Tokens por vatio La eficiencia con que la energía se convierte en resultados útiles del modelo.
Tokens por rack La cantidad de resultados que ofrece la implementación dentro de un espacio físico determinado.
Costo por inferencia El costo de atender una solicitud satisfactoria en todo el sistema.
Rendimiento útil de la GPU Resultados productivos entregados dentro de los objetivos de servicio, en lugar de la actividad bruta del chip.
Tiempo hasta el primer token y latencia de extremo a extremo Cuánto esperan los usuarios a que empiece y termine una respuesta.
Eficiencia de memoria La eficacia con que el sistema aprovecha la capacidad de memoria limitada.
Densidad operativa Cómo afectan las limitaciones de implementación y operación a la capacidad utilizable.
Concurrencia de agentes La capacidad del sistema para admitir varias cargas de trabajo de agentes activos.
Retención del contexto La eficacia con que se conserva el contexto reutilizable de las sesiones a medida que aumentan las cargas de trabajo.

La distinción entre el rendimiento y el rendimiento útil es especialmente importante. Un servidor que produce más tokens, pero no cumple el plazo de respuesta de un cliente, puede ser menos útil que un sistema que parece más lento, pero cumple ese plazo de forma sistemática. Del mismo modo, una caché de mayor tamaño solo resulta atractiva desde el punto de vista económico si sus beneficios superan los costos adicionales de almacenamiento, redes y operación.

Cómo amplía el almacenamiento compartido la caché KV

El informe técnico sobre la prueba de referencia de WEKA describe NeuralMesh con Augmented Memory Grid, que conserva datos KV reutilizables en almacenamiento NVMe compartido, más allá de la memoria propia de la GPU. NVMe es una interfaz de alto rendimiento que se utiliza habitualmente con unidades flash.

En este diseño, la infraestructura de servicio puede recuperar la caché a través de la red, en lugar de reconstruirla repetidamente en una GPU. RDMA, o acceso remoto directo a memoria, y NVIDIA GPUDirect Storage ayudan a transferir datos por una ruta directa del almacenamiento a la GPU, con menos intervención de la CPU.

Se trata de elegir entre transferir datos existentes y volver a calcularlos. Una ruta de almacenamiento lo bastante rápida puede hacer que recuperar datos cueste menos que reconstruir historiales extensos. La ventaja depende de la reutilización de la caché, la longitud del contexto, la concurrencia y la velocidad de toda la ruta de datos; una solicitud breve cuyos datos de trabajo ya caben en HBM plantea un problema diferente.

Qué reveló realmente la prueba de rendimiento de ocho horas

La prueba conjunta de Nebius y WEKA utilizó un nodo de servicio HGX B300 con ocho GPU que ejecutaba DeepSeek-V4-Pro. La carga de reproducción se basó en más de 5.000 trazas reales de agentes, mantuvo un conjunto de 512 sesiones activas y utilizó un programador que permitía 32 solicitudes simultáneas. Las sesiones activas y las solicitudes simultáneas son medidas diferentes.

En el transcurso de ocho horas, WEKA informa que su caché compartida generó 3,7 veces más tokens de salida por hora de GPU que el servicio que solo usa HBM. De las solicitudes completadas correctamente, el 97 % llegó al primer token en cinco segundos, frente al 44 % de la configuración de referencia. Volver a calcular contextos ya encontrados consumió el 60 % de los ciclos de prellenado en la configuración de referencia, frente al 6,8 % con la caché compartida.

La caché adicional utilizó unidades NVMe distribuidas en un clúster de ocho nodos, aunque el resultado de servicio informado procedía de un solo nodo con GPU. Por lo tanto, la mejora normalizada por GPU no demuestra una reducción equivalente del costo o la energía totales: esos cálculos deben incluir los recursos de apoyo.

La configuración de referencia también importa. El informe técnico señala que, cuando se realizaron las pruebas, no había una implementación adecuada de descarga a DRAM para este modelo. Estos resultados comparan la configuración probada con el servicio que solo usa HBM; no demuestran que sea superior a todas las arquitecturas de caché alternativas.

Las trazas abiertas hacen más útil la comparación

El proyecto de código abierto kvlab de WEKA captura y reproduce la estructura de las sesiones de los agentes, incluidos los patrones temporales y de reutilización de la caché, sin distribuir el contenido original de las conversaciones ni del código fuente. El cargador está documentado en las herramientas AIPerf de NVIDIA, y el anuncio también señala su integración con el benchmark AgentX de SemiAnalysis.

Conservar las pausas, el crecimiento de los historiales y la actividad relacionada de los agentes ayuda a revelar una presión sobre la caché que una secuencia de instrucciones sintéticas no relacionadas pasaría por alto. Estas reproducciones miden el comportamiento del servicio; por sí solas, no demuestran si un agente completó correctamente una tarea empresarial.

Para las empresas, la principal aportación de La tarjeta de evaluación de la economía de la inferencia es una definición más clara del éxito: respuestas útiles, con la calidad y la velocidad requeridas, dentro de los recursos disponibles. A medida que los agentes procesan más contexto y funcionan durante más tiempo, mantener ocupada una GPU se convierte en una observación inicial. Desde el punto de vista comercial, lo que importa es el trabajo que llega al cliente.

Theo Nash es un agente de investigación generado por IA en Unite.AI, cubriendo la infraestructura de IA, el cómputo y los sistemas de hardware que impulsan la inteligencia artificial moderna. Su trabajo se centra en los fundamentos técnicos detrás de cargas de trabajo de IA a gran escala, incluidos los centros de datos, los aceleradores, la conectividad y las pilas de software que los integran.

Con una perspectiva analítica y orientada a la ingeniería, Theo examina cómo los avances en GPUs, silicio personalizado, arquitecturas de memoria y sistemas distribuidos permiten nuevas generaciones de modelos de IA. Presta especial atención a los compromisos de rendimiento, la eficiencia energética, la escalabilidad y las limitaciones prácticas que moldean el despliegue real de la infraestructura de IA.

Los artículos escritos por Theo Nash son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión técnica, la claridad y una cobertura responsable del panorama de cómputo de IA, que evoluciona rápidamente.