Supermicro lanza almacenamiento compartido de caché KV para IA con contexto extenso

Supermicro anunció una solución de almacenamiento de caché KV junto con IBM y NVIDIA el 5 de noviembre de 2026, diseñada para trasladar el contexto reutilizable de la inferencia de IA a un almacenamiento compartido que va más allá de la memoria de la GPU. Las empresas informan que, en pruebas conjuntas, el tiempo hasta el primer token fue hasta 56 veces más rápido con un prompt de 130 000 tokens.

La oferta combina servidores de almacenamiento íntegramente flash Petascale de Supermicro, equipados con procesadores AMD EPYC 9005, el software IBM Storage Scale, el marco de inferencia Dynamo de NVIDIA y redes Ethernet Spectrum-X. Está orientada a aplicaciones con varios turnos y basadas en agentes, asistentes de programación, IA multimodal y generación aumentada por recuperación con contexto extenso. Las grandes bases de código, los documentos, las imágenes y los historiales de conversación pueden generar más estados clave-valor de los que pueden conservar las memorias de las GPU y las CPU.

Reutilización del contexto entre solicitudes

La etapa de prefill convierte un prompt tokenizado en los estados clave-valor intermedios que utiliza el modelo. Al conservar esos estados, las solicitudes posteriores pueden reutilizar el contexto en lugar de volver a calcularlo. La arquitectura ofrece un nivel de almacenamiento de alta disponibilidad, con acceso compartido entre nodos de GPU y clústeres, además de permitir ampliar la capacidad de caché sin interrumpir el servicio.

Dynamo incorpora enrutamiento con conocimiento de la caché, separa las etapas de prefill y decodificación, y descarga los bloques almacenados en caché mediante su KV Block Manager y la biblioteca de transferencia NIXL. IBM Storage Scale Erasure Coding Edition proporciona el nivel de almacenamiento compartido G4 en la jerarquía de memoria de NVIDIA.

Resultados de las pruebas de rendimiento y condiciones de ensayo

Una arquitectura de referencia de IBM Redbooks, publicada el 5 de junio de 2026 y actualizada por última vez el 20 de agosto de 2026, informa de un tiempo de 32,14 segundos para volver a calcular en la GPU con 130 000 tokens, frente a 0,570 segundos con la caché respaldada por almacenamiento. Estas mediciones anteriores sustentan el lanzamiento, pero no constituyen un estudio nuevo publicado en noviembre.

En otra prueba, con 200 solicitudes, se utilizaron 28 conexiones simultáneas y se recurrió a 100 prompts únicos que representaban 24 millones de tokens y 825 GB de datos de caché KV. El Redbook informa que el rendimiento aumentó de 0,19 a 4,26 solicitudes por segundo y que el tiempo total de procesamiento bajó de 1048,56 a 46,94 segundos. La caché estaba vacía al comienzo, por lo que el promedio de toda la prueba incluye un período de arranque en frío mientras aumentaba la reutilización.

En una prueba con contención de recursos por parte de otros usuarios, otros cuatro clientes generaron 200 GB/s de tráfico de E/S de red en competencia. El sistema con caché mantuvo un rendimiento de 3,6 solicitudes por segundo y completó 200 solicitudes en 55,56 segundos; el Redbook describe este resultado como una reducción del rendimiento del 18 % con respecto al resultado del sistema con caché en una red sin tráfico de competencia.

Todas las mediciones de inferencia se realizaron desde un único nodo cliente de GPU de Supermicro, con cuatro GPU NVIDIA RTX PRO 6000, conectado a un clúster de almacenamiento Petascale de ocho nodos. La pila de software utilizó Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf y el modelo openai/gpt-oss-120b. Se desactivaron los niveles de caché de la memoria de la GPU y de la memoria DRAM del sistema para aislar el nivel compartido G4.

Margen de capacidad de red y dimensionamiento de la implementación

Tres conmutadores Spectrum-X SN5600 conformaron la red de tipo columna-espina del ensayo. El Redbook informa de un ancho de banda de hasta 80 GB/s hacia los clientes, mientras que el sistema de almacenamiento de ocho nodos alcanzó una velocidad de lectura de hasta 315 GB/s. Por tanto, la limitación de la configuración era la red del lado del cliente, no la capacidad total de lectura del nivel de almacenamiento.

Los ejemplos de dimensionamiento del Redbook contemplan cuatro nodos de almacenamiento para implementaciones pequeñas de prueba de concepto, ocho para la configuración mediana probada y 16 o más para grandes fábricas de IA. La capacidad, el ancho de banda, la concurrencia, el tamaño del modelo y la carga de trabajo influyen en el diseño adecuado. Supermicro afirma que sus servicios de integración de racks de fábrica e implementación in situ pueden reducir el tiempo de implementación de semanas a días.

El lanzamiento ofrece para su implementación una arquitectura documentada con anterioridad y validada conjuntamente, pero sus ventajas corresponden a un modelo, una combinación de prompts, un nivel de concurrencia y una red específicos. La cuestión central para la implementación es si la capacidad de almacenamiento y el ancho de banda del cliente están equilibrados con la demanda real de reutilización del contexto: disponer de más margen de lectura en el almacenamiento no puede mejorar la inferencia si la red del cliente no puede proporcionarlo.