Modelos y plataformas de IA
Valkey 9.2 llega con almacenamiento en caché distribuido de clave-valor para la inferencia de IA

Puntos claveEl almacenamiento en caché KV distribuido permite a los motores de inferencia…
Ver más
- El almacenamiento en caché KV distribuido permite a los motores de inferencia reutilizar los tensores de prompt en lugar de recalcularlos durante el prefill.
- Multiverse Computing atendió un 50% más de solicitudes en las mismas GPU mientras cumplía su objetivo de latencia del primer token.
- La caché compartida ofrece poco beneficio cuando el conjunto de trabajo ya cabe en la memoria de la GPU y del host.
Valkey lanzó la versión 9.2 el 19 de noviembre de 2026, junto con el almacenamiento en caché distribuido de clave-valor para la inferencia de IA. El anuncio correspondiente del proyecto afirma que la caché compartida puede reducir hasta un 40 % el gasto en inferencia y hasta un 80 % la espera hasta recibir el primer token de una respuesta, usando la infraestructura de GPU existente.
Una publicación técnica de Valkey, publicada el 20 de octubre de 2026, describe una caché compartida que va más allá de la memoria de la GPU y del host y almacena los tensores de clave-valor que se generan cuando un modelo procesa instrucciones de una petición, definiciones de herramientas e historial de conversaciones. Los motores de inferencia pueden reutilizar esos tensores para contextos repetidos, en lugar de volver a calcularlos durante la fase de prellenado, que es la etapa de procesamiento anterior a la generación de nuevas respuestas. Compartir esta capa entre servidores con GPU permite que cualquier nodo cargue una conversación que haya sido desalojada de la memoria local.
Las implementaciones autogestionadas que ejecutan modelos con pesos abiertos pueden conectar la caché a motores como vLLM y SGLang mediante el conector LMCache, con un cambio de configuración y sin modificar el código de la aplicación. Path Hash, un nuevo tipo de datos basado en un árbol radix incorporado en la versión 9.2, admite búsquedas exactas, coincidencias del prefijo más largo y recorridos de prefijos. Valkey lo presenta como un índice ligero que permite encontrar el prefijo almacenado en caché más largo que coincida y su ubicación, mientras los datos de IA de mayor tamaño permanecen en la memoria de la GPU o del host.
Mejoras medidas y límites de las cargas de trabajo
Ennio Pastore, director de la plataforma de IA de Multiverse Computing, afirmó que el almacenamiento distribuido en caché de clave-valor de Valkey permitió a la empresa atender un 50 % más de solicitudes con las mismas GPU, sin dejar de cumplir su objetivo de un segundo para el tiempo mediano hasta el primer token. La latencia mediana del primer token se redujo un 23 % con tráfico normal y un 95 % con tráfico máximo. Multiverse también contribuyó con mejoras al conector LMCache, pensadas para aumentar la resiliencia del almacenamiento distribuido en caché.
La prueba sintética descrita en la publicación técnica de Valkey empleó 100 conversaciones simultáneas con contextos de entre 12.000 y 28.000 tokens, que llegaban a razón de 8 solicitudes por segundo a dos nodos con GPU, cada uno equipado con ocho aceleradores H100. Los nodos atendieron solicitudes de Llama-3.1-70B mediante vLLM y LMCache, con un clúster de Valkey 9 de tres fragmentos en la misma zona de disponibilidad que la caché compartida. El proyecto midió alrededor de un 25 % más de solicitudes y alrededor de un 28 % más de tokens de salida, mientras que la caché aumentó cerca de un 15 % la factura de GPU.
Las pautas de prueba e implementación de Valkey señalan límites claros: la caché compartida aporta pocos beneficios cuando el conjunto de trabajo ya cabe en la memoria de la GPU y del host o las solicitudes no contienen contextos repetidos, y no puede crear capacidad de cómputo en la GPU cuando el prellenado de tokens nuevos se convierte en el cuello de botella. Se recomienda ubicarla en la misma zona de disponibilidad que el conjunto de GPU, ya que la caché interviene en la ruta hasta el primer token y el tráfico entre zonas puede añadir latencia y cargos por transferencia.
Menor consumo de memoria y sobrecarga de red
Además del almacenamiento en caché para IA, la versión 9.2 busca reducir los costos de infraestructura del propio almacén de datos. Las instantáneas sin bifurcación y las sincronizaciones completas de réplicas, ambas opcionales, utilizan un subproceso en segundo plano en lugar de crear un proceso de servidor independiente, lo que evita la sobrecarga de memoria de copia en escritura durante las cargas de trabajo con muchas escrituras. La infraestructura añade cuatro bytes por clave, y la prefer-forkless política recurre a la bifurcación cuando es necesario.
La compresión de la replicación continua se negocia por separado con cada réplica, por lo que las réplicas antiguas o que hayan optado por no usarla siguen recibiendo datos sin comprimir. La publicación de lanzamiento de Valkey informa que, en una prueba con 3 millones de claves de unos 315 bytes cada una, LZ4 redujo un 52 % el ancho de banda de replicación, con una sobrecarga de rendimiento inferior al 1 %. La compresión de instantáneas de todo el flujo admite LZ4 y Zstandard; Zstandard requiere una opción de compilación y está especialmente orientado a la replicación entre regiones, donde los costos de red son altos en relación con los de cómputo.
Los conjuntos ordenados grandes ahora utilizan un árbol B+ en lugar de una lista de saltos. Valkey informa que la sobrecarga de memoria por miembro se redujo entre un 36 % y un 43 % en una prueba con 5 millones de miembros que contenían elementos de 20 bytes. Otras mejoras operativas incluyen la detección de claves de acceso frecuente en el servidor, roles de control de acceso reutilizables, gestión prioritaria de los latidos del clúster y la replicación, conexiones administrativas reservadas y limitación opcional de las escrituras cuando una réplica se retrasa.
El registro de lanzamiento de la versión 9.2.0 la identifica como la primera versión estable de la serie 9.2, y la página de descarga incluye etiquetas de Docker y archivos binarios para plataformas específicas. Valkey describe la versión 9.2 como una versión menor sin cambios incompatibles, pero advierte que, si un operador vuelve a una versión anterior, los archivos base de solo anexado escritos con compresión LZ4 o Zstandard requieren una versión compatible de Valkey.
Valkey 9.2 aborda dos aspectos de la economía de la inferencia: recuperar la capacidad de GPU que se pierde al repetir el prellenado y reducir la sobrecarga de memoria y red de la capa de datos. Para los operadores que evalúan esta nueva capa, los resultados publicados vinculan su valor con la reutilización de las cargas de trabajo y la presión por desalojar datos de la caché, y señalan un límite explícito cuando el prellenado de tokens nuevos ya consume toda la capacidad de cómputo disponible en la GPU.












