Tensormesh lanza una plataforma para reducir los costos de inferencia de LLM mediante la reutilización de la caché KV

Cada vez que un asistente de IA recibe un documento extenso, debe procesarlo antes de poder empezar a responder. Cuando vuelven a aparecer los mismos documentos, instrucciones o historial de conversación, es posible que gran parte de ese procesamiento se repita. A escala empresarial, esa repetición puede consumir una costosa capacidad de GPU sin aportar trabajo útil.

Tensormesh busca resolver ese problema con Tensormesh Platform, anunciada el 14 de octubre de 2026. La empresa, cuyo equipo creó el proyecto de código abierto LMCache, incorpora una capa de gestión empresarial al almacenamiento en caché de pares clave-valor, o caché KV, para organizaciones que ejecutan modelos de lenguaje grandes en su propia infraestructura.

La plataforma gestiona el estado de inferencia reutilizable en la memoria de la GPU, la memoria de la CPU y el almacenamiento. El beneficio que pretende ofrecer es sencillo: reducir la cantidad de procesamiento de instrucciones que debe repetir una flota de GPU y, al mismo tiempo, ofrecer a los operadores controles para conservar, compartir y supervisar ese estado almacenado en caché.

Por qué importa la caché KV

La inferencia de los LLM consta de dos etapas importantes. Durante el prellenado, el modelo procesa la instrucción de entrada. Durante la decodificación, genera la respuesta token por token. La caché KV almacena estados intermedios relacionados con la atención, que permiten al modelo volver a consultar los tokens procesados sin tener que recalcularlo todo desde cero.

Reutilizar ese estado en distintas solicitudes puede reducir el trabajo de prellenado cuando se repite el contexto de entrada. Por ejemplo, un asistente de soporte puede consultar el mismo manual de producto para cientos de preguntas diferentes. Un agente puede incluir repetidamente las mismas instrucciones o herramientas junto con una tarea que va cambiando.

Esto es distinto de almacenar en caché una respuesta ya elaborada. El sistema puede reutilizar el cálculo asociado al contexto compartido y, a la vez, generar una respuesta nueva a una pregunta nueva.

La documentación de vLLM sobre el almacenamiento automático en caché de prefijos describe este beneficio en el caso de consultas repetidas sobre documentos y conversaciones de varios turnos. También establece un límite importante: el almacenamiento en caché de prefijos acelera el procesamiento de las instrucciones, no la generación de nuevos tokens de salida. Las cargas de trabajo dominadas por respuestas largas o por entradas en su mayoría únicas podrían beneficiarse menos.

Para los compradores empresariales, la pregunta pertinente es qué proporción de sus cargas de trabajo reales contiene contexto reutilizable y si es posible recuperar ese contexto de forma más rápida y económica que volviendo a calcularlo.

Convertir una caché en infraestructura gestionada

En su anuncio, Tensormesh señala cinco prioridades operativas: seguridad, observabilidad, resiliencia, gestión de políticas y compatibilidad con múltiples usuarios. Estas prioridades responden a tareas prácticas: proteger los datos almacenados en caché, hacer seguimiento del rendimiento, recuperarse de fallos, controlar la retención y la expulsión de datos, y mantener separados a los equipos o clientes que comparten la infraestructura.

La empresa también describe API de controladores para fijar, localizar, trasladar, comprimir y borrar entradas de caché. Así, la gestión del ciclo de vida de la caché se convierte en una responsabilidad operativa explícita, en lugar de quedar por completo en manos de los distintos procesos de inferencia.

El proyecto LMCache subyacente separa la gestión de la caché del motor de servicio y permite descargar y recuperar datos en varios niveles de almacenamiento. Su documentación describe la reutilización entre solicitudes, sesiones e instancias del motor, con backends de almacenamiento y transporte conectables.

La plataforma empresarial se basa en esos cimientos. Según su guía de instalación, un operador de Kubernetes gestiona los componentes del motor de caché, con servidores de caché en los nodos de GPU y un coordinador encargado de coordinar toda la flota. Helm ofrece la vía de implementación, mientras que una interfaz web y herramientas de línea de comandos permiten operar el sistema.

Esta arquitectura es importante porque la memoria de la GPU es un recurso limitado. Conservar allí todas las instrucciones potencialmente reutilizables competiría con otras necesidades de inferencia. Trasladar los estados menos útiles de inmediato a la memoria del host o al almacenamiento puede aumentar la cantidad de información que se conserva, aunque recuperarla implica sus propios costos de ancho de banda y latencia.

Más allá de los prefijos idénticos de las instrucciones

El almacenamiento en caché de prefijos funciona bien cuando dos instrucciones comienzan con los mismos tokens. La generación aumentada por recuperación, o RAG, puede plantear más dificultades: una aplicación recupera documentos pertinentes, pero estos pueden aparecer en distinto orden o después de textos previos diferentes.

Pensemos en dos solicitudes hipotéticas que utilizan los mismos documentos. Una incluye el documento A seguido del B; la otra, el B seguido del A. Ambas contienen material reutilizable, pero el tramo inicial que comparten puede ser breve.

Tensormesh utiliza CacheBlend para ampliar la reutilización más allá del inicio de una instrucción. La documentación de LMCache explica que el sistema vuelve a calcular selectivamente una fracción de los tokens y reutiliza fragmentos almacenados en caché. Este nuevo cálculo es importante porque el contexto que rodea un fragmento puede afectar al estado interno del modelo.

El artículo de investigación sobre CacheBlend, presentado en EuroSys 2025, informa de una generación del primer token entre 2,2 y 3,3 veces más rápida y un rendimiento entre 2,8 y 5 veces mayor que con el recálculo completo de KV en las cargas de trabajo evaluadas. Los autores evaluaron tres modelos de código abierto y cuatro conjuntos de datos de referencia.

Son resultados de investigación obtenidos en condiciones específicas, no un ahorro garantizado para todas las implementaciones de Tensormesh. Sin embargo, demuestran por qué resulta técnicamente interesante reutilizar información más allá de un prefijo compartido: permite recuperar cálculos útiles que la coincidencia convencional de prefijos pasaría por alto.

La reutilización entre nodos y la importancia de la compatibilidad específica de cada versión

El anuncio del lanzamiento describe transferencias de KV entre pares, que permiten que un nodo obtenga de otro un estado almacenado en caché, y los materiales de producto de la empresa describen la separación entre preprocesamiento y decodificación. Esta separación divide el procesamiento de las indicaciones de la generación de respuestas, de modo que las dos etapas puedan ejecutarse en distintos trabajadores.

Son formas complementarias de organizar la inferencia. Compartir estados compatibles puede evitar que se vuelvan a calcular en otro nodo; separar las etapas puede permitir que los equipos de infraestructura asignen los recursos de manera distinta según las exigencias de procesamiento de cada una.

Sin embargo, los materiales públicos no coinciden del todo en cuanto al estado de disponibilidad. La introducción del lanzamiento describe el uso compartido entre nodos y la separación de etapas, mientras que la matriz de compatibilidad por versión, fechada el 17 de septiembre, incluye las transferencias entre pares y la separación de etapas en su hoja de ruta. La documentación de funciones también incluye páginas de vista previa.

La misma matriz distingue entre las funciones verificadas en las pruebas de Tensormesh y aquellas que cuentan con soporte en los proyectos de origen, pero requieren pruebas adicionales antes de su uso en producción. Enumera vLLM y NVIDIA Dynamo como motores de servicio verificados, y SGLang y TensorRT-LLM como funciones previstas en la hoja de ruta.

Por eso, el amplio discurso sobre compatibilidad de la versión expresa una orientación de diseño, no demuestra que se haya validado cualquier combinación de modelo e infraestructura. Los equipos deben confirmar la versión exacta, el motor de servicio, el modelo y el modo de caché que pretenden implementar.

La introducción del lanzamiento describe específicamente vLLM en Kubernetes con GPU NVIDIA o AMD Instinct compatibles mediante ROCm, así como almacenamiento basado en un sistema de archivos. Indica que la caché sin prefijo para modelos densos y la compatibilidad con SGLang llegarán próximamente. También aclara que la caché funciona junto con modelos alojados en infraestructura propia; no es un complemento que pueda conectarse a cualquier API de modelos alojados.

Dónde podría resultar rentable

Las aplicaciones más prometedoras son las que procesan repetidamente grandes cantidades de contexto compartido: asistentes internos de conocimiento, servicios de análisis de documentos y agentes que vuelven a consultar un conjunto estable de instrucciones o material de referencia.

Una evaluación útil compararía el comportamiento con la caché fría y con la caché caliente usando tráfico representativo. Los operadores deben medir el tiempo hasta el primer token, el rendimiento, el tiempo de recuperación de la caché, la utilización de las GPU y los costos de memoria, almacenamiento y red que implica conservar el estado.

La tasa de aciertos de la caché, por sí sola, no basta. Una tasa alta solo resulta útil si el trabajo recuperado genera un beneficio neto después de considerar los costos de transferencia y gestión. Del mismo modo, obtener más rápido el primer token no significa necesariamente que toda la respuesta se complete en una proporción equivalente de tiempo menos.

La calidad de las respuestas requiere una comprobación aparte, sobre todo cuando se combinan fragmentos almacenados en caché en contextos modificados. La recalculación selectiva de CacheBlend está diseñada para abordar ese problema, pero las pruebas en producción deben abarcar los documentos, los formatos de indicación y las configuraciones de modelo propios de cada organización.

La retención de datos y el aislamiento entre inquilinos también cobran mayor importancia cuando la caché va más allá de un único proceso. Entre las preguntas operativas pertinentes están quién puede reutilizar una entrada, durante cuánto tiempo permanece disponible y cómo afectan al estado almacenado los cambios de políticas o las solicitudes de eliminación. Las funciones de gestión anunciadas por Tensormesh buscan permitir que estas decisiones se controlen.

Una apuesta práctica por repetir menos trabajo

Según el anuncio de la empresa, Tensormesh Platform está disponible desde su lanzamiento. Su importancia radica en tratar el estado de inferencia como un recurso que puede gestionarse en toda una flota y conservar los cálculos reutilizables más allá de la duración inmediata de una solicitud.

Para las empresas que gestionan su propia infraestructura de LLM, esto ofrece una medida concreta para mejorar la eficiencia: reutilizar una mayor parte del trabajo de procesamiento de indicaciones ya realizado. El resultado dependerá de la repetición de las cargas de trabajo, la compatibilidad de la caché y el costo de mover datos; pero son cuestiones de ingeniería cuantificables que los equipos pueden probar con su propio tráfico.