Tensormesh, KV 캐시 재사용으로 LLM 추론 비용 절감하는 플랫폼 출시

AI 어시스턴트는 긴 문서를 받을 때마다 답변을 시작하기 전에 해당 내용을 처리해야 한다. 동일한 문서나 지침, 대화 기록이 다시 등장하면 처리 작업의 상당 부분을 반복해야 할 수 있다. 기업 규모로 운영할 경우, 이러한 반복은 유용한 작업을 추가하지 않으면서도 값비싼 GPU 자원을 소모할 수 있다.

Tensormesh는 2026년 10월 14일 발표한 Tensormesh Platform으로 이 문제에 대응한다. 오픈소스 LMCache 프로젝트를 만든 팀이 속한 이 회사는 자체 인프라에서 대규모 언어 모델을 서비스하는 조직을 위해 키-값 캐싱, 즉 KV 캐싱을 관리하는 엔터프라이즈 계층을 제공한다.

이 플랫폼은 GPU 메모리와 CPU 메모리, 스토리지 전반에서 재사용 가능한 추론 상태를 관리한다. 목적은 분명하다. GPU 클러스터가 반복해서 수행해야 하는 프롬프트 처리량을 줄이는 동시에, 운영자가 캐시된 상태의 보존과 공유, 모니터링 방식을 제어할 수 있도록 하는 것이다.

KV 캐시가 중요한 이유

LLM 추론은 두 가지 주요 단계로 이뤄진다. 프리필 단계에서는 모델이 입력 프롬프트를 처리한다. 디코드 단계에서는 응답을 토큰 단위로 생성한다. KV 캐시에는 어텐션과 관련된 중간 상태가 저장되며, 이를 통해 모델은 모든 작업을 처음부터 다시 계산하지 않고도 이미 처리한 토큰을 참조할 수 있다.

입력 문맥이 반복될 때 요청 간에 이 상태를 재사용하면 프리필 작업을 줄일 수 있다. 예를 들어 고객 지원 어시스턴트는 서로 다른 수백 가지 질문에 답하면서 같은 제품 설명서를 참조할 수 있다. 에이전트는 작업 내용이 달라져도 동일한 지침이나 도구를 반복해서 포함할 수 있다.

이는 완성된 답변을 캐싱하는 것과 다르다. 시스템은 공유 문맥에 수반되는 계산을 재사용하면서도 새로운 질문에 대한 응답은 새로 생성할 수 있다.

vLLM의 자동 접두사 캐싱 문서는 반복되는 문서 질의와 다중 턴 대화에서 얻을 수 있는 이점을 설명한다. 또한 중요한 한계를 밝힌다. 접두사 캐싱은 프롬프트 처리를 빠르게 하지만 새로운 출력 토큰을 생성하는 속도를 높이지는 않는다. 긴 답변이 대부분이거나 입력이 대체로 고유한 워크로드에서는 이점이 작을 수 있다.

기업 고객에게 중요한 질문은 실제 워크로드에서 재사용 가능한 문맥이 얼마나 많은지, 그리고 그 문맥을 다시 계산하는 것보다 더 빠르고 저렴하게 복구할 수 있는지다.

캐시를 관리형 인프라로 전환

Tensormesh는 이번 출시에서 보안, 관측 가능성, 복원력, 정책 관리, 멀티테넌시라는 다섯 가지 운영 우선순위를 제시한다. 이는 캐시된 데이터를 보호하고, 성능을 추적하고, 장애에서 복구하며, 보존과 제거를 제어하고, 공유 인프라에서 팀이나 고객을 분리하는 실무 과제를 해결한다.

회사는 캐시 항목을 고정하고, 위치를 찾고, 이동하고, 압축하고, 삭제하는 컨트롤러 API도 설명한다. 이로써 캐시 수명 주기 관리는 개별 추론 프로세스에 전적으로 맡겨지는 일이 아니라 명시적인 운영 과제가 된다.

기반이 되는 LMCache 프로젝트는 캐시 관리를 서빙 엔진과 분리하고 여러 스토리지 계층 간 오프로딩과 검색을 지원한다. 문서에 따르면 플러그인 방식의 스토리지 및 전송 백엔드를 통해 요청과 세션, 엔진 인스턴스 간 캐시를 재사용할 수 있다.

엔터프라이즈 플랫폼은 이러한 기반 위에 구축됐다. 설치 안내서에 따르면 Kubernetes 오퍼레이터가 캐시 엔진 구성 요소를 관리하며, 캐시 서버는 GPU 노드에서 실행되고 코디네이터는 클러스터 전체의 조정을 담당한다. 배포에는 Helm을 사용하고, 운영에는 웹 인터페이스와 명령줄 도구를 활용한다.

GPU 메모리는 한정된 자원이므로 이러한 아키텍처가 중요하다. 재사용 가능성이 있는 모든 프롬프트를 GPU 메모리에 보관하면 다른 추론 작업에 필요한 자원과 경쟁하게 된다. 당장 활용도가 낮은 상태를 호스트 메모리나 스토리지로 옮기면 보관량을 늘릴 수 있지만, 데이터를 가져오는 데는 별도의 대역폭과 지연 시간 비용이 발생한다.

동일한 프롬프트 접두사를 넘어

두 프롬프트가 동일한 토큰으로 시작할 때는 접두사 캐싱이 효과적이다. 검색 증강 생성(RAG)은 더 까다로울 수 있다. 애플리케이션이 관련 문서를 검색하더라도 문서가 서로 다른 순서로 나타나거나 앞에 오는 텍스트가 달라질 수 있기 때문이다.

동일한 문서를 사용하는 가상의 요청 두 건을 생각해 보자. 한 요청에는 문서 A 다음에 문서 B가 포함되고, 다른 요청에는 문서 B 다음에 문서 A가 포함된다. 두 요청 모두 재사용 가능한 내용을 담고 있지만, 앞부분에서 공유하는 내용은 짧을 수 있다.

Tensormesh는 CacheBlend를 사용해 프롬프트 시작 부분을 넘어 캐시 재사용을 확장한다. LMCache 문서에 따르면 CacheBlend는 캐시된 청크를 재사용하면서 토큰 일부를 선별적으로 다시 계산한다. 청크를 둘러싼 문맥이 모델 내부 상태에 영향을 줄 수 있으므로 이러한 재계산이 필요하다.

EuroSys 2025에서 발표된 CacheBlend 연구 논문은 평가한 워크로드에서 KV 전체를 다시 계산하는 방식과 비교해 첫 토큰 생성 시간이 2.2~3.3배 빨라지고 처리량은 2.8~5배 높아졌다고 보고한다. 저자들은 오픈소스 모델 3개와 벤치마크 데이터셋 4개를 평가했다.

이는 특정 조건에서 얻은 연구 결과이지, 모든 Tensormesh 배포 환경에서 비용 절감을 보장하는 것은 아닙니다. 그러나 기존의 접두사 매칭으로는 놓치는 유용한 연산을 재활용할 수 있다는 점에서, 공유 접두사를 넘어선 재사용이 기술적으로 왜 흥미로운지 보여 줍니다.

노드 간 재사용과 버전별 지원의 중요성

출시 발표에서는 노드 간 피어 투 피어 KV 전송을 설명하며, 이를 통해 한 노드가 다른 노드에서 캐시된 상태를 가져올 수 있다고 밝혔습니다. 회사의 제품 자료에서는 프리필과 디코드의 분리도 설명합니다. 분리 방식은 프롬프트 처리와 출력 생성을 나눠 두 단계를 서로 다른 작업자에서 실행할 수 있게 합니다.

이는 추론을 구성하는 상호 보완적인 방법입니다. 호환되는 상태를 공유하면 다른 노드에서 이를 다시 계산하지 않아도 되고, 단계를 분리하면 인프라 팀이 처리 요구에 따라 자원을 다르게 배분할 수 있습니다.

그러나 공개 자료의 출시 상태가 완전히 일치하지는 않습니다. 출시 안내에서는 노드 간 공유와 분리를 설명하지만, 9월 17일자 버전별 호환성 매트릭스에서는 피어 투 피어 전송과 분리가 로드맵에 올라 있습니다. 기능 문서에는 프리뷰 페이지도 포함되어 있습니다.

같은 매트릭스에서는 Tensormesh의 테스트를 통해 검증된 기능과, 상위 프로젝트에서 지원하지만 프로덕션에 적용하기 전에 추가 테스트가 필요한 기능을 구분합니다. 서빙 엔진으로 vLLM과 NVIDIA Dynamo는 검증된 것으로, SGLang과 TensorRT-LLM은 로드맵에 있는 것으로 기재되어 있습니다.

따라서 출시 자료의 폭넓은 호환성 표현은 설계 방향을 보여 주는 것이지, 모든 모델과 인프라 조합이 검증되었다는 근거는 아닙니다. 팀은 배포하려는 정확한 릴리스 버전과 서빙 엔진, 모델, 캐시 모드를 확인해야 합니다.

출시 안내에서는 특히 Kubernetes에서 NVIDIA 또는 ROCm을 통해 지원되는 AMD Instinct GPU를 사용하는 vLLM과 파일 시스템 기반 스토리지를 설명합니다. 또한 밀집 모델의 비접두사 캐싱과 SGLang 지원은 향후 제공될 기능으로 소개합니다. 캐시는 자체 호스팅 모델과 함께 실행되며, 임의의 호스팅 모델 API에 연결할 수 있는 추가 기능이 아니라는 점도 명확히 합니다.

경제성이 있을 수 있는 분야

가장 적합한 후보는 상당한 양의 공통 맥락을 반복해서 처리하는 애플리케이션입니다. 여기에는 사내 지식 도우미, 문서 분석 서비스, 그리고 변하지 않는 지침이나 참고 자료를 다시 참조하는 에이전트가 포함됩니다.

대표성 있는 트래픽을 사용해 콜드 캐시와 웜 캐시의 동작을 비교하는 것이 유용합니다. 운영자는 첫 토큰 생성 시간, 처리량, 캐시 검색 시간, GPU 사용률, 그리고 상태를 보존하는 데 드는 메모리·스토리지·네트워크 비용을 측정해야 합니다.

캐시 적중률만으로는 충분하지 않습니다. 높은 적중률이 유용하려면 전송 및 관리 오버헤드를 고려한 뒤에도 재사용으로 얻는 이점이 순이익으로 남아야 합니다. 마찬가지로 첫 토큰이 더 빨리 생성되더라도 전체 응답이 그에 비례해 더 빨리 완료된다는 뜻은 아닙니다.

특히 캐시된 청크를 달라진 맥락에서 결합할 때는 답변 품질을 별도로 점검해야 합니다. CacheBlend의 선택적 재계산은 이 문제를 해결하도록 설계되었지만, 프로덕션 테스트에서는 조직이 실제로 사용하는 문서와 프롬프트 형식, 모델 구성을 확인해야 합니다.

캐시가 단일 프로세스를 넘어 확장되면 보존 기간과 테넌트 격리도 더욱 중요해집니다. 항목을 누가 재사용할 수 있는지, 해당 항목을 얼마나 오래 이용할 수 있는지, 정책 변경이나 삭제 요청이 저장된 상태에 어떤 영향을 미치는지 등이 운영상 확인해야 할 사항입니다. Tensormesh가 발표한 관리 기능은 이러한 결정을 제어할 수 있도록 마련되었습니다.

반복 작업을 줄이는 실용적인 선택

회사 발표에 따르면 Tensormesh Platform은 출시와 동시에 이용할 수 있습니다. 이 플랫폼의 중요성은 추론 상태를 전체 서버군에서 관리할 수 있는 자원으로 다루고, 요청이 끝난 뒤에도 재사용 가능한 연산 결과를 보존한다는 데 있습니다.

자체 LLM 인프라를 운영하는 기업에 이는 구체적인 효율화 방안을 제공합니다. 이미 수행한 프롬프트 처리 작업을 더 많이 재사용하는 것입니다. 결과는 워크로드의 반복 정도와 캐시 호환성, 데이터 이동 비용에 따라 달라지지만, 이는 팀이 실제 트래픽을 대상으로 시험해 볼 수 있는 측정 가능한 엔지니어링 과제입니다.