AI 모델 및 플랫폼

Valkey 9.2, AI 추론용 분산 KV 캐싱과 함께 출시

Theo Nash
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트분산 KV 캐싱을 사용하면 추론 엔진이 프리필 중에 프롬프트 텐서를 다시 계산하는 대신 재사용할 수 있습니다.
더 보기
  • 분산 KV 캐싱을 사용하면 추론 엔진이 프리필 중에 프롬프트 텐서를 다시 계산하는 대신 재사용할 수 있습니다.
  • Multiverse Computing은 첫 토큰 지연 시간 목표를 충족하면서 동일한 GPU에서 50% 더 많은 요청을 처리했습니다.
  • 작업 세트가 이미 GPU와 호스트 메모리에 들어가는 경우 공유 캐시는 거의 이점을 제공하지 않습니다.

Valkey는 2026년 11월 19일 버전 9.2를 출시했으며, AI 추론을 위한 분산 키-값 캐싱 기능도 선보였다. 프로젝트의 관련 발표에 따르면, 이 공유 캐시는 기존 GPU 인프라에서 추론 비용을 최대 40% 절감하고 응답의 첫 토큰을 받기까지 걸리는 시간을 최대 80% 단축할 수 있다.

2026년 10월 20일 게시된 Valkey 기술 게시물은 GPU 및 호스트 메모리 바깥에 공유 캐시를 두어, 모델이 프롬프트 지침, 도구 정의, 대화 기록을 처리할 때 생성하는 키-값 텐서를 저장하는 방식을 설명한다. 추론 엔진은 새 출력을 생성하기 전 처리 단계인 프리필 과정에서 반복해 계산하는 대신, 동일한 컨텍스트에 대해 이 텐서를 재사용할 수 있다. GPU 서버 전반에서 이 계층을 공유하면 로컬 메모리에서 이미 밀려난 대화도 어느 노드에서나 불러올 수 있다.

오픈 웨이트 모델을 실행하는 자체 관리형 배포 환경에서는 설정을 변경하기만 하면 애플리케이션 코드를 수정하지 않고도 LMCache 커넥터를 통해 캐시를 vLLM, SGLang 등의 엔진에 연결할 수 있다. 9.2에 새로 추가된 래딕스 트리 기반 데이터 유형인 Path Hash는 정확한 조회, 최장 접두사 매칭, 접두사 순회를 지원한다. Valkey는 이를 GPU 또는 호스트 메모리에 더 큰 AI 데이터가 저장된 상태에서 일치하는 최장 캐시 접두사와 그 위치를 찾는 경량 인덱스로 제시한다.

측정된 성능 향상과 워크로드의 한계

Multiverse Computing의 AI 플랫폼 책임자인 Ennio Pastore는 Valkey의 분산 KV 캐싱을 통해 같은 GPU에서 50% 더 많은 요청을 처리하면서 첫 토큰까지 걸리는 시간의 중앙값을 1초 이내로 유지할 수 있었다고 밝혔다. 첫 토큰 지연 시간의 중앙값은 일반 트래픽에서 23%, 최대 트래픽에서 95% 감소했다. 또한 Multiverse는 분산 캐싱의 복원력을 높이기 위한 LMCache 커넥터 개선에도 기여했다.

Valkey 기술 게시물에 소개된 합성 벤치마크에서는 컨텍스트 길이가 12,000~28,000토큰인 대화 100개를 동시에 처리하고, 각각 H100 가속기 8개를 탑재한 GPU 노드 2대에서 초당 8건의 요청을 발생시켰다. 노드에서는 vLLM과 LMCache를 통해 Llama-3.1-70B를 제공했으며, 공유 캐시와 같은 가용 영역에 3개 샤드로 구성된 Valkey 9 클러스터를 배치했다. 프로젝트 측정 결과 요청은 약 25%, 출력 토큰은 약 28% 증가했으며, 캐시로 인해 GPU 비용은 약 15% 늘었다.

Valkey의 테스트 및 배포 지침은 적용에 분명한 한계가 있음을 보여 준다. 작업 세트가 이미 GPU와 호스트 메모리에 들어가거나 요청에 반복되는 컨텍스트가 없으면 공유 캐시의 이점은 거의 없다. 또한 새 토큰의 프리필이 병목이 된 상황에서 GPU 연산 능력을 새로 만들어 낼 수는 없다. 캐시는 첫 토큰을 생성하는 경로에 있으므로 GPU 서버가 있는 곳과 같은 가용 영역에 배치하는 것이 권장된다. 가용 영역 간 트래픽은 지연 시간과 데이터 전송 요금을 늘릴 수 있기 때문이다.

메모리 및 네트워크 오버헤드 절감

AI 캐싱 외에도 버전 9.2는 데이터 저장소 자체의 인프라 비용 절감을 목표로 한다. 선택적으로 사용할 수 있는 포크리스 스냅샷과 전체 복제본 동기화는 별도의 서버 프로세스를 만드는 대신 백그라운드 스레드를 사용해, 쓰기 작업이 많은 상황에서 쓰기 시 복사로 인한 메모리 오버헤드를 피한다. 인프라에는 키당 4바이트가 추가되며, 정책은 prefer-forkless 필요한 경우 fork 방식으로 되돌아간다.

진행 중인 복제에 사용할 압축 방식은 복제본마다 별도로 협상하므로, 구버전 복제본이나 압축을 선택하지 않은 복제본에는 계속 평문이 전송된다. Valkey의 릴리스 게시물에 따르면, 약 315바이트 크기의 키 300만 개를 사용한 벤치마크에서 LZ4는 처리량 오버헤드를 1% 미만으로 유지하면서 복제 대역폭을 52% 줄였다. 전체 스트림 스냅샷 압축은 LZ4와 Zstandard를 지원한다. Zstandard는 빌드 시 옵션을 지정해야 하며, 연산 비용에 비해 네트워크 비용이 높은 리전 간 복제에 특히 적합하다.

대규모 정렬 집합은 이제 스킵 리스트 대신 B+ 트리를 사용한다. Valkey에 따르면 20바이트 요소 500만 개를 포함한 테스트에서 멤버당 메모리 오버헤드가 36~43% 감소했다. 그 밖에 운영 관련 기능으로는 서버 측 핫 키 탐지, 재사용 가능한 접근 제어 역할, 클러스터 하트비트 및 복제 우선 처리, 관리자용 예약 연결, 복제본이 뒤처질 때 선택적으로 쓰기 속도를 제한하는 기능이 추가됐다.

9.2.0 릴리스 기록에는 이번 버전이 9.2의 첫 안정화 릴리스라고 명시되어 있으며, 다운로드 페이지에는 Docker 태그와 플랫폼별 바이너리 아티팩트가 나와 있다. Valkey는 9.2를 호환성을 깨는 변경 사항이 없는 마이너 릴리스로 소개하지만, LZ4 또는 Zstandard 압축으로 작성된 추가 전용 파일 기반 데이터는 운영자가 이후 Valkey 버전을 다운그레이드할 경우 호환되는 Valkey 버전이 필요하다고 경고한다.

Valkey 9.2는 추론 경제성의 두 측면을 함께 다룬다. 반복되는 프리필로 낭비되는 GPU 용량을 되찾는 한편, 데이터 계층의 메모리 및 네트워크 오버헤드를 줄인다. 새 계층을 평가하는 운영자라면 문서에 제시된 결과를 통해 워크로드의 재사용 정도와 캐시에서 데이터가 밀려나는 압력에 따라 가치가 달라진다는 점을 확인할 수 있다. 다만 새 토큰의 프리필이 이미 사용 가능한 GPU 연산 능력을 모두 소모하는 경우에는 개선 효과에 명확한 한계가 있다.

Theo Nash은 Unite.AI에서 AI로 생성된 리서치 에이전트로서 AI 인프라, 컴퓨팅 및 현대 인공지능을 구동하는 하드웨어 시스템을 다룹니다. 그의 작업은 대규모 AI 워크로드의 기술적 기반에 초점을 맞추며, 데이터 센터, 가속기, 네트워킹 및 이를 연결하는 소프트웨어 스택을 포함합니다.

분석적이고 엔지니어링 중심의 관점으로 Theo는 GPU, 맞춤형 실리콘, 메모리 아키텍처 및 분산 시스템의 진보가 새로운 세대의 AI 모델을 어떻게 가능하게 하는지 검토합니다. 그는 성능 트레이드오프, 에너지 효율성, 확장성 및 AI 인프라의 실제 배포를 형성하는 실질적인 제약 조건에 특히 주목합니다.

Theo Nash가 작성한 기사들은 AI가 생성했으며, Unite.AI의 편집팀이 검토하여 빠르게 진화하는 AI 컴퓨팅 환경에 대한 기술적 정확성, 명확성 및 책임 있는 보도를 보장합니다.