AI 모델 및 플랫폼
컨테이너가 보고한 GPU 캐시 상태를 활용하는 SageMaker AI 요청 라우팅

핵심 포인트KV 인식 라우팅은 컨테이너가 보고한 제거를 추적하여 캐시 적중률을 3–48%에서 80–93%로 높입니다.
더 보기
- KV 인식 라우팅은 컨테이너가 보고한 제거를 추적하여 캐시 적중률을 3–48%에서 80–93%로 높입니다.
- 라우팅 오버헤드는 모델 지연이 개선되더라도 CloudWatch OverheadLatency에 14~19밀리초를 추가합니다.
- 이 기능은 라우팅 효과를 내려면 최소 두 개의 인스턴스 또는 추론 구성 요소 복사본이 필요합니다.
Amazon Web Services는 2026년 11월 17일, 컨테이너가 보고한 캐시 상태를 바탕으로 요청을 배정하는 KV 캐시 인식 라우팅을 Amazon SageMaker AI 실시간 엔드포인트에 도입했다. AWS에 따르면 부하가 걸린 상태에서 긴 프롬프트를 사용한 테스트 결과, 무작위 라우팅에 비해 첫 토큰까지 걸리는 중간 시간이 최대 97% 단축되고 처리량은 234% 증가했다.
KV 캐시는 이전 프롬프트의 연산 결과를 GPU 메모리에 보관하므로, 모델은 입력 토큰이 일치할 때 초기 처리, 즉 프리필을 반복하는 대신 저장된 결과를 재사용할 수 있다. 따라서 채팅 어시스턴트, 검색 증강 생성, 긴 시스템 프롬프트를 사용하는 에이전트에서는 캐시 배치가 중요하다. 요청을 다른 곳으로 보내면 다른 GPU에 이미 저장된 컨텍스트를 인스턴스가 다시 계산해야 할 수 있기 때문이다.
보고된 캐시 상태를 바탕으로 한 라우팅
SageMaker AI의 기존 접두사 인식 전략은 고정된 요청 접두사를 바탕으로 캐시 위치를 추정한다. 이 전략은 캐시에서 항목이 제거되는 상황을 감지할 수 없으며, 대화가 길어지는 초반에는 턴마다 해시값이 달라져 서로 다른 인스턴스로 요청이 전달될 수 있다. 반면 KV 캐시 인식 라우팅은 캐시 항목이 저장되거나 제거될 때마다 모델 컨테이너가 보내는 이벤트를 활용한다.
서비스는 프롬프트, 토큰 ID, 요청 페이로드 또는 KV 텐서를 저장하는 대신, 단방향으로 잘린 해시를 인스턴스나 추론 구성 요소 복제본에 연결하는 관리형 인덱스를 유지한다. 들어오는 각 프롬프트를 토큰화한 뒤 이 인덱스와 대조한다. 엔드포인트는 캐시된 내용과 가장 길게 일치하는 항목을 인스턴스 부하와 비교해 평가하고, 부하가 지나치게 큰 후보는 제외한다.
조회가 느리거나 유용한 일치 항목이 없거나 일치하는 인스턴스가 모두 사용 중이면, 요청은 처리 중인 요청 수가 가장 적은 인스턴스로 라우팅되며 계속 처리된다. 인스턴스를 축소할 때는 제거되는 인스턴스의 인덱스 항목도 삭제된다. 새 인스턴스나 교체된 인스턴스에는 빈 캐시가 할당되므로 캐시를 다시 채우는 동안의 지연과 콜드 스타트 지연을 고려해야 한다.
벤치마크에서 확인된 향상과 라우팅 오버헤드
AWS에 따르면 30분간 진행된 테스트에서는 7개의 ml.p5.48xlarge 인스턴스에서 Llama 3.1 70B Instruct를 실행했다. 시뮬레이션 사용자 수는 20명 또는 100명이었으며, 여러 차례 대화를 이어가는 채팅과 문서 질의응답 세션을 진행하고 프롬프트는 약 64,000토큰까지 늘렸다. 캐시 적중률은 무작위 라우팅의 3~48%에서 KV 캐시 인식 라우팅의 80~93%로 상승했다. 결과는 워크로드에 따라 달라지며, 짧은 프롬프트는 재사용할 프리필 연산이 적어 개선 폭이 가장 작았다.
라우팅을 위한 조회 과정에는 토큰화와 인덱스 처리 오버헤드가 추가된다. 짧은 프롬프트에서는 몇 밀리초, 긴 프롬프트에서는 그보다 더 걸린다. 일반 텍스트 전용 요청은 계산된 토큰을 모델에 전달하므로 토큰화를 다시 수행하지 않는다. AWS가 별도로 진행한 2개 인스턴스 기반 Qwen3-4B-Instruct-2507 비교에서는 SageMaker AI가 모델 컨테이너 외부에서 사용하는 시간을 측정하는 평균 CloudWatch OverheadLatency가 KV 캐시 인식 라우팅에서 14~19밀리초 더 높았다. 다만 모델 지연 시간과 첫 토큰까지 걸리는 시간은 개선됐다.
배포 요건 및 가시성
출시 시점에 이 기능을 사용하려면 SageMaker AI용 AWS vLLM Deep Learning Container의 vLLM 0.33.0 이상 버전이나 Amazon Linux server-sagemaker-cuda-v2.8.0 빌드 이상이 필요하다. 접두사 캐싱과 KV 캐시 이벤트를 활성화해야 한다. 고객은 SM_VLLM_KV_EVENTS_CONFIG 모델에서 설정하고 RoutingStrategy 에는 KV_AWARE 프로덕션 변형에 적용하며, 클라이언트 호출은 변경하지 않는다.
이 기능은 동적 Low-Rank Adaptation 어댑터를 포함해 GPU 기반 실시간 단일 모델 및 추론 구성 요소 엔드포인트를 지원한다. 단일 모델 엔드포인트는 인스턴스가 최소 2개, 추론 구성 요소 엔드포인트는 복제본이 2개 이상이어야 라우팅할 수 있다. 대상이 하나뿐이면 이 설정은 라우팅에 영향을 주지 않는다. 요청은 지원되는 호출 API를 통해 OpenAI 호환 Completions 또는 Chat Completions 페이로드를 사용해야 하며, InvokeEndpointWithBidirectionalStream 는 지원되지 않는다.
KV 캐시 인식 라우팅은 출시 시점에 전용 지표나 고객 계정별 라우팅 결정 로그를 제공하지 않으며, 폴백도 SageMaker AI 콘솔이나 지표에 표시되지 않는다. 고객은 usage.prompt_tokens_details.cached_tokens 프롬프트 토큰 세부 정보를 활성화한 뒤 확인하고, 상세 관측 기능과 CloudWatch를 통해 캐시 적중률 및 첫 토큰까지 걸리는 시간 같은 컨테이너 지표를 모니터링할 수 있다.
이 기능은 지원되는 컨테이너를 사용해 SageMaker AI 실시간 추론을 지원하는 모든 상용 AWS 리전에서 제공되며, 엔드포인트 인스턴스 비용 외에 추가 요금은 없다. AWS는 안정적인 공유 프롬프트, 짧은 컨텍스트, 중간 수준의 부하에는 접두사 인식 라우팅이 더 간단한 선택지라고 계속 설명하고 있다. KV 캐시 인식 라우팅은 재사용할 컨텍스트가 길고 메모리 압박과 캐시 제거가 잦은 경우에 적합하다. 따라서 각 워크로드에서는 GPU 프리필 연산을 절감하는 이점과 요청마다 추가되는 라우팅 오버헤드 사이에서 구체적인 인프라 균형을 찾아야 한다.












