AI 모델 및 플랫폼
Supermicro, 장문맥 AI를 위한 공유 KV 캐시 스토리지 출시
Unite.AI를 Google의 선호 소스에 추가
2026년 11월 5일 Supermicro는 IBM 및 NVIDIA와 함께 재사용 가능한 AI 추론 컨텍스트를 GPU 메모리 밖의 공유 스토리지로 옮기도록 설계된 KV 캐시 스토리지 솔루션을 발표했다. 공동 테스트에서 130,000토큰 프롬프트의 첫 토큰 생성 시간이 최대 56배 빨라졌다고 양사는 밝혔다.
이 솔루션은 AMD EPYC 9005 프로세서를 탑재한 Supermicro Petascale 올플래시 스토리지 서버, IBM Storage Scale 소프트웨어, NVIDIA의 Dynamo 추론 프레임워크, Spectrum-X 이더넷 네트워킹을 결합한다. 멀티턴 및 에이전트형 애플리케이션, 코딩 보조 도구, 멀티모달 AI, 장문맥 검색 증강 생성(RAG)을 대상으로 한다. 대규모 코드베이스, 문서, 이미지, 대화 기록은 GPU와 CPU 메모리가 보관할 수 있는 용량을 넘어서는 키-값 상태를 생성할 수 있다.
요청 간 컨텍스트 재사용
프리필 단계에서는 토큰화된 프롬프트를 모델이 사용하는 중간 키-값 상태로 변환한다. 이 상태를 영구 저장하면 이후 요청에서 다시 계산하지 않고 컨텍스트를 재사용할 수 있다. 이 아키텍처는 GPU 노드와 클러스터 전반에서 공유 액세스를 제공하는 고가용성 스토리지 계층을 제공하며, 캐시 용량도 서비스 중단 없이 확장할 수 있다.
Dynamo는 캐시 인식 라우팅을 추가하고 프리필과 디코딩을 분리하며, KV Block Manager와 NIXL 전송 라이브러리를 통해 캐시된 블록을 오프로드한다. IBM Storage Scale Erasure Coding Edition은 NVIDIA 메모리 계층 구조에서 공유 G4 스토리지 계층을 제공한다.
벤치마크 결과 및 테스트 조건
2026년 6월 5일 공개되고 2026년 8월 20일 마지막으로 업데이트된 IBM Redbooks 참조 아키텍처에 따르면, 130,000토큰을 GPU에서 재계산하는 데 32.14초가 걸린 반면 스토리지 기반 캐시를 사용하면 0.570초가 걸렸다. 이러한 기존 측정값은 이번 출시의 근거가 된 것이지, 11월에 새로 발표된 연구 결과는 아니다.
별도의 200회 요청 테스트에서는 28개의 동시 연결을 사용했으며, 총 24 million 토큰과 825 GB의 KV 캐시 데이터를 나타내는 100개의 고유 프롬프트를 대상으로 했다. Redbook에 따르면 처리량은 초당 0.19건에서 4.26건으로 증가했고, 전체 처리 시간은 1,048.56초에서 46.94초로 줄었다. 캐시가 비어 있는 상태에서 테스트를 시작했으므로, 재사용이 늘어나는 과정에서 발생한 콜드 스타트 기간도 전체 평균에 포함된다.
노이즈 네이버 테스트에서는 다른 클라이언트 4대가 초당 200 GB의 경쟁 네트워크 입출력을 발생시켰다. 캐시를 사용하는 시스템은 초당 3.6건의 처리량을 유지했고 200건의 요청을 55.56초 만에 완료했다. Redbook은 이를 깨끗한 네트워크 환경에서 캐시를 사용했을 때의 결과보다 처리량이 18% 감소한 것으로 설명한다.
모든 추론 측정은 NVIDIA RTX PRO 6000 GPU 4개를 탑재한 Supermicro GPU 클라이언트 노드 한 대에서 수행했으며, 이 노드는 8노드 Petascale 스토리지 클러스터에 연결됐다. 소프트웨어 스택에는 Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf, openai/gpt-oss-120b 모델이 사용됐다. 공유 G4 계층만을 분리해 측정하기 위해 GPU 메모리 및 시스템 DRAM 캐시 계층은 비활성화했다.
네트워크 여유 용량 및 배포 규모 산정
테스트 네트워크의 스파인-리프 구성에는 Spectrum-X SN5600 스위치 3대가 사용됐다. Redbook에 따르면 클라이언트 연결 대역폭은 최대 80 GB/s였고, 8노드 스토리지 시스템의 읽기 처리량은 최대 315 GB/s에 달했다. 따라서 이 구성의 병목은 스토리지 계층의 전체 읽기 용량이 아니라 클라이언트 측 네트워킹이었다.
Redbook의 규모 산정 예시에서는 소규모 개념 검증 배포에 스토리지 노드 4대, 테스트한 중간 규모 구성에 8대, 대규모 AI 팩토리에 16대 이상을 사용한다. 적절한 설계에는 용량, 대역폭, 동시성, 모델 크기, 워크로드가 모두 영향을 미친다. Supermicro는 팩토리 랙 통합 및 현장 배포 서비스로 배포 기간을 몇 주에서 며칠로 줄일 수 있다고 밝혔다.
이번 출시는 이전에 문서화되고 공동 검증된 아키텍처를 배포할 수 있는 패키지로 제공하지만, 성능 향상은 특정 모델, 프롬프트 구성, 동시성 수준, 네트워크 환경에서 얻은 결과다. 배포 시 핵심적으로 따져야 할 점은 스토리지 용량과 클라이언트 대역폭이 실제 컨텍스트 재사용 수요에 맞게 균형을 이루는지 여부다. 클라이언트 네트워크가 데이터를 전송하지 못한다면 스토리지 읽기 여유 용량을 늘려도 추론 성능은 개선되지 않는다.
