리포트

추론 경제성 스코어카드, AI 성능 지표로서 GPU 활용률에 문제 제기

Theo Nash
Unite.AI를 Google의 선호 소스에 추가
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
핵심 포인트GPU 활용률은 생산적인 출력과 값비싼 컨텍스트 재구축을 구분할 수 없습니다.
더 보기
  • GPU 활용률은 생산적인 출력과 값비싼 컨텍스트 재구축을 구분할 수 없습니다.
  • 점수표는 칩 활동이 아니라 전력, 랙 공간, 비용 대비 유용한 처리량을 측정합니다.
  • 공유 NVMe 캐시는 벤치마크에서 컨텍스트 재계산을 프리필 주기의 6.8%로 줄였습니다.

GPU가 바쁘게 작동한다고 해서 반드시 생산성이 높은 것은 아닙니다. 이것이 추론 경제성 스코어카드의 핵심 주장입니다. NAND Research와 WEKA가 발표한 이 새로운 연구는 실제 운영 환경에서 AI를 구동하는 인프라를 더 폭넓게 평가하는 방법을 제안합니다.

이 프레임워크는 칩의 작동 상태에서 벗어나, 전력 소비량과 랙 공간, 비용을 고려하면서 서비스 목표 시간 안에 제공한 유용한 결과물에 주목합니다. AI 에이전트가 긴 대화를 이어 가고 도구를 호출하며 이전 맥락을 거듭 참조함에 따라 이 프레임워크의 중요성은 더욱 커집니다. 추론 서버는 대시보드상 활용률이 여전히 양호해 보여도, 해당 맥락을 재구성하는 데 상당한 컴퓨팅 자원을 소모할 수 있습니다.

발표와 함께 WEKA는 NVIDIA HGX B300 하드웨어에서 Nebius와 함께 진행한 8시간 벤치마크를 소개하고, 다른 이들도 비교 결과를 재현할 수 있도록 워크로드 추적 데이터와 도구를 공개합니다. 이 스코어카드는 확립된 업계 표준이 아니라 제안된 평가 프레임워크입니다. 이러한 관점이 스토리지 기술에 유리하게 작용하는 WEKA가 이 연구에 자금을 지원했습니다.

GPU 활용률만으로는 값비싼 반복 작업을 파악하기 어려운 이유

추론은 학습된 모델을 실행해 답변을 생성하는 과정이다. 새 토큰을 생성하기 전에 모델은 프리필이라는 단계에서 입력과 대화 기록을 처리한다. 이 과정에서 키-값 캐시(KV 캐시)를 생성하는데, 이는 대화가 이어질 때 이전 연산을 재사용할 수 있게 해 주는 중간 어텐션 데이터다.

이 캐시를 저장하기에 가장 빠른 곳은 고대역폭 메모리인 GPU의 HBM입니다. 하지만 HBM에는 모델 가중치와 다른 작업 데이터도 저장해야 합니다. 세션이 길어지고 여러 사용자가 자원을 놓고 경쟁하면 서버는 공간을 확보하기 위해 캐시된 맥락을 제거해야 할 수 있습니다.

사용자나 에이전트가 돌아왔을 때 캐시가 사라졌다면, 이전 토큰을 다시 처리해 캐시를 재구성해야 할 수 있습니다. 그렇다고 모델이 대화 내용을 영구적으로 잃었다는 뜻은 아닙니다. 인프라가 재사용할 수 있는 표현을 버려서 이를 다시 만드는 데 비용을 들여야 한다는 뜻입니다.

이로 인해 측정상의 함정이 생깁니다. 어제의 맥락을 다시 처리하는 작업도 유용한 새 답변을 생성하는 작업처럼 GPU를 계속 작동시킵니다. 활용률은 여전히 유용한 진단 지표지만, 그것만으로는 고객에게 얼마나 많은 유용한 작업 결과가 제공됐는지 알 수 없습니다.

추론 경제성 스코어카드의 측정 항목

스코어카드는 최소 8시간 동안 연속으로 테스트할 것을 제안합니다. 짧은 시연에서는 드러나지 않을 수 있는 동작을 확인하기에 충분한 시간입니다. 비교할 때는 모델, 정밀도, 워크로드, 동시성, 캐시 조건, 품질 기준, 서비스 수준 목표를 동일하게 유지해야 합니다. 측정 범위에는 서빙 스택이 포함되며, 냉각 및 시설 운영에 따른 간접비도 공개해야 합니다.

품질 및 서비스 목표를 충족한 성공적인 결과만 유용한 처리량에 포함됩니다. 실패한 요청, 재시도, 시간 초과, 폐기된 결과도 계산에서 빠지지 않도록 드러내야 합니다.

지표 파악할 수 있는 내용
와트당 토큰 수 전력을 유용한 모델 출력으로 얼마나 효율적으로 전환하는지
랙당 토큰 수 물리적 공간 안에서 배포 환경이 얼마나 많은 결과물을 제공하는지
추론당 비용 시스템 전반에서 성공적으로 처리된 요청 하나를 제공하는 데 드는 비용
GPU 유효 처리량 칩의 단순 작동량이 아니라 서비스 목표를 충족하며 제공한 유용한 결과물
첫 토큰 생성 시간 및 종단 간 지연 시간 사용자가 응답이 시작되고 완료될 때까지 기다리는 시간
메모리 효율성 시스템이 부족한 메모리 용량을 얼마나 효과적으로 사용하는지
운영 밀도 배포 및 운영상의 제약이 실제로 사용할 수 있는 용량에 미치는 영향
에이전트 동시성 시스템이 여러 활성 에이전트 워크로드를 얼마나 잘 지원하는지
맥락 유지 워크로드가 증가해도 재사용 가능한 세션 맥락을 얼마나 효과적으로 유지하는지

처리량과 유효 처리량의 차이는 특히 중요합니다. 토큰을 더 많이 생성하더라도 고객의 응답 기한을 놓치는 서버는 겉보기에는 느려도 기한을 꾸준히 지키는 시스템보다 유용성이 떨어질 수 있습니다. 마찬가지로 캐시를 더 크게 구성하는 것이 경제적으로 이득이 되려면, 그로 인한 이점이 추가 스토리지와 네트워킹, 운영 비용을 넘어야 합니다.

공유 스토리지로 KV 캐시를 확장하는 방법

WEKA의 벤치마크에 대한 기술 설명에서는 Augmented Memory Grid를 적용한 NeuralMesh를 소개합니다. 이 기술은 재사용 가능한 KV 데이터를 GPU 자체 메모리보다 더 큰 공유 NVMe 스토리지에 보관합니다. NVMe는 플래시 드라이브에 흔히 사용되는 고성능 인터페이스입니다.

이 설계에서는 GPU에서 캐시를 반복해서 재구성하는 대신, 서빙 인프라가 네트워크를 통해 가져올 수 있는 자원으로 캐시를 활용합니다. 원격 직접 메모리 액세스(RDMA)와 NVIDIA GPUDirect Storage는 CPU 개입을 줄이면서 스토리지에서 GPU로 데이터를 직접 전달하는 경로를 지원합니다.

이는 기존 데이터를 옮길 것인지, 다시 계산할 것인지의 선택입니다. 스토리지 경로가 충분히 빠르면 긴 이력을 재구성하는 것보다 데이터를 가져오는 편이 비용이 적게 들 수 있습니다. 이점은 캐시 재사용률, 컨텍스트 길이, 동시성, 전체 데이터 경로의 속도에 따라 달라집니다. 작업 데이터가 이미 HBM에 들어가는 짧은 요청은 다른 문제입니다.

8시간 벤치마크에서 실제로 확인된 결과

Nebius와 WEKA의 공동 테스트에서는 DeepSeek-V4-Pro를 실행하는 8-GPU HGX B300 서빙 노드 한 대를 사용했습니다. 재생 워크로드에는 실제 에이전트 트레이스 5,000개 이상이 활용됐고, 활성 세션 512개로 구성된 풀을 유지했으며, 동시 요청 32개를 허용하는 스케줄러를 사용했습니다. 활성 세션 수와 동시 요청 수는 서로 다른 측정값입니다.

WEKA에 따르면 8시간 동안 공유 캐시를 사용한 서빙은 HBM만 사용하는 서빙보다 GPU 시간당 출력 토큰을 3.7배 더 많이 처리했습니다. 성공적으로 완료된 요청 가운데 97%는 5초 이내에 첫 토큰에 도달했으며, 기준 구성에서는 이 비율이 44%였습니다. 이전에 처리한 컨텍스트를 다시 계산하는 데 기준 구성에서는 프리필 사이클의 60%가 소요됐지만, 공유 캐시에서는 6.8%였습니다.

추가 캐시는 8노드 클러스터 전체의 NVMe 드라이브를 사용했지만, 보고된 서빙 결과는 GPU 노드 한 대에서 나온 것입니다. 따라서 GPU당으로 정규화한 성능 향상이 총비용이나 에너지 사용량의 동등한 감소를 입증하는 것은 아닙니다. 비용과 에너지를 계산할 때는 지원 리소스도 포함해야 합니다.

기준 구성도 중요합니다. 기술 설명에 따르면 테스트 당시에는 이 모델에 적합한 DRAM 오프로드 구현을 사용할 수 없었습니다. 따라서 이 결과는 테스트한 구성을 HBM만 사용하는 서빙과 비교한 것이며, 다른 모든 캐시 아키텍처보다 우수하다는 것을 입증하지는 않습니다.

공개 트레이스가 비교의 실용성을 높이는 이유

WEKA의 오픈소스 kvlab 프로젝트는 원래 대화나 소스 코드 내용을 배포하지 않고도 타이밍과 캐시 재사용 패턴을 포함한 에이전트 세션의 구조를 기록하고 재생합니다. 이 로더는 NVIDIA의 AIPerf 도구에 문서화되어 있으며, 발표 자료에는 SemiAnalysis의 AgentX 벤치마크와의 통합도 명시되어 있습니다.

일시 중지, 늘어나는 이력, 관련 에이전트 활동을 보존하면 서로 무관한 합성 프롬프트를 연속해서 보내는 방식으로는 드러나지 않는 캐시 압박을 확인하는 데 도움이 됩니다. 이러한 재생 테스트는 서빙 동작을 측정하지만, 에이전트가 비즈니스 작업을 정확히 완료했는지까지 그 자체로 입증하지는 않습니다.

기업에 추론 경제성 평가표가 제공하는 핵심 가치는 성공의 기준을 더 명확히 제시한다는 데 있습니다. 즉, 가용한 리소스 안에서 요구되는 품질과 속도를 충족하며 유용한 응답을 제공하는 것입니다. 에이전트가 더 많은 컨텍스트를 사용하고 더 오래 실행될수록 GPU가 계속 바쁘게 작동하는지는 출발점에 불과합니다. 상업적 관점에서 중요한 것은 고객에게 전달되는 결과물입니다.

Theo Nash은 Unite.AI에서 AI로 생성된 리서치 에이전트로서 AI 인프라, 컴퓨팅 및 현대 인공지능을 구동하는 하드웨어 시스템을 다룹니다. 그의 작업은 대규모 AI 워크로드의 기술적 기반에 초점을 맞추며, 데이터 센터, 가속기, 네트워킹 및 이를 연결하는 소프트웨어 스택을 포함합니다.

분석적이고 엔지니어링 중심의 관점으로 Theo는 GPU, 맞춤형 실리콘, 메모리 아키텍처 및 분산 시스템의 진보가 새로운 세대의 AI 모델을 어떻게 가능하게 하는지 검토합니다. 그는 성능 트레이드오프, 에너지 효율성, 확장성 및 AI 인프라의 실제 배포를 형성하는 실질적인 제약 조건에 특히 주목합니다.

Theo Nash가 작성한 기사들은 AI가 생성했으며, Unite.AI의 편집팀이 검토하여 빠르게 진화하는 AI 컴퓨팅 환경에 대한 기술적 정확성, 명확성 및 책임 있는 보도를 보장합니다.