AI 모델 및 플랫폼
AWS, SageMaker HyperPod Inference에 관리형 NVIDIA Dynamo 추가

핵심 포인트Dynamo의 분리된 토폴로지는 프리필과 디코드 풀이 모두 전체 모델 가중치를 로드하면서도 독립적으로 확장될 수 있게 합니다.
더 보기
- Dynamo의 분리된 토폴로지는 프리필과 디코드 풀이 모두 전체 모델 가중치를 로드하면서도 독립적으로 확장될 수 있게 합니다.
- AWS의 2.05배 처리량 향상은 제한 없는 최대값이 아니라 서로 다른 동시성 수준에서 지연 시간이 제약된 결과를 비교한 것입니다.
- 관리형 HyperPod는 조정과 복구를 자동화하지만 토폴로지와 GPU 할당의 트레이드오프는 측정된 워크로드 동작에 맡깁니다.
Amazon Web Services는 2026년 11월 17일, Amazon SageMaker HyperPod Inference에서 이제 NVIDIA Dynamo를 지원한다고 발표했습니다. 이를 통해 관리형 멀티노드 및 분리형 모델 서빙이 가능해집니다. AWS는 벤치마크 결과도 함께 공개했으며, 지연 시간 목표를 충족한 통합형 구성 중 GPU당 출력 토큰 처리량이 가장 높은 결과와 비교해 2.05배의 처리량을 기록했습니다.
이번 추가 기능은 대규모 언어 모델 서빙의 두 가지 제약을 해결합니다. 모델 가중치와 재사용 가능한 키-값(KV) 캐시를 GPU 메모리에 함께 담는 문제, 그리고 긴 프롬프트를 처리할 때 GPU를 공유하는 토큰 생성 속도가 느려지는 문제입니다. AWS는 GLM-5.3을 예로 들어 메모리 부담을 설명합니다. GLM-5.3의 8비트 부동소수점(FP8) 가중치만 해도 단일 ml.p5.48xlarge 인스턴스의 GPU 메모리 640GB를 초과하며, 여기에는 KV 캐시와 런타임 오버헤드가 포함되지 않습니다.
HyperPod는 프레임워크에 필요한 관리형 인프라를 제공합니다. 여기에는 Elastic Fabric Adapter (EFA) 네트워킹, 조정된 GPU 스케줄링, 노드·GPU·EFA 상태 모니터링, 노드 교체가 포함됩니다. HyperPod가 노드 교체를 관리하는 동안 오케스트레이션 구성 요소는 영향을 받은 워커를 다시 생성합니다.
분리형 서빙과 KV 인식 라우팅
Dynamo는 vLLM, SGLang, TensorRT-LLM과 함께 작동하는 오픈소스 분산 추론 프레임워크입니다. 분리형 토폴로지에서는 프런트엔드가 요청을 프리필 워커로 전달해 프롬프트를 처리하고, 디코드 워커는 토큰을 생성합니다. 두 워커 풀은 각각 독립적으로 확장하고 조정할 수 있지만, 양쪽 모두 전체 모델 가중치를 불러옵니다. KV 캐시는 EFA를 통해 두 풀 사이에서 이동합니다.
통합형 서빙에서는 두 단계가 같은 워커에서 실행됩니다. 어느 토폴로지에서든 워커는 단일 인스턴스에서 실행하거나 여러 인스턴스에 걸쳐 실행할 수 있으며, 이 경우 텐서 병렬 처리와 파이프라인 병렬 처리로 모델을 여러 GPU에 분산합니다. Dynamo의 KV 인식 라우터는 재사용 가능한 접두부 캐시와 활성 워커의 부하를 고려합니다. AWS에 따르면 접두부 재사용은 프롬프트를 다시 계산하는 작업을 줄이고 첫 토큰 생성 시간을 단축할 수 있으며, 부하 인식 기능은 특정 워커에 부하가 집중되는 것을 방지하는 데 도움이 됩니다.
지연 시간 제약 조건을 적용한 벤치마크
Qwen3-235B-A22B-FP8 비교에서는 Dynamo와 TensorRT-LLM을 두 p5en.48xlarge 개 인스턴스에서 사용했으며, 총 16개의 H200 GPU를 활용했습니다. AIPerf는 입력 토큰 4,000개와 출력 토큰 200개로 구성된 요청을 생성했습니다. AWS는 90백분위 첫 토큰 생성 시간이 1초 미만이고 사용자당 중앙값 생성 속도가 초당 50토큰 이상인 측정 결과만 포함했습니다.
AWS는 분리형 서빙이 동시성 80에서 GPU당 초당 출력 토큰 207개를 기록했다고 밝혔습니다. 이는 동시성 32에서 가장 높은 성능을 보인 적격 통합형 결과인 101개와 비교됩니다. 따라서 이 비교는 어느 토폴로지에서든 제한 없는 최대 처리량을 비교한 것이 아니라, 서로 다른 동시성 수준에서 지연 시간 제약을 충족하는 처리량을 비교한 것입니다.
별도의 Qwen3.5-397B-A17B-FP8 테스트에서는 Dynamo와 vLLM을 사용해 H200 GPU 8개를 단일 p5en.48xlarge 인스턴스에 배치한 구성과 두 인스턴스에 각각 GPU 4개를 배치한 구성을 비교했습니다. 모델, 병렬 처리 방식, 워크로드 구성은 동일하게 유지했습니다. AWS는 접두부를 높은 비율로 재사용하고 동시성을 32로 설정했을 때, 2노드 구성에서 GPU당 초당 출력 토큰 126.4개를 기록했다고 밝혔습니다. 이는 단일 노드 처리량의 99.1%에 해당합니다. 모델은 단일 인스턴스에 들어가며 실제로는 보통 여러 인스턴스에 나누지 않으므로, 이 테스트는 노드 경계를 넘을 때 처리량이 어떻게 달라지는지 확인하기 위한 통제된 기준으로 활용됐습니다.
관리형 구성과 리소스 계획
사용자는 두 가지 방식으로 구성할 수 있습니다. 기존 Dynamo 사용자는 DynamoGraphDeployment 서빙 그래프를 설명하는 매니페스트를 가져와 스토리지, 네트워킹, 파드 배치, 엔드포인트, TLS, 등록, 자동 확장을 직접 관리할 수 있습니다. 반면 InferenceEndpointConfig 경로에서는 dynamoSpec 관리형 엔드포인트 설정에 사용하고, 두 가지 서빙 토폴로지 모두에 Kubernetes 이벤트 기반 자동 확장(KEDA)을 적용합니다. 기본값은 vLLM이며, KV 인식 라우팅과 복제본 수에 대한 기본 설정을 제공하고, SageMaker 엔드포인트를 통해 OpenAI 호환 인터페이스를 지원합니다.
애드온은 Dynamo 사용자 지정 리소스 정의와 서빙 및 스케줄링 구성 요소를 설치하고, 런타임은 AWS Deep Learning Containers에서 제공합니다. 관리형 경로에서는 HyperPod Inference Operator가 Amazon S3 또는 FSx에서 가중치를 준비하고 다음을 생성합니다 DynamoGraphDeployment. Grove는 관련 파드 그룹을 조정하고, KAI Scheduler는 갱 스케줄링을 사용해 멀티노드 워커를 구성하는 각 파드가 함께 배치되도록 합니다. 지원되는 Dynamo 릴리스로 업그레이드하려면 애드온을 업데이트해야 합니다.
AWS의 GLM-5.3 사례는 GPU 할당 방식을 구체적으로 보여줍니다. 통합형 구성은 모델 워커 복제본 하나를 두 ml.p5.48xlarge 개 인스턴스에 걸쳐 실행하며, 16방향 텐서 병렬 처리와 프런트엔드 복제본 2개를 사용합니다. 분리형 구성에서는 프리필 복제본 1개와 디코드 복제본 2개를 설정하고, 각 복제본은 두 인스턴스에 걸쳐 실행되므로 총 6개 인스턴스가 필요합니다. 복제본 수를 서로 다르게 설정할 수 있다는 점은 단일 통합 풀을 확장하는 대신 프롬프트 처리와 토큰 생성에 서로 다른 규모의 용량을 할당할 수 있음을 보여줍니다.
AWS는 벤치마킹에 앞서 EFA 통신을 확인하고, 대표적인 프롬프트 길이와 출력 길이, 접두사 재사용을 테스트하며, 서비스 수준 목표에 맞춰 동시성 수준을 다양하게 조정하고, 엔진 설정을 변경하기 전에 측정된 병목 현상을 바탕으로 토폴로지와 워커 할당을 조정할 것을 권장합니다.
이제 HyperPod가 조정 및 복구 작업을 더 많이 처리하지만, 벤치마크 조건과 배포 사례를 보면 관리형 운영이라고 해서 서빙 과정의 상충 관계가 사라지는 것은 아닙니다. 유용한 구성은 여전히 측정된 프롬프트 처리 및 생성 동작, 워커 풀 간 GPU 할당, 워크로드의 지연 시간 및 비용 우선순위에 따라 달라집니다.












