AWS, SageMaker 추론 엔드포인트에 NVIDIA GPU 분할 기능 추가

Amazon Web Services (AWS)는 2026년 11월 6일 Amazon SageMaker Inference에서 NVIDIA Multi-Instance GPU를 지원한다고 발표해, 각 배포에 GPU 전체를 할당하는 대신 실시간 엔드포인트에서 하드웨어 수준으로 격리된 여러 모델이 하나의 가속기를 공유할 수 있도록 했다.

이 기능은 GPU 전체를 할당할 때 발생하는 두 가지 제약을 해결한다. 인스턴스가 호스팅할 수 있는 모델 수는 가속기 개수에 따라 제한되므로, 각 모델이 메모리나 연산 자원을 얼마나 적게 사용하든 영향을 받는다. 또한 고객이 최신 GPU를 고려할 때는 장치 전체를 할당해야 한다. 반면 Multi-Instance GPU(MIG)는 각 파티션에 연산 유닛의 일정한 몫과 전용 메모리 블록을 제공하고, 하드웨어 수준에서 격리를 적용한다. 각 모델이 상주 상태를 유지하므로, 여러 모델을 사용하는 엔드포인트가 최초 사용 시 공유 장치에 모델을 불러오면서 발생하는 지연도 피할 수 있다.

분할 기능은 추론 구성 요소를 사용하는 실시간 엔드포인트에만 적용된다. 추론 구성 요소는 여러 모델을 하나의 엔드포인트에 배포하고 각 모델이 받는 연산 자원을 설정하는 SageMaker의 구성 방식이다. 단일 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 분할할 수 없다. 비동기 호출로는 추론 구성 요소를 지정할 수 없으므로 비동기 워크로드도 이 기능의 적용 대상이 아니다.

Salesforce는 요구 사항을 정의하고 초기 구현을 검증하는 데 기여했다. Salesforce의 소프트웨어 엔지니어링 아키텍트인 Richard Chang은 MIG를 통해 성능과 격리를 예측 가능한 수준으로 유지하면서 워크로드를 안전하게 통합하고 GPU 활용률을 높이며 추론 비용을 줄일 수 있을 것으로 회사가 기대한다고 말했다. Salesforce는 대표성 있는 프로덕션 워크로드로 소프트웨어를 검증할 준비를 하고 있으므로, 이러한 이점은 프로덕션에서 보고된 결과가 아니라 기대 효과다.

두 가지 API 필드로 분할 제어

SageMaker AI 개발자 문서에는 다음 두 가지 선택적 필드가 정의되어 있다. AcceleratorPartitionLayouts 프로덕션 변형에 분할 구성을 선언하며, AcceleratorPartitionType 추론 구성 요소가 사용할 프로필을 선택한다. 새로운 API 작업, 리소스 유형 또는 AWS Identity and Access Management 작업은 추가되지 않으며, 두 필드를 모두 생략하면 기존 엔드포인트 동작이 유지된다.

선택한 레이아웃은 해당 변형의 모든 인스턴스에 있는 각 가속기에 동일하게 적용된다. AWS의 예에서는 한 인스턴스에 있는 A100 8개를 각각 다음과 같이 나눈다. ml.p4d.24xlarge 로 mig-4g.20gb, mig-2g.10gb 및 mig-1g.5gb 개의 파티션으로 나눠 엔드포인트 전체에 24개 파티션을 구성한다. 각 추론 구성 요소 복제본은 요청한 파티션 하나를 사용하고, InvokeEndpoint 모델은 파티션 식별자 없이 구성 요소 이름으로 계속 지정한다. AWS는 테스트에서 가속기를 분할하는 데 프로비저닝 시간이 약 17초 더 걸렸다고 밝혔다.

격리는 GPU 연산과 메모리에만 적용되며 호스트 전체를 대상으로 하지는 않는다. 한 인스턴스의 모델들은 여전히 호스트 CPU, 호스트 메모리, 스토리지, 네트워크 및 엔드포인트 라우팅을 공유한다. 레이아웃에 없는 프로필을 요청하는 구성 요소는 GPU 전체를 할당받는 대신 거부된다. 실행 중인 엔드포인트의 레이아웃을 변경하려면 새 엔드포인트를 만들고 트래픽을 이전해야 하며, 구성 요소를 다른 프로필로 옮기려면 새 구성 요소를 만들어야 한다.

AWS, H100 파티션과 A100 전체 GPU 성능 비교

AWS는 다음 H100 파티션 하나를 mig-3g.40gb 전체 A100-40GB와 비교했다. 테스트에는 프로덕션 SageMaker 실시간 엔드포인트에서 Llama-3.1-8B-Instruct를 사용했다. 양쪽 모두 모델 복제본 하나와 동일한 컨테이너, 토크나이저 및 클라이언트 구성을 사용했으며, genai-bench로 동시성 2~512 수준에서 다섯 가지 트래픽 형태를 생성했다. NVIDIA의 프로필 가이드에 따르면, 테스트한 H100 프로필에는 스트리밍 멀티프로세서 할당량 7개 중 3개와 메모리 유닛 8개 중 4개가 배정된다. 두 구성의 메모리 용량은 비슷하지만 연산 자원 할당량은 다르다.

AWS 보고에 따르면, 각 시나리오에서 비용 이점이 가장 큰 부하 수준에서 H100 파티션은 초당 출력 토큰 수가 53%~89% 더 많았다. 토큰 간 지연 시간은 8.9%~42.1% 짧았고, 첫 토큰 생성 시간은 5.6%~47.5% 짧았다. 6,000토큰 및 8,000토큰 워크로드의 동시성이 가장 높을 때는 A100에서 요청의 3분의 1~2분의 1이 서비스 마감 시간을 넘긴 반면, 파티션에서는 마감 시간을 넘긴 요청이 없었다.

AWS의 비용 분석은 보편적인 결론이 아니라 사례별 비교로 제시됐으며, 트래픽이 워크로드별 손익분기점을 넘으면 출력 토큰 100만 개당 비용이 18%~34% 낮아지는 것으로 나타났다. 손익분기점은 100토큰 프롬프트의 경우 동시성 64, 8,000토큰 프롬프트의 경우 동시성 4였다. 이보다 낮은 수준에서는 A100 전체 GPU를 사용하는 편이 여전히 저렴했으므로, 입력이 짧거나 동시성이 낮은 워크로드에는 구형 GPU 전체를 할당하는 방식이 더 적합할 수 있다. 단위 비용은 온디맨드 인스턴스 가격을 각 인스턴스에서 테스트한 단위 수로 나눠 비교했다.

지원 하드웨어 및 운영상 제한

이번 출시에서 지원하는 인스턴스 제품군은 네 가지이며, 파티션 수와 프로필은 가속기에 따라 달라진다.

GPU 분할은 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 아시아 태평양(싱가포르), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 유럽(아일랜드) 리전에서 사용할 수 있으며, 해당 리전의 인스턴스 제공 여부와 엔드포인트 할당량에 따라 달라집니다. 분할 영역 하나가 여러 가속기에 걸치지는 않으므로, 전체 GPU 하나 또는 여러 GPU가 필요한 모델은 여전히 GPU 전체를 사용해야 합니다.

고객은 전체 GPU 인스턴스 요금을 계속 지불해야 합니다. 분할을 통해 사용 가능한 용량을 늘릴 수는 있지만 시간당 요금은 낮아지지 않습니다. 분할된 엔드포인트와 해당 추론 구성 요소는 GPU, CPU 또는 메모리 사용률 지표를 CloudWatch에 게시하지 않지만, 호출 및 지연 시간 지표는 계속 확인할 수 있습니다. P4d에서는 mig-1g.10gb 프로필에 NVIDIA R525 드라이버 이상이 필요하며, 기본 이미지에는 해당 드라이버가 포함되어 있지 않으므로 AWS는 고객에게 더 최신 추론 AMI를 사용하도록 안내합니다.

이번 출시로 지원되는 각 가속기를 여러 가지 고정된 GPU 크기로 나눠 사용할 수 있게 되었지만, 하드웨어 격리를 강화한 고밀도 배포에는 전체 인스턴스 요금, 배포 중 변경할 수 없는 구성, 사용률 원격 측정 정보의 감소가 따릅니다. AWS의 벤치마크는 실제 트래픽을 측정하는 것이 얼마나 중요한지 보여 줍니다. 테스트에서 H100 분할 구성은 긴 컨텍스트를 많이 처리하는 조건에서 성능과 비용 측면의 이점을 제공한 반면, 손익분기점 분석 결과 가벼운 워크로드에서는 A100 전체 GPU를 사용하는 편이 더 저렴했습니다.