AI 모델 및 플랫폼
AWS, SageMaker AI 추론 엔드포인트 모니터링 기본 제공

핵심 포인트기본 모니터링은 사용자가 미리 임계값을 설정할 필요 없이 지연 시간 변동과 유휴 GPU를 표시합니다.
더 보기
- 기본 모니터링은 사용자가 미리 임계값을 설정할 필요 없이 지연 시간 변동과 유휴 GPU를 표시합니다.
- 발견 사항은 프로덕션 변경 전에 별도 컴퓨팅에서 대안을 벤치마킹하는 에이전트 기반 SageMaker Studio 워크플로를 엽니다.
- 모니터링은 추가 GPU 비용이 없으며 OPT_OUT_TRACKING 환경 변수를 통해 비활성화할 수 있습니다.
Amazon Web Services (AWS)는 2026년 11월 19일, 지원 대상인 Amazon SageMaker AI 생성형 AI 추론 엔드포인트에 기본 모니터링을 활성화했습니다. 지연 시간 변동, 유휴 GPU 용량, 적용되지 않은 서빙 최적화에 관한 AWS Health 알림이 추가됩니다.
vLLM 서빙 컨테이너와 GPU 인스턴스를 사용하는 엔드포인트는 별도 설정 없이 모니터링할 수 있습니다. 이 기능은 엔드포인트 수준의 지연 시간, GPU 사용률 및 서빙 구성을 확인하며, 요청이나 응답 내용은 읽지 않습니다. 트래픽, 프롬프트 길이, 서빙 소프트웨어, 모델의 리소스 요구 사항이 변하면서 배포 후 점진적으로 나타나는 변화를 감지하는 것이 목적입니다.
이번 발표는 AWS가 2026년 4월 22일 도입한 생성형 AI 추론 최적화 권장 기능을 확장합니다. 이 워크플로에서는 사용자가 비용, 지연 시간 또는 처리량을 목표로 선택하고, 최대 3가지 인스턴스 유형을 비교하며, NVIDIA AIPerf를 사용해 실제 GPU에서 구성을 벤치마크할 수 있습니다. 기존 프로덕션 엔드포인트도 벤치마크할 수 있습니다. 새 기능은 사용자가 직접 시작하는 이 의사 결정 과정에 지속적인 관찰과 알림을 더합니다.
모니터링으로 감지하는 항목
지연 시간 변동 알림은 엔드포인트의 직전 1주일을 기준으로 중앙값(p50) 종단 간 지연 시간과 첫 토큰 생성까지 걸리는 시간의 중앙값을 비교합니다. 기준이 과거 데이터이므로 사용자가 사전에 임계값을 설정할 필요가 없습니다. 이에 따라 실행되는 벤치마크에서는 텐서 병렬 처리 설정과 대체 인스턴스 유형 또는 크기를 시험합니다.
그 밖에 GPU가 용량에 크게 못 미치는 수준으로 사용되는 경우, 지원되지만 비활성화된 추측 디코딩, 튜닝되지 않은 GPU 커널, 최신 성능 개선 사항이나 심각 및 고위험 취약점 패치가 빠진 서빙 컨테이너도 알림 대상입니다. 미사용 용량이 확인되면 벤치마크는 관측된 최대 트래픽을 기준으로 더 저렴한 인스턴스 유형과 더 작은 크기를 시험합니다. 구성 테스트에서는 해당되는 경우 현재 설정을 추측 디코딩 활성화, 커널 튜닝 또는 컨테이너 업데이트를 적용한 설정과 비교합니다.
AWS가 제시한 사례는 전체 인프라의 측정값이 아니라 단계별 설명을 위한 예시입니다. 한 사례에서는 첫 토큰 생성까지 걸리는 시간의 중앙값이 전주 대비 약 200밀리초 증가했고, 다른 사례에서는 가장 바쁜 GPU조차 한 주 대부분 동안 용량의 12% 이하만 사용한 것으로 나타났습니다.
Health 알림에서 벤치마크까지
알림은 AWS Health와 이메일을 통해 전달됩니다. 각 엔드포인트에는 해당하는 모든 알림 항목을 포함해 한 번에 최대 하나의 알림이 전달됩니다. AWS는 계정이 한 번에 받을 수 있는 알림 수를 제한하며, 알림은 해당 엔드포인트가 속한 AWS 리전에 한정됩니다.
알림에는 관측된 내용, 그것이 지연 시간·용량·비용에 중요한 이유, 권장 조치가 포함되며, 추정치는 추정치라고 명시됩니다. 이는 관측 결과일 뿐, 벤치마크가 완료됐다는 뜻은 아닙니다. 권장 조치를 선택하면 엔드포인트와 관측된 트래픽이 미리 입력된 상태로 SageMaker Studio의 에이전트 기반 기능이 열립니다.
사용자가 확인하면 에이전트는 해당 엔드포인트의 모델과 지표에서 도출한 트래픽 프로필을 사용해 편집 가능한 SageMaker Python SDK 노트북을 생성합니다. 이 노트북은 권장 작업에 AWS Health 이벤트를 태그해 결과를 해당 알림과 연결해 추적할 수 있게 합니다. 작업은 별도의 컴퓨팅 리소스를 사용해 현재 구성과 대안을 응답 시간, 처리량, 백만 토큰당 비용 측면에서 비교합니다. 사용자가 결과를 적용하기 전까지 프로덕션 환경은 변경되지 않습니다.
AWS는 선택한 구성을 먼저 프로덕션 변형 하나에 적용하고, 롤백할 수 있도록 기존 구성을 유지할 것을 권장합니다. 알림을 보류하거나 닫는 것도 일반적인 처리 방법이며, 알림은 AWS Health의 이벤트 기록에 남습니다.
비용 및 수신 거부 설정
모니터링에 추가 GPU 비용은 발생하지 않습니다. 벤치마크에는 일반 SageMaker AI 요금이 적용되거나 기존 머신러닝 예약 용량이 사용됩니다. 알림에 따라 조치를 취하려면 SageMaker Studio 도메인, 권장 작업 실행 및 엔드포인트 업데이트를 위한 AWS Identity and Access Management 권한, 충분한 벤치마크 인스턴스 할당량이 필요합니다.
고객은 AWS User Notifications에서 알림 전달을 관리하고, 월간 실행과 같이 권장 작업을 반복 예약할 수도 있습니다. 다음을 설정하면 OPT_OUT_TRACKING 모델 컨테이너의 환경 변수는 해당 엔드포인트의 엔진 지표, GPU 지표 및 시작 구성 세부 정보 수집을 중단하고 알림이 전달되지 않도록 합니다.
최적화가 지원된다고 해서 반드시 이점이 생기는 것은 아닙니다. AWS에 따르면 추측 디코딩의 결과는 동시성, 프롬프트 및 응답 길이에 따라 달라지며, 트래픽이 최대일 때와 한산할 때도 다를 수 있습니다. 이러한 차이가 이 기능의 실질적인 역할을 보여 줍니다. 기본 원격 측정은 주의가 필요한 상황을 알리고, 벤치마크는 가능한 비용 절감이나 속도 향상이 중요한 트래픽 조건에서도 실제로 나타나는지 확인합니다.












