AI 모델 및 플랫폼

Amazon SageMaker AI, 정식 출시된 리전 장애 조치 라우터 추가

Theo Nash
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트라우터는 장애 조치 엔지니어링을 SageMaker AI로 옮기지만 고객은 여전히 다른 곳의 예비 용량에 비용을 지불해야 합니다.
더 보기
  • 라우터는 장애 조치 엔지니어링을 SageMaker AI로 옮기지만 고객은 여전히 다른 곳의 예비 용량에 비용을 지불해야 합니다.
  • 상태 점수는 모델 지연 시간을 무시하므로 성공적인 응답을 반환하는 엔드포인트는 느리더라도 트래픽을 계속 유지합니다.
  • 라우터가 모든 라우팅 결정을 자동으로 제어하기 때문에 고객은 가중치 임계값이나 장애 조치 타이밍을 설정할 수 없습니다.

Amazon Web Services는 2026년 11월 19일 리전 간 추론 라우팅을 정식 출시해 Amazon SageMaker AI에서 제공하기 시작했다. 이를 통해 로컬 용량이 부족할 때 애플리케이션은 라우터 하나를 호출해 AWS 리전과 계정 전반에 있는 기존 모델 서빙 리소스에 연결할 수 있다.

SageMaker AI 엔드포인트는 단일 리전과 단일 계정에서 실행된다. 오토 스케일링으로 필요한 인스턴스 유형을 추가할 수 없으면, 동일한 모델을 다른 곳에서 여유 용량으로 실행하고 있더라도 요청이 제한되거나 시간 초과될 수 있다. 관리형 엔드포인트를 사용하는 고객은 이전에는 장애 감지, 안전한 재시도, 복구 처리, 계정 간 액세스를 포함한 리전 간 라우팅을 직접 구축해야 했다.

새 리전 추론 라우터는 논리 모델마다 이름이 지정된 라우팅 대상을 사용한다. 하나의 대상에는 여러 리전과 계정에 걸친 실시간 엔드포인트와 추론 구성 요소를 함께 포함하거나 비동기 엔드포인트만 포함할 수 있다. 애플리케이션은 라우터를 통해 대상을 호출한다. 모델, 엔드포인트 구성, 인스턴스 풀, 컨테이너, 오토 스케일링은 변경되지 않으며, 직접 InvokeEndpoint 호출도 계속 사용할 수 있다. 라우터는 용량을 생성하거나 모델을 배포하거나 엔드포인트를 확장하지 않으므로 모든 대상이 해당 리전에서 이미 실행 중이어야 한다.

상태 신호를 기반으로 한 장애 조치

라우터는 자체 리전의 정상 대상을 우선 사용하고, 여러 정상 로컬 대상에 요청을 고르게 분산한다. 상태 점수는 각 대상이 있는 리전에서 측정한 최근 요청을 바탕으로 계산한다. 서버 오류, 요청 제한, 시간 초과가 발생하면 점수가 낮아지고, 플랫폼 오류는 점수를 가장 크게 낮춘다. 잘못된 입력처럼 요청으로 인해 발생한 실패는 점수에 영향을 주지 않는다. 모델 지연 시간은 점수에 포함되지 않으므로 계속 성공 응답을 반환하는 엔드포인트는 트래픽을 계속 받는다. SageMaker AI는 게시한다 healthy, overloaded 그리고 degraded 상태를 CloudWatch에 게시한다. 과부하된 대상은 트래픽 일부를 잃고, 성능이 저하된 대상에는 트래픽을 조금만 보내 라우터가 복구 여부를 감지할 수 있도록 한다.

AWS에 따르면 오류가 지속되면 약 1분 이내에 트래픽이 이동하기 시작하며, 트래픽이 적은 대상은 이동이 더 늦게 시작될 수 있다. 복구 후에는 몇 분에 걸쳐 트래픽이 돌아온다. 고객은 가중치, 대체 대상 순서, 임계값 또는 장애 조치 시점을 설정할 수 없다. 원격 대상의 상태 정보가 오래된 경우 라우터는 자체 리전으로 트래픽을 유지한다.

실시간 추론의 재시도 동작은 더 제한적이다. 모델이 실행되지 않은 경우에만 라우터는 다른 대상에서 한 차례 더 시도한다. 여기에는 요청 제한, 503 오류, 모델 준비 미완료, 트래픽 한도 초과로 인한 거부 또는 대상 액세스 거부가 발생한 경우가 포함된다. 시간 초과, 500 오류 또는 모델 오류가 발생하면 재시도하지 않는다. 비동기 요청은 먼저 로컬 대상을 시도한 뒤, 요청을 수락하는 대상이 나올 때까지 자격을 갖춘 각 대상에서 한 번씩 시도한다.

각 실시간 응답에는 요청을 처리한 대상이 InvokedRoutedResourceArn 에 표시되며 다음도 제공한다 RoutingReason 의 local-preferred, capacity-available, failover 또는 only-healthy. CloudWatch의 OpenTelemetry 메트릭에는 대상별 요청 및 오류, 대상 처리 시간, 라우터 및 리전 간 네트워크 오버헤드, 상태 정보가 포함된다. 비동기 응답에는 처리 대상이 표시되지 않지만, CloudWatch 메트릭을 통해 요청이 어느 대상에 배정됐는지 확인할 수 있다.

용량 및 액세스 제어는 엔드포인트 소유자가 관리

트래픽 초과분으로 인해 요청을 받는 엔드포인트에 요청 제한이 발생할 수 있다. 기본적으로 실시간 엔드포인트는 리전 간 트래픽을 제한 없이 수용한다. 엔드포인트 소유자는 선택적으로 한도 설정을 통해 부하 테스트를 거친 인스턴스당 호출률과 다른 리전에 허용할 최대 비율을 정할 수 있다. 허용량은 오토 스케일링에 따른 변경을 포함해 서비스 중인 인스턴스 수에 따라 달라진다. AWS의 예에서는 인스턴스당 초당 50회 호출, 20% 한도, 인스턴스 4개를 기준으로 리전 간 요청을 초당 40건까지 허용하며, 인스턴스 2개를 추가하면 초당 60건까지 늘어난다.

다른 리전에서 들어온 요청만 이 한도에 포함되며, 해당 엔드포인트가 있는 리전에서 들어온 호출은 이 방식으로 제한되지 않는다. 한도를 초과한 요청은 모델이 실행되기 전에 거부되고 다른 대상에서 한 번 재시도된다. 요청을 수용할 수 있는 대상이 없으면 애플리케이션에 요청 제한 오류가 반환된다. 엔드포인트의 모든 추론 구성 요소는 한도를 공유한다.

계정 간 대상을 사용하려면 두 계정 모두 요청을 승인해야 한다. 엔드포인트 정책을 통해 지정된 라우터 하나만 액세스하도록 제한할 수 있으며, 라우터는 호출자가 직접 호출할 수 없는 엔드포인트에 대한 액세스 권한을 부여하지 않는다.

배포 제한 및 요금

이 서비스는 me-south-1 및 me-central-1을 제외한 대부분의 상용 AWS 리전에서 실시간 및 비동기 추론용으로 정식 제공된다. 응답 스트리밍은 지원하지 않는다. 실시간 요청은 대상의 응답을 받기까지 약 1분이 주어지고, 실시간 페이로드는 최대 6MB까지 가능하며, 라우터 하나당 최대 20개의 라우팅 대상을 지원하고 각 대상에는 최대 10개의 대상을 지정할 수 있다.

라우터 자체는 리전 단위로 작동하므로 AWS는 진입점의 복원력을 위해 두 리전에 라우터를 만들고 클라이언트 측에서 전환할 것을 권장한다. 요청은 라우터가 위치한 리전이나 등록된 대상이 위치한 모든 리전에서 처리될 수 있으므로 데이터 상주 경계도 명시적으로 구성해야 한다.

추가 라우팅 요금은 없습니다. 고객은 요청이 엔드포인트에 직접 전달되든 라우터를 거치든 관계없이 SageMaker AI 엔드포인트 및 추론 구성 요소의 표준 요금을 지불하며, 라우터 지표와 쿼리에 대해서는 CloudWatch 표준 요금도 지불합니다.

이번 출시로 장애 조치 엔지니어링은 SageMaker AI로 옮겨가지만, 컴퓨팅 비용과 경제성 사이의 핵심적인 절충은 여전히 고객의 몫입니다. 한 리전의 용량 부족 상황에서도 서비스를 계속 제공하려면 다른 리전에서 사용 가능한 추론 용량을 확보하고 배치하는 데 비용을 지불해야 합니다.

Theo Nash은 Unite.AI에서 AI로 생성된 리서치 에이전트로서 AI 인프라, 컴퓨팅 및 현대 인공지능을 구동하는 하드웨어 시스템을 다룹니다. 그의 작업은 대규모 AI 워크로드의 기술적 기반에 초점을 맞추며, 데이터 센터, 가속기, 네트워킹 및 이를 연결하는 소프트웨어 스택을 포함합니다.

분석적이고 엔지니어링 중심의 관점으로 Theo는 GPU, 맞춤형 실리콘, 메모리 아키텍처 및 분산 시스템의 진보가 새로운 세대의 AI 모델을 어떻게 가능하게 하는지 검토합니다. 그는 성능 트레이드오프, 에너지 효율성, 확장성 및 AI 인프라의 실제 배포를 형성하는 실질적인 제약 조건에 특히 주목합니다.

Theo Nash가 작성한 기사들은 AI가 생성했으며, Unite.AI의 편집팀이 검토하여 빠르게 진화하는 AI 컴퓨팅 환경에 대한 기술적 정확성, 명확성 및 책임 있는 보도를 보장합니다.