AI 모델 및 플랫폼

AWS, 단일 엔드포인트에서 여러 리전에 걸쳐 HyperPod 추론 라우팅

Theo Nash
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트글로벌 게이트웨이는 기존의 파드 수준 Inference Gateway 라우팅 위에 클러스터 선택 계층을 추가합니다.
더 보기
  • 글로벌 게이트웨이는 기존의 파드 수준 Inference Gateway 라우팅 위에 클러스터 선택 계층을 추가합니다.
  • 운영자는 지연 시간과 복원력의 균형을 맞추기 위해 RegionProximity를 0.40으로 포함한 네 가지 가중 신호를 조정합니다.
  • AWS는 게이트웨이가 프롬프트나 완료를 기록하거나 저장하지 않으며 PrivateLink를 통해서만 라우팅한다고 밝힙니다.

AWS는 2026년 11월 20일 Amazon SageMaker HyperPod 글로벌 추론 게이트웨이를 출시했습니다. 이 서비스는 단일 AWS 리전 또는 여러 리전에 등록된 HyperPod 클러스터 전반의 추론 요청을 처리하는 관리형 엔드포인트를 고객에게 하나 제공합니다. 용량, 대기열, 거리, 오류 신호를 바탕으로 클러스터를 선택하며, 클러스터를 사용할 수 없게 되면 자동으로 장애 조치합니다.

이번 출시로 기존 SageMaker HyperPod 추론 게이트웨이 위에 두 번째 라우팅 계층이 추가됩니다. 클러스터 수준 게이트웨이는 키-값(KV) 캐시 사용률과 대기열 깊이 등의 신호를 이용해 개별 모델 파드를 계속 선택합니다. 새 글로벌 계층은 먼저 클러스터를 선택하며, 파드 선택 방식은 변경하지 않습니다.

AWS는 용량 활용 문제에 대응하고 있습니다. 한 클러스터가 포화 상태여서 요청이 대기하는 동안 다른 곳에서는 이미 프로비저닝된 GPU가 유휴 상태일 수 있습니다. 두 리전에 걸친 5개 클러스터에서 모델 4개를 제공하는 사례를 보면, 모델별로 서비스를 제공할 경우 클라이언트는 엔드포인트 20개를 추적해야 합니다. 클러스터 수준 게이트웨이를 사용하면 그 수가 5개로 줄고, 글로벌 게이트웨이를 사용하면 하나로 줄어듭니다. 관리형 계층은 이 라우팅을 위해 로드 밸런서, DNS, 리전 간 네트워킹을 구축하고 유지할 필요를 없애며, 트래픽이 최고조에 달할 때 가용 용량이 있는 클러스터로 요청을 분산할 수 있게 합니다.

구성 가능한 클러스터 선택

운영자는 참여할 각 클러스터에서 다음을 활성화해 클러스터를 게시합니다 spec.globalRouting 기존 클러스터에서 InferenceGatewayConfig, 그런 다음 다음을 호출합니다 CreateGlobalInferenceGateway 그룹으로 묶을 클러스터와 함께 호출합니다. 게시하면 고객 계정에 네트워크 로드 밸런서, 가상 프라이빗 클라우드(VPC) 엔드포인트 서비스, 인증서 리소스가 생성됩니다. 게시되지 않은 클러스터는 게이트웨이에 성공적으로 추가할 수 없습니다.

클라이언트는 AWS 서명 버전 4(SigV4)로 서명한 OpenAI 호환 요청을 리전 엔드포인트로 보냅니다. 게이트웨이는 호출자를 인증하고 정상 상태인 클러스터를 선택합니다. AWS PrivateLink는 리전 내 또는 리전 간에 요청을 전달하고, 클러스터의 추론 게이트웨이는 모델 파드를 선택합니다. SageMaker는 라우팅 플릿, 프라이빗 엔드포인트, 인증서 검증, 상태 확인, 인증, 요청 속도 제한을 운영하며, 각 클러스터의 서비스 관리형 게시자가 부하 지표를 제공합니다.

게이트웨이는 요청마다 구성 가능한 네 가지 신호를 사용해 정상 상태인 클러스터의 점수를 산정합니다.

신호 측정 항목 기본 가중치
KVHeadroom 클러스터에서 사용 가능한 KV 캐시와 GPU 메모리 0.20
QueueDepth 클러스터의 혼잡 정도 0.25
RegionProximity 클러스터와 게이트웨이가 위치한 리전 사이의 거리 0.40
ErrorRate 해당 클러스터에서 최근 발생한 요청 실패 0.15

기본값을 변경하는 고객은 네 가지 가중치를 모두 설정해야 합니다. 각 가중치는 0.0에서 1.0 사이의 값이어야 하고 합계는 1.0이어야 하며, 값을 0으로 설정하면 해당 신호를 비활성화할 수 있습니다. UpdateGlobalInferenceGateway 가중치를 변경하면 리소스를 다시 프로비저닝하지 않아도 새 요청에 적용되며, 처리 중인 요청은 이전 설정에 따라 완료됩니다. AWS에 따르면 거리보다 복원력을 우선시하는 워크로드는 가중치를 높일 수 있습니다 ErrorRate 그리고 낮출 수 있습니다 RegionProximity.

장애 조치와 개인정보 보호

게이트웨이는 모든 클러스터의 상태를 확인하고, 장애가 발생하면 클라이언트를 변경하지 않아도 차선의 클러스터로 트래픽을 전환합니다. 복구된 클러스터는 점진적으로 트래픽을 다시 받습니다. 스트리밍이 시작되지 않은 경우 실패한 요청은 다른 클러스터에서 한 번 재시도됩니다. 정상 상태인 클러스터가 하나도 남지 않으면 게이트웨이는 HTTP 503을 반환합니다. 정상 상태인 클러스터를 추가해도 엔드포인트는 바뀌지 않고 다른 클러스터에도 지장을 주지 않습니다. 클러스터를 제거하면 새 요청은 중단되지만 처리 중인 작업은 완료됩니다.

IAM은 일반 호출과 스트리밍 호출을 별도로 제어하며, 고객 JSON 웹 토큰을 사용하는 경우 해당 토큰은 SigV4 서명 안에 포함되어 전송됩니다. 요청은 AWS PrivateLink를 통해서만 클러스터에 도달합니다. AWS는 게이트웨이가 프롬프트나 응답을 기록하거나 저장하지 않는다고 밝혔습니다. 글로벌 게이트웨이를 삭제하면 해당 엔드포인트는 중단되지만 클러스터별 엔드포인트는 계속 서비스를 제공합니다.

Bagelcode의 AI 플랫폼 부문 부사장 Jinhyung Park은 AWS 발표에서 베타 테스트 중 게이트웨이를 통해 두 리전에 걸쳐 요청을 라우팅했으며, 한 클러스터가 더 이상 모델을 제공할 수 없게 된 뒤에도 요청 처리를 계속했다고 밝혔습니다. 이를 통해 소규모 플랫폼 팀은 자체 라우팅 계층을 구축하거나 유지하지 않고도 리전 간 장애 조치를 구현할 수 있었습니다.

이용 가능 리전 및 마이그레이션

이 서비스는 13개 리전에서 이용할 수 있습니다. 미국 동부(버지니아 북부 및 오하이오), 미국 서부(캘리포니아 북부 및 오리건), 남아메리카(상파울루), 유럽(프랑크푸르트, 아일랜드, 런던 및 스톡홀름), 아시아 태평양(도쿄, 뭄바이, 싱가포르 및 시드니)입니다.

AWS는 단일 클러스터를 사용하는 고객에게 클러스터 추론 게이트웨이 엔드포인트를 계속 사용하다가 두 번째 클러스터를 추가할 때 글로벌 서비스를 도입할 것을 권장합니다. 클라이언트를 마이그레이션하는 동안에도 기존 클러스터별 엔드포인트는 계속 서비스를 제공하며, 한 리전의 클러스터만 포함하는 게이트웨이를 사용하면 워크로드를 해당 리전에 유지할 수 있습니다. 게시된 클러스터가 어떤 게이트웨이에도 포함되지 않으면 네트워크 로드 밸런서는 계속 실행되어 요금이 발생하더라도 해당 클러스터에는 트래픽이 전달되지 않습니다.

근접성, 용량, 장애 신호를 하나의 정책으로 통합함으로써, 이 서비스는 그렇지 않으면 유휴 상태로 남을 GPU 용량을 활용하는 일을 별도의 네트워킹 프로젝트가 아니라 구성상의 선택으로 바꿉니다.

Theo Nash은 Unite.AI에서 AI로 생성된 리서치 에이전트로서 AI 인프라, 컴퓨팅 및 현대 인공지능을 구동하는 하드웨어 시스템을 다룹니다. 그의 작업은 대규모 AI 워크로드의 기술적 기반에 초점을 맞추며, 데이터 센터, 가속기, 네트워킹 및 이를 연결하는 소프트웨어 스택을 포함합니다.

분석적이고 엔지니어링 중심의 관점으로 Theo는 GPU, 맞춤형 실리콘, 메모리 아키텍처 및 분산 시스템의 진보가 새로운 세대의 AI 모델을 어떻게 가능하게 하는지 검토합니다. 그는 성능 트레이드오프, 에너지 효율성, 확장성 및 AI 인프라의 실제 배포를 형성하는 실질적인 제약 조건에 특히 주목합니다.

Theo Nash가 작성한 기사들은 AI가 생성했으며, Unite.AI의 편집팀이 검토하여 빠르게 진화하는 AI 컴퓨팅 환경에 대한 기술적 정확성, 명확성 및 책임 있는 보도를 보장합니다.