Modelos y plataformas de IA
AWS enruta la inferencia de HyperPod entre regiones desde un único punto de conexión

Puntos claveLa puerta de enlace global añade un nivel de selección de clúster por encima del…
Ver más
- La puerta de enlace global añade un nivel de selección de clúster por encima del enrutamiento existente de Inference Gateway a nivel de pod.
- Los operadores ajustan cuatro señales ponderadas, incluida RegionProximity con 0.40, para equilibrar la latencia frente a la resiliencia.
- AWS afirma que la puerta de enlace no registra ni almacena prompts ni completions y enruta solo a través de PrivateLink.
AWS presentó Amazon SageMaker HyperPod Global Inference Gateway el 20 de noviembre de 2026, ofreciendo a los clientes un único punto de conexión administrado para las solicitudes de inferencia dirigidas a clústeres de HyperPod registrados en una o varias regiones de AWS. El servicio selecciona un clúster según señales de capacidad, cola, proximidad y errores, y realiza una conmutación por error automática cuando un clúster deja de estar disponible.
El lanzamiento añade un segundo nivel de enrutamiento por encima de SageMaker HyperPod Inference Gateway, que ya existía. Ese punto de conexión a nivel de clúster sigue seleccionando pods de modelos individuales mediante señales como la utilización de la caché de pares clave-valor (KV) y la profundidad de la cola; el nuevo nivel global selecciona primero el clúster, sin modificar la selección de pods.
AWS aborda un problema de utilización de la capacidad: las solicitudes pueden quedar en cola en un clúster saturado mientras las GPU ya aprovisionadas permanecen inactivas en otro lugar. En su ejemplo, con cuatro modelos distribuidos en cinco clústeres de dos regiones, los clientes tendrían que hacer un seguimiento de 20 puntos de conexión si cada modelo se sirviera por separado. Los puntos de conexión a nivel de clúster reducen esa cifra a cinco, mientras que el punto de conexión global la reduce a uno. El nivel administrado elimina la necesidad de crear y mantener balanceadores de carga, DNS y redes entre regiones para este enrutamiento, y permite desviar el tráfico máximo a clústeres con capacidad disponible.
Selección configurable de clústeres
Un operador publica cada clúster participante habilitando spec.globalRouting en su entorno existente InferenceGatewayConfig, y luego llama a CreateGlobalInferenceGateway con los clústeres que se desean agrupar. Al publicar un clúster, se crean en la cuenta del cliente un Network Load Balancer, un servicio de punto de conexión de nube privada virtual (VPC) y recursos de certificados. No es posible añadir correctamente un clúster que no se haya publicado.
Los clientes envían solicitudes compatibles con OpenAI, firmadas con AWS Signature Version 4 (SigV4), al punto de conexión regional. La puerta de enlace autentica al solicitante y selecciona un clúster en buen estado; AWS PrivateLink transporta la solicitud dentro de una región o entre regiones, y el Inference Gateway del clúster elige el pod del modelo. SageMaker opera la flota de enrutamiento, los puntos de conexión privados, la validación de certificados, las comprobaciones de estado, la autenticación y la limitación de velocidad; un publicador administrado por el servicio en cada clúster proporciona las métricas de carga.
Para cada solicitud, la puerta de enlace asigna una puntuación a los clústeres en buen estado mediante cuatro señales configurables:
| Señal | Qué mide | Ponderación predeterminada |
|---|---|---|
KVHeadroom |
Caché KV disponible y memoria de GPU en el clúster | 0.20 |
QueueDepth |
El nivel de congestión del clúster | 0.25 |
RegionProximity |
Distancia entre el clúster y la región de la puerta de enlace | 0.40 |
ErrorRate |
Solicitudes fallidas recientemente en el clúster | 0.15 |
Los clientes que anulen los valores predeterminados deben establecer las cuatro ponderaciones, con valores de 0,0 a 1,0 que sumen 1,0; pueden desactivar una señal asignándole un valor de cero. UpdateGlobalInferenceGateway modifica la ponderación para las solicitudes nuevas sin necesidad de volver a aprovisionar; las solicitudes en curso terminan con la configuración anterior. AWS afirma que las cargas de trabajo que priorizan la resiliencia sobre la proximidad pueden aumentar ErrorRate y reducir RegionProximity.
Conmutación por error y privacidad
La puerta de enlace comprueba el estado de todos los clústeres y, tras un fallo, desvía el tráfico al siguiente clúster más adecuado sin que los clientes tengan que hacer cambios; además, reincorpora gradualmente los clústeres recuperados. Cada solicitud fallida se reintenta una vez en otro clúster, salvo que ya haya comenzado la transmisión; si no queda ningún clúster en buen estado, la puerta de enlace devuelve el código HTTP 503. Añadir un clúster en buen estado no cambia el punto de conexión ni interrumpe los demás clústeres, mientras que quitar uno impide que reciba nuevas solicitudes, pero permite que termine el trabajo en curso.
IAM controla por separado las invocaciones estándar y las de transmisión; cuando se utilizan, los tokens web JSON de los clientes se incluyen dentro de la firma SigV4. Las solicitudes llegan a los clústeres únicamente a través de AWS PrivateLink, y AWS afirma que la puerta de enlace no registra ni almacena las instrucciones ni las respuestas generadas. Al eliminar la puerta de enlace global, su punto de conexión deja de funcionar, pero los puntos de conexión de cada clúster siguen prestando servicio.
Jinhyung Park, vicepresidente de la plataforma de IA de Bagelcode, declaró en el anuncio de AWS que, durante las pruebas beta, las solicitudes se enrutaron entre dos regiones a través de la puerta de enlace y siguieron atendiéndose cuando uno de los clústeres dejó de poder servir el modelo. Así, el reducido equipo de plataforma de la empresa obtuvo conmutación por error entre regiones sin tener que crear ni mantener su propia capa de enrutamiento.
Disponibilidad y migración
El servicio está disponible en 13 regiones: Este de EE. UU. (Virginia del Norte y Ohio), Oeste de EE. UU. (California del Norte y Oregón), Sudamérica (São Paulo), Europa (Fráncfort, Irlanda, Londres y Estocolmo) y Asia-Pacífico (Tokio, Bombay, Singapur y Sídney).
AWS recomienda a quienes usan un solo clúster que sigan utilizando el punto de conexión de Inference Gateway del clúster y adopten el servicio global cuando añadan un segundo clúster. Los puntos de conexión existentes de cada clúster siguen prestando servicio durante la migración de los clientes, y una puerta de enlace que contenga clústeres de una sola región puede mantener allí una carga de trabajo. Un clúster publicado que no forme parte de ninguna puerta de enlace no recibe tráfico, aunque su Network Load Balancer siga funcionando y generando cargos.
Al reunir señales de proximidad, capacidad y fallos en una sola política, el servicio convierte el uso de capacidad de GPU que, de otro modo, estaría inactiva en una decisión de configuración, en lugar de un proyecto de redes independiente.












