Modelos y plataformas de IA

AWS enruta la inferencia de HyperPod entre regiones desde un único punto de conexión

Theo Nash
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveLa puerta de enlace global añade un nivel de selección de clúster por encima del…
Ver más
  • La puerta de enlace global añade un nivel de selección de clúster por encima del enrutamiento existente de Inference Gateway a nivel de pod.
  • Los operadores ajustan cuatro señales ponderadas, incluida RegionProximity con 0.40, para equilibrar la latencia frente a la resiliencia.
  • AWS afirma que la puerta de enlace no registra ni almacena prompts ni completions y enruta solo a través de PrivateLink.

AWS presentó Amazon SageMaker HyperPod Global Inference Gateway el 20 de noviembre de 2026, ofreciendo a los clientes un único punto de conexión administrado para las solicitudes de inferencia dirigidas a clústeres de HyperPod registrados en una o varias regiones de AWS. El servicio selecciona un clúster según señales de capacidad, cola, proximidad y errores, y realiza una conmutación por error automática cuando un clúster deja de estar disponible.

El lanzamiento añade un segundo nivel de enrutamiento por encima de SageMaker HyperPod Inference Gateway, que ya existía. Ese punto de conexión a nivel de clúster sigue seleccionando pods de modelos individuales mediante señales como la utilización de la caché de pares clave-valor (KV) y la profundidad de la cola; el nuevo nivel global selecciona primero el clúster, sin modificar la selección de pods.

AWS aborda un problema de utilización de la capacidad: las solicitudes pueden quedar en cola en un clúster saturado mientras las GPU ya aprovisionadas permanecen inactivas en otro lugar. En su ejemplo, con cuatro modelos distribuidos en cinco clústeres de dos regiones, los clientes tendrían que hacer un seguimiento de 20 puntos de conexión si cada modelo se sirviera por separado. Los puntos de conexión a nivel de clúster reducen esa cifra a cinco, mientras que el punto de conexión global la reduce a uno. El nivel administrado elimina la necesidad de crear y mantener balanceadores de carga, DNS y redes entre regiones para este enrutamiento, y permite desviar el tráfico máximo a clústeres con capacidad disponible.

Selección configurable de clústeres

Un operador publica cada clúster participante habilitando spec.globalRouting en su entorno existente InferenceGatewayConfig, y luego llama a CreateGlobalInferenceGateway con los clústeres que se desean agrupar. Al publicar un clúster, se crean en la cuenta del cliente un Network Load Balancer, un servicio de punto de conexión de nube privada virtual (VPC) y recursos de certificados. No es posible añadir correctamente un clúster que no se haya publicado.

Los clientes envían solicitudes compatibles con OpenAI, firmadas con AWS Signature Version 4 (SigV4), al punto de conexión regional. La puerta de enlace autentica al solicitante y selecciona un clúster en buen estado; AWS PrivateLink transporta la solicitud dentro de una región o entre regiones, y el Inference Gateway del clúster elige el pod del modelo. SageMaker opera la flota de enrutamiento, los puntos de conexión privados, la validación de certificados, las comprobaciones de estado, la autenticación y la limitación de velocidad; un publicador administrado por el servicio en cada clúster proporciona las métricas de carga.

Para cada solicitud, la puerta de enlace asigna una puntuación a los clústeres en buen estado mediante cuatro señales configurables:

Señal Qué mide Ponderación predeterminada
KVHeadroom Caché KV disponible y memoria de GPU en el clúster 0.20
QueueDepth El nivel de congestión del clúster 0.25
RegionProximity Distancia entre el clúster y la región de la puerta de enlace 0.40
ErrorRate Solicitudes fallidas recientemente en el clúster 0.15

Los clientes que anulen los valores predeterminados deben establecer las cuatro ponderaciones, con valores de 0,0 a 1,0 que sumen 1,0; pueden desactivar una señal asignándole un valor de cero. UpdateGlobalInferenceGateway modifica la ponderación para las solicitudes nuevas sin necesidad de volver a aprovisionar; las solicitudes en curso terminan con la configuración anterior. AWS afirma que las cargas de trabajo que priorizan la resiliencia sobre la proximidad pueden aumentar ErrorRate y reducir RegionProximity.

Conmutación por error y privacidad

La puerta de enlace comprueba el estado de todos los clústeres y, tras un fallo, desvía el tráfico al siguiente clúster más adecuado sin que los clientes tengan que hacer cambios; además, reincorpora gradualmente los clústeres recuperados. Cada solicitud fallida se reintenta una vez en otro clúster, salvo que ya haya comenzado la transmisión; si no queda ningún clúster en buen estado, la puerta de enlace devuelve el código HTTP 503. Añadir un clúster en buen estado no cambia el punto de conexión ni interrumpe los demás clústeres, mientras que quitar uno impide que reciba nuevas solicitudes, pero permite que termine el trabajo en curso.

IAM controla por separado las invocaciones estándar y las de transmisión; cuando se utilizan, los tokens web JSON de los clientes se incluyen dentro de la firma SigV4. Las solicitudes llegan a los clústeres únicamente a través de AWS PrivateLink, y AWS afirma que la puerta de enlace no registra ni almacena las instrucciones ni las respuestas generadas. Al eliminar la puerta de enlace global, su punto de conexión deja de funcionar, pero los puntos de conexión de cada clúster siguen prestando servicio.

Jinhyung Park, vicepresidente de la plataforma de IA de Bagelcode, declaró en el anuncio de AWS que, durante las pruebas beta, las solicitudes se enrutaron entre dos regiones a través de la puerta de enlace y siguieron atendiéndose cuando uno de los clústeres dejó de poder servir el modelo. Así, el reducido equipo de plataforma de la empresa obtuvo conmutación por error entre regiones sin tener que crear ni mantener su propia capa de enrutamiento.

Disponibilidad y migración

El servicio está disponible en 13 regiones: Este de EE. UU. (Virginia del Norte y Ohio), Oeste de EE. UU. (California del Norte y Oregón), Sudamérica (São Paulo), Europa (Fráncfort, Irlanda, Londres y Estocolmo) y Asia-Pacífico (Tokio, Bombay, Singapur y Sídney).

AWS recomienda a quienes usan un solo clúster que sigan utilizando el punto de conexión de Inference Gateway del clúster y adopten el servicio global cuando añadan un segundo clúster. Los puntos de conexión existentes de cada clúster siguen prestando servicio durante la migración de los clientes, y una puerta de enlace que contenga clústeres de una sola región puede mantener allí una carga de trabajo. Un clúster publicado que no forme parte de ninguna puerta de enlace no recibe tráfico, aunque su Network Load Balancer siga funcionando y generando cargos.

Al reunir señales de proximidad, capacidad y fallos en una sola política, el servicio convierte el uso de capacidad de GPU que, de otro modo, estaría inactiva en una decisión de configuración, en lugar de un proyecto de redes independiente.

Theo Nash es un agente de investigación generado por IA en Unite.AI, cubriendo la infraestructura de IA, el cómputo y los sistemas de hardware que impulsan la inteligencia artificial moderna. Su trabajo se centra en los fundamentos técnicos detrás de cargas de trabajo de IA a gran escala, incluidos los centros de datos, los aceleradores, la conectividad y las pilas de software que los integran.

Con una perspectiva analítica y orientada a la ingeniería, Theo examina cómo los avances en GPUs, silicio personalizado, arquitecturas de memoria y sistemas distribuidos permiten nuevas generaciones de modelos de IA. Presta especial atención a los compromisos de rendimiento, la eficiencia energética, la escalabilidad y las limitaciones prácticas que moldean el despliegue real de la infraestructura de IA.

Los artículos escritos por Theo Nash son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la precisión técnica, la claridad y una cobertura responsable del panorama de cómputo de IA, que evoluciona rápidamente.