Modelos y plataformas de IA
Amazon SageMaker AI incorpora un enrutador regional de conmutación por error con disponibilidad general

Puntos claveEl enrutador traslada la ingeniería de conmutación por error a SageMaker AI, pero los…
Ver más
- El enrutador traslada la ingeniería de conmutación por error a SageMaker AI, pero los clientes aún deben pagar por capacidad de reserva en otro lugar.
- Las puntuaciones de estado ignoran la latencia del modelo, por lo que los endpoints que devuelven respuestas exitosas conservan su tráfico a pesar de la lentitud.
- Los clientes no pueden establecer umbrales de pesos ni tiempos de conmutación por error porque el enrutador controla todas las decisiones de enrutamiento automáticamente.
Amazon Web Services ha habilitado con carácter general el enrutamiento de inferencias entre regiones en Amazon SageMaker AI el 19 de noviembre de 2026, lo que permite que las aplicaciones llamen a un único enrutador para acceder a los recursos existentes de servicio de modelos en distintas regiones y cuentas de AWS cuando la capacidad local se agota.
Un punto de conexión de SageMaker AI se ejecuta en una sola región y una sola cuenta. Cuando el escalado automático no puede añadir el tipo de instancia necesario, las solicitudes pueden verse limitadas y agotar el tiempo de espera, aunque el mismo modelo tenga capacidad disponible en otra ubicación. Antes, los clientes que usaban puntos de conexión administrados tenían que crear su propio enrutamiento entre regiones, incluida la detección de fallos, los reintentos seguros, la gestión de la recuperación y el acceso entre cuentas.
El nuevo enrutador regional de inferencias usa un destino de enrutamiento con nombre para cada modelo lógico. Un destino puede combinar puntos de conexión en tiempo real y componentes de inferencia de distintas regiones y cuentas, o contener únicamente puntos de conexión asíncronos. La aplicación invoca el destino a través del enrutador. Los modelos, las configuraciones de los puntos de conexión, los grupos de instancias, los contenedores y el escalado automático no cambian, y las llamadas directas InvokeEndpoint siguen funcionando. El enrutador no crea capacidad, implementa modelos ni escala puntos de conexión, por lo que cada destino ya debe estar en ejecución en su región.
Las señales de estado determinan la conmutación por error
El enrutador da preferencia a los destinos en buen estado de su propia región y distribuye las solicitudes de manera uniforme entre varios destinos locales en buen estado. La puntuación de estado se basa en las solicitudes recientes, medidas en la región de cada destino: los errores del servidor, las limitaciones y los tiempos de espera agotados la reducen; los errores de la plataforma son los que más la reducen, y no se tienen en cuenta los fallos causados por las solicitudes, como los datos de entrada no válidos. Se excluye la latencia del modelo, por lo que un punto de conexión que sigue devolviendo respuestas correctas conserva su tráfico. SageMaker AI publica healthy, overloaded y degraded los estados en CloudWatch; los destinos sobrecargados pierden parte de su tráfico, mientras que los degradados conservan solo una pequeña parte, para que el enrutador pueda detectar la recuperación.
AWS indica que el tráfico comienza a cambiar de destino en aproximadamente un minuto si los errores persisten, o más tarde en el caso de destinos con poco tráfico, y vuelve a lo largo de varios minutos después de la recuperación. Los clientes no pueden configurar ponderaciones, el orden de los destinos alternativos, los umbrales ni los tiempos de conmutación por error. Si la información de estado de los destinos remotos queda desactualizada, el enrutador mantiene el tráfico en su propia región.
El comportamiento de los reintentos es más limitado en la inferencia en tiempo real. El enrutador realiza un segundo intento en otro destino solo cuando el modelo no llegó a ejecutarse, por ejemplo, tras una limitación, un error 503, si el modelo no está listo, si se rechaza la solicitud por el límite de tráfico o si se deniega el acceso al destino. Nunca vuelve a intentar las solicitudes cuyo tiempo de espera se agotó ni las que produjeron errores 500 o errores del modelo. Las solicitudes asíncronas se prueban una vez en cada destino apto, primero en los destinos locales, hasta que uno las acepta.
Cada respuesta en tiempo real identifica el destino que la atendió en InvokedRoutedResourceArn y proporciona un RoutingReason de local-preferred, capacity-available, failover o only-healthy. Las métricas de OpenTelemetry en CloudWatch incorporan datos por destino sobre solicitudes y errores, duración del destino, sobrecarga de red del enrutador y entre regiones, y estado. Las respuestas asíncronas no indican el destino, aunque las métricas de CloudWatch muestran dónde se enviaron las solicitudes.
El control de capacidad y acceso sigue en manos de los propietarios de los puntos de conexión
El desbordamiento de tráfico puede hacer que el punto de conexión receptor empiece a limitar las solicitudes. De forma predeterminada, un punto de conexión en tiempo real acepta cualquier volumen de tráfico procedente de otras regiones. Un límite opcional permite que su propietario establezca una tasa de invocaciones por instancia, probada bajo carga, y el porcentaje máximo de capacidad disponible para otras regiones. La capacidad autorizada resultante depende del número de instancias en servicio, incluidos los cambios debidos al escalado automático. En el ejemplo de AWS, un límite de 50 invocaciones por segundo por instancia, un tope del 20 % y cuatro instancias permiten 40 solicitudes por segundo desde otras regiones; la cifra aumenta a 60 al añadir dos instancias.
Solo las solicitudes procedentes de otras regiones cuentan para ese límite, y este mecanismo nunca limita las llamadas de la propia región del punto de conexión. Las solicitudes que superan el límite se rechazan antes de que se ejecute el modelo y se reintentan una vez en otro destino; si ningún destino puede aceptarlas, la aplicación recibe un error de limitación. Todos los componentes de inferencia de un punto de conexión comparten el límite.
Para los destinos de otras cuentas, ambas cuentas deben autorizar las solicitudes. Una política del punto de conexión puede restringir el acceso a un único enrutador especificado por nombre, y el enrutador no concede al solicitante acceso a un punto de conexión que no pudiera invocar directamente.
Límites de implementación y precios
El servicio está disponible de forma general en la mayoría de las regiones comerciales de AWS, excepto me-south-1 y me-central-1, para inferencias en tiempo real y asíncronas. No admite la transmisión de respuestas. Las solicitudes en tiempo real disponen de aproximadamente un minuto para recibir una respuesta del destino, las cargas útiles en tiempo real pueden alcanzar los 6 MB y cada enrutador admite hasta 20 destinos de enrutamiento, con un máximo de 10 destinos por cada uno.
El enrutador es regional, por lo que AWS recomienda crear enrutadores en dos regiones y alternar entre ellos en el lado del cliente para garantizar la resiliencia del punto de entrada. También es necesario configurar explícitamente los límites de residencia de datos, ya que una solicitud puede procesarse en la región del enrutador o en la de cualquiera de los destinos registrados.
No hay cargos adicionales por el enrutamiento. Los clientes pagan las tarifas estándar de los endpoints y los componentes de inferencia de SageMaker AI, tanto si las solicitudes llegan directamente como si lo hacen a través de un enrutador, además de las tarifas estándar de CloudWatch por las métricas y consultas del enrutador.
Con este lanzamiento, la ingeniería de conmutación por error pasa a SageMaker AI, mientras que el principal equilibrio entre capacidad de cómputo y costos sigue recayendo en los clientes: mantener el servicio durante una escasez en una Región sigue dependiendo de pagar por capacidad de inferencia utilizable en otra y de tenerla allí disponible.












