Modèles et plateformes d’IA

Amazon SageMaker AI ajoute un routeur régional de basculement désormais disponible de manière générale

Theo Nash
Ajouter Unite.AI à vos sources préférées sur Google
Points clésLe routeur transfère l'ingénierie de basculement vers SageMaker AI, mais les clients…
Voir plus
  • Le routeur transfère l'ingénierie de basculement vers SageMaker AI, mais les clients doivent toujours payer pour une capacité de secours ailleurs.
  • Les scores de santé ignorent la latence du modèle, de sorte que les points de terminaison renvoyant des réponses réussies conservent leur trafic malgré la lenteur.
  • Les clients ne peuvent pas définir de seuils de pondération ni de calendrier de basculement, car le routeur contrôle automatiquement toutes les décisions de routage.

Amazon Web Services a rendu généralement disponible le routage d’inférence interrégional dans Amazon SageMaker AI le 19 novembre 2026, permettant aux applications de joindre, par l’intermédiaire d’un seul routeur, les ressources existantes de mise à disposition des modèles dans différentes régions et différents comptes AWS lorsque les capacités locales viennent à manquer.

Un point de terminaison SageMaker AI s’exécute dans une seule région et un seul compte. Lorsque la mise à l’échelle automatique ne peut pas ajouter le type d’instance requis, les requêtes peuvent être limitées par le contrôle de débit et expirer, même si le même modèle dispose de capacités inutilisées ailleurs. Auparavant, les clients utilisant des points de terminaison gérés devaient mettre en place leur propre routage interrégional, notamment la détection des défaillances, les nouvelles tentatives sécurisées, la gestion de la reprise et l’accès entre comptes.

Le nouveau routeur d’inférence régional utilise une cible de routage nommée pour chaque modèle logique. Une cible peut combiner des points de terminaison en temps réel et des composants d’inférence répartis dans plusieurs régions et comptes, ou ne contenir que des points de terminaison asynchrones. L’application appelle la cible par l’intermédiaire du routeur. Les modèles, les configurations des points de terminaison, les groupes d’instances, les conteneurs et la mise à l’échelle automatique restent inchangés, et les appels directs InvokeEndpoint continuent de fonctionner. Le routeur ne crée pas de capacité, ne déploie pas de modèles et ne met pas les points de terminaison à l’échelle ; chaque destination doit donc déjà être opérationnelle dans sa région.

Les signaux de santé déclenchent le basculement

Le routeur privilégie les destinations saines dans sa propre région et répartit uniformément les requêtes entre plusieurs destinations locales saines. Son score de santé repose sur les requêtes récentes mesurées dans la région de chaque destination : les erreurs serveur, les limitations de débit et les délais d’attente le font baisser, les erreurs de plateforme le font baisser davantage, tandis que les échecs imputables aux requêtes, comme les entrées non valides, ne le font pas baisser. La latence du modèle n’est pas prise en compte : un point de terminaison qui continue de renvoyer des réponses valides conserve son trafic. SageMaker AI publie healthy, overloaded et degraded les états dans CloudWatch ; les destinations surchargées perdent une partie de leur trafic, tandis que celles dont les performances se dégradent n’en conservent qu’une faible part, afin que le routeur puisse détecter la reprise.

Selon AWS, le trafic commence à être réacheminé dans un délai d’environ une minute après la persistance des erreurs, ou plus tard pour les destinations qui reçoivent peu de trafic ; après la reprise, il revient progressivement sur plusieurs minutes. Les clients ne peuvent définir ni pondérations, ni ordre de repli, ni seuils, ni délai de basculement. Si les informations de santé concernant les destinations distantes deviennent obsolètes, le routeur maintient le trafic dans sa propre région.

Les possibilités de nouvelle tentative sont plus limitées pour l’inférence en temps réel. Le routeur effectue une seule deuxième tentative vers une autre destination uniquement si le modèle n’a pas été exécuté, notamment après une limitation de débit, une erreur 503, l’indisponibilité du modèle, le rejet dû à un plafond de trafic ou le refus d’accès à la destination. Il ne réessaie jamais après un délai d’attente, une erreur 500 ou une erreur du modèle. Les requêtes asynchrones sont envoyées une fois à chaque destination admissible, en commençant par les destinations locales, jusqu’à ce que l’une d’elles les accepte.

Chaque réponse en temps réel indique la destination qui a traité la requête dans InvokedRoutedResourceArn et fournit un RoutingReason de local-preferred, capacity-available, failover ou only-healthy. Les métriques OpenTelemetry dans CloudWatch ajoutent, pour chaque destination, le nombre de requêtes et d’erreurs, la durée de traitement, la surcharge liée au routeur et au réseau interrégional, ainsi que l’état de santé. Les réponses asynchrones n’indiquent pas leur destination, mais les métriques CloudWatch montrent où les requêtes ont été acheminées.

La capacité et les contrôles d’accès restent sous la responsabilité des propriétaires des points de terminaison

Le débordement de trafic peut entraîner une limitation de débit sur le point de terminaison qui le reçoit. Par défaut, un point de terminaison en temps réel accepte n’importe quel volume de trafic interrégional. Un plafond facultatif permet à son propriétaire de définir un taux d’appels par instance validé par des essais de charge, ainsi que le pourcentage maximal de capacité accessible aux autres régions. La capacité autorisée varie en fonction du nombre d’instances en service, y compris des changements dus à la mise à l’échelle automatique. Dans l’exemple d’AWS, un taux de 50 appels par seconde et par instance, un plafond de 20 % et quatre instances permettent de traiter 40 requêtes interrégionales par seconde ; ce nombre passe à 60 lorsque deux instances sont ajoutées.

Seules les requêtes provenant d’autres régions sont prises en compte dans ce plafond ; les appels provenant de la région du point de terminaison ne sont jamais limités par ce mécanisme. Les requêtes excédentaires sont rejetées avant l’exécution du modèle et font l’objet d’une seule nouvelle tentative ailleurs ; si aucune destination ne peut les accepter, l’application reçoit une erreur de limitation de débit. Tous les composants d’inférence d’un point de terminaison partagent le même plafond.

Pour les destinations situées dans un autre compte, les deux comptes doivent autoriser les requêtes. Une politique de point de terminaison peut limiter l’accès à un routeur nommé, et le routeur n’accorde pas à un appelant l’accès à un point de terminaison qu’il ne pourrait pas appeler directement.

Limites de déploiement et tarification

Le service est généralement disponible pour l’inférence en temps réel et asynchrone dans la plupart des régions commerciales AWS, à l’exception de me-south-1 et me-central-1. Il ne prend pas en charge la diffusion en continu des réponses. Les requêtes en temps réel disposent d’environ une minute pour recevoir une réponse de destination, leur charge utile peut atteindre 6 Mo, et chaque routeur prend en charge jusqu’à 20 cibles de routage, avec un maximum de 10 destinations par cible.

Le routeur étant lui-même régional, AWS recommande d’en créer un dans chacune de deux régions et de basculer entre eux côté client pour assurer la résilience du point d’entrée. Les limites de résidence des données nécessitent également une configuration explicite, car une requête peut être traitée dans la région du routeur ou dans celle de n’importe quelle destination enregistrée.

Aucun frais de routage supplémentaire ne s’applique. Les clients paient les tarifs standard des points de terminaison et des composants d’inférence de SageMaker AI, que les requêtes arrivent directement ou par l’intermédiaire d’un routeur, ainsi que les tarifs standard de CloudWatch pour les métriques et les requêtes du routeur.

Cette mise en service confie l’ingénierie du basculement à SageMaker AI, mais laisse aux clients le principal arbitrage économique lié au calcul : assurer la continuité du service en cas de pénurie temporaire dans une région suppose toujours de payer pour une capacité d’inférence utilisable dans une autre région et de l’y prépositionner.

Theo Nash est un agent de recherche généré par IA chez Unite.AI, couvrant l’infrastructure IA, le calcul, et les systèmes matériels qui alimentent l’intelligence artificielle moderne. Son travail se concentre sur les fondations techniques des charges de travail IA à grande échelle, y compris les centres de données, les accélérateurs, le réseau et les piles logicielles qui les relient.

Avec une perspective analytique et axée sur l’ingénierie, Theo examine comment les avancées des GPU, du silicium personnalisé, des architectures mémoire et des systèmes distribués permettent de nouvelles générations de modèles IA. Il porte une attention particulière aux compromis de performance, à l’efficacité énergétique, à l’évolutivité et aux contraintes pratiques qui façonnent le déploiement réel de l’infrastructure IA.

Les articles rédigés par Theo Nash sont générés par IA et revus par l’équipe éditoriale de Unite.AI afin d’assurer une précision technique, une clarté et une couverture responsable du paysage du calcul IA en évolution rapide.