Modèles et plateformes d’IA
AWS achemine l’inférence HyperPod entre les régions à partir d’un point de terminaison unique

Points clésLa passerelle globale ajoute un niveau de sélection de cluster au-dessus du routage…
Voir plus
- La passerelle globale ajoute un niveau de sélection de cluster au-dessus du routage existant de l'Inference Gateway au niveau des pods.
- Les opérateurs ajustent quatre signaux pondérés, dont RegionProximity à 0,40, pour équilibrer la latence et la résilience.
- AWS déclare que la passerelle ne journalise ni ne stocke les prompts ou les complétions et achemine uniquement via PrivateLink.
Le 20 novembre 2026, AWS a lancé la passerelle mondiale d’inférence Amazon SageMaker HyperPod, qui fournit aux clients un point de terminaison géré unique pour les requêtes d’inférence acheminées vers des clusters HyperPod enregistrés, dans une seule région AWS ou dans plusieurs. Le service sélectionne un cluster en fonction de la capacité, de la file d’attente, de la proximité et des signaux d’erreur, avec basculement automatique lorsqu’un cluster devient indisponible.
Ce lancement ajoute un deuxième niveau d’acheminement au-dessus de la passerelle existante SageMaker HyperPod Inference Gateway. Cette passerelle au niveau du cluster continue de sélectionner les pods de modèle individuels en fonction de signaux tels que l’utilisation du cache clé-valeur (KV) et la longueur de la file d’attente. Le nouveau niveau mondial sélectionne d’abord le cluster, sans modifier la sélection des pods.
AWS s’attaque à un problème d’utilisation des capacités : des requêtes peuvent s’accumuler dans la file d’attente d’un cluster saturé tandis que des GPU déjà provisionnés restent inactifs ailleurs. Dans son exemple, où quatre modèles sont servis sur cinq clusters répartis dans deux régions, le service de chaque modèle séparément oblige les clients à suivre 20 points de terminaison. Les passerelles au niveau des clusters ramènent ce nombre à cinq, tandis que la passerelle mondiale le réduit à un seul. Le niveau géré évite d’avoir à créer et à maintenir des équilibreurs de charge, le DNS et la mise en réseau interrégionale pour cet acheminement, et permet de rediriger les pics de trafic vers des clusters disposant de capacités.
Sélection configurable des clusters
Un opérateur publie chaque cluster participant en activant spec.globalRouting dans son environnement déjà en place InferenceGatewayConfig, puis appelle CreateGlobalInferenceGateway avec les clusters à regrouper. La publication crée un Network Load Balancer, un service de point de terminaison de cloud privé virtuel (VPC) et des ressources de certificat dans le compte du client. Un cluster non publié ne peut pas être ajouté correctement.
Les clients envoient au point de terminaison régional des requêtes compatibles avec OpenAI, signées à l’aide d’AWS Signature Version 4 (SigV4). La passerelle authentifie l’appelant et sélectionne un cluster opérationnel. AWS PrivateLink transporte la requête au sein d’une région ou entre plusieurs régions, puis la passerelle d’inférence du cluster sélectionne le pod de modèle. SageMaker exploite l’infrastructure de routage, les points de terminaison privés, la validation des certificats, les contrôles d’état, l’authentification et la limitation du débit ; un éditeur géré par le service sur chaque cluster fournit les métriques de charge.
Pour chaque requête, la passerelle attribue un score aux clusters opérationnels à partir de quatre signaux configurables :
| Signal | Ce qu’il mesure | Pondération par défaut |
|---|---|---|
KVHeadroom |
Cache KV et mémoire GPU disponibles sur le cluster | 0.20 |
QueueDepth |
Niveau d’encombrement du cluster | 0.25 |
RegionProximity |
Distance entre le cluster et la région de la passerelle | 0.40 |
ErrorRate |
Requêtes récemment échouées sur le cluster | 0.15 |
Les clients qui modifient les valeurs par défaut doivent définir les quatre pondérations, avec des valeurs comprises entre 0,0 et 1,0 dont la somme est égale à 1,0. Ils peuvent désactiver un signal en lui attribuant la valeur zéro. UpdateGlobalInferenceGateway modifie la pondération des nouvelles requêtes sans nécessiter de nouveau provisionnement, tandis que les requêtes en cours se terminent avec les anciens paramètres. Selon AWS, les charges de travail qui privilégient la résilience à la proximité peuvent augmenter ErrorRate et réduire RegionProximity.
Basculement et confidentialité
La passerelle vérifie l’état de chaque cluster et, en cas de défaillance, redirige le trafic vers le cluster suivant le mieux noté sans que les clients aient à modifier quoi que ce soit. Lorsqu’un cluster redevient opérationnel, le trafic y est rétabli progressivement. Une requête échouée est réessayée une fois sur un autre cluster, sauf si la diffusion en continu a commencé ; s’il ne reste aucun cluster opérationnel, la passerelle renvoie le code HTTP 503. L’ajout d’un cluster opérationnel ne modifie pas le point de terminaison et ne perturbe pas les autres clusters. La suppression d’un cluster empêche l’envoi de nouvelles requêtes, mais laisse les requêtes en cours se terminer.
IAM contrôle séparément les appels standard et ceux en continu. Le cas échéant, les jetons Web JSON des clients sont inclus dans la signature SigV4. Les requêtes n’atteignent les clusters que par AWS PrivateLink, et AWS affirme que la passerelle n’enregistre ni ne stocke les invites ou les réponses générées. La suppression de la passerelle mondiale désactive son point de terminaison, mais les points de terminaison de chaque cluster restent actifs.
Dans l’annonce d’AWS, Jinhyung Park, vice-président de la plateforme d’IA chez Bagelcode, a déclaré que les tests bêta avaient acheminé des requêtes entre deux régions par l’intermédiaire de la passerelle et que le service avait continué à les traiter lorsqu’un cluster n’était plus en mesure d’exécuter le modèle. La petite équipe plateforme de l’entreprise a ainsi pu bénéficier d’un basculement interrégional sans avoir à créer ni à maintenir sa propre couche d’acheminement.
Disponibilité et migration
Le service est disponible dans 13 régions : l’est des États-Unis (Virginie du Nord et Ohio), l’ouest des États-Unis (Californie du Nord et Oregon), l’Amérique du Sud (São Paulo), l’Europe (Francfort, Irlande, Londres et Stockholm) et l’Asie-Pacifique (Tokyo, Mumbai, Singapour et Sydney).
AWS recommande aux utilisateurs d’un seul cluster de conserver le point de terminaison de la passerelle d’inférence du cluster et d’adopter le service mondial lorsqu’ils ajoutent un deuxième cluster. Les points de terminaison existants de chaque cluster continuent de traiter les requêtes pendant la migration des clients. Une passerelle ne contenant que des clusters situés dans une même région peut également maintenir une charge de travail dans cette région. Un cluster publié qui n’est associé à aucune passerelle ne reçoit aucun trafic, même si son Network Load Balancer continue de fonctionner et d’occasionner des frais.
En regroupant les signaux de proximité, de capacité et de défaillance au sein d’une même politique, le service fait de l’utilisation de capacités GPU autrement inutilisées une décision de configuration plutôt qu’un projet réseau distinct.












