AI-modellen en platforms
AWS routeert HyperPod-inferentie vanuit één endpoint over meerdere regio’s

Belangrijkste puntenDe wereldwijde gateway voegt een clusterselectielaag toe boven de bestaande routering…
Meer weergeven
- De wereldwijde gateway voegt een clusterselectielaag toe boven de bestaande routering op podniveau van de Inference Gateway.
- Beheerders stemmen vier gewogen signalen af, waaronder RegionProximity op 0,40, om latentie tegen veerkracht af te wegen.
- AWS verklaart dat de gateway geen prompts of completions logt of opslaat en alleen via PrivateLink routeert.
AWS introduceerde op 20 november 2026 Amazon SageMaker HyperPod Global Inference Gateway, waarmee klanten één beheerd endpoint krijgen voor inferentieverzoeken aan geregistreerde HyperPod-clusters in één of meerdere AWS-regio’s. De service selecteert een cluster op basis van capaciteit, wachtrijen, nabijheid en foutsignalen, en schakelt automatisch over als een cluster niet beschikbaar is.
Met de lancering wordt een tweede routeringslaag toegevoegd boven op de bestaande SageMaker HyperPod Inference Gateway. Die gateway op clusterniveau blijft afzonderlijke modelpods selecteren aan de hand van signalen zoals het gebruik van de key-value-cache (KV-cache) en de wachtrijdiepte. De nieuwe globale laag selecteert eerst het cluster, zonder de selectie van pods te wijzigen.
AWS pakt een probleem met capaciteitsbenutting aan: verzoeken kunnen in de wachtrij belanden bij een overbelast cluster, terwijl elders al ingerichte GPU’s ongebruikt blijven. In het voorbeeld van vier modellen die over vijf clusters in twee regio’s worden aangeboden, moeten clients bij modelgebonden dienstverlening 20 endpoints bijhouden. Gateways op clusterniveau brengen dat aantal terug tot vijf; de globale gateway biedt er één. Dankzij de beheerde laag hoeven klanten voor deze routering geen load balancers, DNS en netwerkverbindingen tussen regio’s te bouwen en te onderhouden. Ook kan piekverkeer worden doorgestuurd naar clusters met beschikbare capaciteit.
Configureerbare clusterselectie
Een operator publiceert elk deelnemend cluster door in te schakelen spec.globalRouting in zijn bestaande InferenceGatewayConfig, en roept vervolgens CreateGlobalInferenceGateway aan met de clusters die moeten worden gegroepeerd. Door een cluster te publiceren, worden in het account van de klant een Network Load Balancer, een endpointservice voor een virtuele private cloud (VPC) en certificaatbronnen aangemaakt. Een niet-gepubliceerd cluster kan niet met succes worden toegevoegd.
Clients sturen OpenAI-compatibele verzoeken, ondertekend met AWS Signature Version 4 (SigV4), naar het regionale endpoint. De gateway verifieert de aanroeper en selecteert een gezond cluster. AWS PrivateLink vervoert het verzoek binnen of tussen regio’s, waarna de Inference Gateway van het cluster de modelpod kiest. SageMaker beheert de routeringsinfrastructuur, privé-endpoints, certificaatvalidatie, gezondheidscontroles, verificatie en snelheidsbeperking. Een door de service beheerde publisher op elk cluster levert metrische gegevens over de belasting.
Voor elk verzoek berekent de gateway een score voor gezonde clusters op basis van vier configureerbare signalen:
| Signaal | Wat het meet | Standaardgewicht |
|---|---|---|
KVHeadroom |
Beschikbare KV-cache en GPU-geheugen op het cluster | 0.20 |
QueueDepth |
De mate waarin het cluster overbelast is | 0.25 |
RegionProximity |
Afstand tussen het cluster en de regio van de gateway | 0.40 |
ErrorRate |
Recente mislukte verzoeken op het cluster | 0.15 |
Klanten die de standaardwaarden aanpassen, moeten alle vier de gewichten instellen op waarden van 0,0 tot 1,0, met een totaal van 1,0. Ze kunnen een signaal uitschakelen door het gewicht op nul te zetten. UpdateGlobalInferenceGateway past de weging voor nieuwe verzoeken aan zonder dat de resources opnieuw hoeven te worden ingericht; verzoeken die al worden verwerkt, worden afgehandeld met de oude instellingen. AWS zegt dat workloads waarbij veerkracht belangrijker is dan nabijheid, het gewicht van ErrorRate kunnen verhogen en dat van RegionProximity.
Failover en privacy
De gateway controleert de gezondheid van elk cluster en stuurt verkeer na een storing door naar het op één na beste cluster, zonder dat clients hoeven te worden aangepast. Een hersteld cluster wordt geleidelijk weer in gebruik genomen. Een mislukt verzoek wordt eenmaal opnieuw geprobeerd op een ander cluster, tenzij het streamen al is begonnen. Als er geen gezond cluster meer is, geeft de gateway HTTP 503 terug. Door een gezond cluster toe te voegen, verandert het endpoint niet en worden andere clusters niet verstoord. Wanneer een cluster wordt verwijderd, worden er geen nieuwe verzoeken meer naartoe gestuurd, maar wordt werk dat al wordt uitgevoerd wel afgerond.
IAM regelt afzonderlijk de aanroep van standaard- en streamingfunctionaliteit. Eventuele JSON Web Tokens van klanten worden opgenomen in de SigV4-handtekening. Verzoeken bereiken clusters uitsluitend via AWS PrivateLink. Volgens AWS registreert of bewaart de gateway geen prompts of voltooide antwoorden. Als de globale gateway wordt verwijderd, stopt het endpoint ervan, maar blijven de endpoints per cluster verzoeken afhandelen.
Jinhyung Park, vicepresident van het AI-platform bij Bagelcode, zei in de aankondiging van AWS dat tijdens bètatests verzoeken via de gateway tussen twee regio’s werden gerouteerd en bleven worden afgehandeld toen één cluster het model niet langer kon aanbieden. Zo kreeg het kleine platformteam van het bedrijf failover tussen regio’s, zonder zelf een routeringslaag te hoeven bouwen of onderhouden.
Beschikbaarheid en migratie
De service is beschikbaar in 13 regio’s: het oosten van de VS (N. Virginia en Ohio), het westen van de VS (N. California en Oregon), Zuid-Amerika (São Paulo), Europa (Frankfurt, Ireland, London en Stockholm) en Azië-Pacific (Tokyo, Mumbai, Singapore en Sydney).
AWS adviseert gebruikers met één cluster om het endpoint van de Inference Gateway van dat cluster te blijven gebruiken en de globale service in te voeren zodra ze een tweede cluster toevoegen. Bestaande endpoints per cluster blijven verzoeken afhandelen tijdens de migratie van clients. Een gateway met alleen clusters in één regio kan een workload in die regio houden. Een gepubliceerd cluster dat niet aan een gateway is toegevoegd, ontvangt geen verkeer, ook al blijft de Network Load Balancer actief en brengt die kosten met zich mee.
Door signalen over nabijheid, capaciteit en storingen in één beleidsregel samen te brengen, maakt de dienst het benutten van anders ongebruikte GPU-capaciteit tot een configuratiekeuze in plaats van een afzonderlijk netwerkproject.












