AI-modeller och plattformar
AWS dirigerar HyperPod-inferens mellan regioner från en enda slutpunkt

Viktiga punkterDen globala gatewayen lägger till en klustervalstier ovanför den befintliga…
Visa mer
- Den globala gatewayen lägger till en klustervalstier ovanför den befintliga poddnivå-routningen i Inference Gateway.
- Operatörer justerar fyra viktade signaler, inklusive RegionProximity på 0,40, för att balansera latens mot motståndskraft.
- AWS uppger att gatewayen inte loggar eller lagrar prompter eller completions och endast routar över PrivateLink.
Den 20 november 2026 lanserade AWS Amazon SageMaker HyperPod – global gateway för inferens, som ger kunderna en enda hanterad slutpunkt för inferensförfrågningar till registrerade HyperPod-kluster i en eller flera AWS-regioner. Tjänsten väljer kluster utifrån kapacitet, köläge, närhet och felsignaler och växlar automatiskt till ett annat kluster om ett kluster blir otillgängligt.
Lanseringen lägger till ett andra routningslager ovanför den befintliga SageMaker HyperPod-gatewayen för inferens. Gatewayen på klusternivå fortsätter att välja enskilda modellpoddar utifrån signaler som utnyttjandet av nyckel-värdecachen (KV-cachen) och köns längd. Det nya globala lagret väljer först kluster, medan valet av poddar förblir oförändrat.
AWS åtgärdar ett problem med kapacitetsutnyttjandet: förfrågningar kan hamna i kö vid ett överbelastat kluster samtidigt som redan driftsatta GPU:er står oanvända någon annanstans. I AWS exempel med fyra modeller som körs i fem kluster i två regioner måste klienterna hålla reda på 20 slutpunkter om varje modell hanteras separat. Gatewayar på klusternivå minskar antalet till fem, medan den globala gatewayen ger en enda slutpunkt. Det hanterade lagret gör att man slipper bygga och underhålla lastbalanserare, DNS och nätverk mellan regioner för routningen. Det gör också att trafiktoppar kan styras om till kluster med ledig kapacitet.
Konfigurerbart val av kluster
En operatör publicerar varje deltagande kluster genom att aktivera spec.globalRouting i sitt befintliga InferenceGatewayConfig, och anropar sedan CreateGlobalInferenceGateway med de kluster som ska grupperas. När ett kluster publiceras skapas en Network Load Balancer, en tjänst för virtuella privata molnslutpunkter (VPC) och certifikatresurser i kundens konto. Ett kluster som inte har publicerats kan inte läggas till.
Klienter skickar OpenAI-kompatibla förfrågningar, signerade med AWS Signature Version 4 (SigV4), till den regionala slutpunkten. Gatewayen autentiserar anroparen och väljer ett friskt kluster. AWS PrivateLink överför förfrågan inom eller mellan regioner, och klustrets Inference Gateway väljer modellpodden. SageMaker sköter routningsflottan, privata slutpunkter, certifikatvalidering, hälsokontroller, autentisering och hastighetsbegränsning. En tjänstehanterad publicerare i varje kluster tillhandahåller belastningsmått.
För varje förfrågan poängsätter gatewayen friska kluster utifrån fyra konfigurerbara signaler:
| Signal | Vad den mäter | Standardvikt |
|---|---|---|
KVHeadroom |
Tillgänglig KV-cache och GPU-minne i klustret | 0.20 |
QueueDepth |
Hur belastat klustret är | 0.25 |
RegionProximity |
Avståndet mellan klustret och gatewayens region | 0.40 |
ErrorRate |
Nyligen misslyckade förfrågningar i klustret | 0.15 |
Kunder som ändrar standardinställningarna måste ange vikter för alla fyra signalerna. Värdena ska vara mellan 0,0 och 1,0 och tillsammans summera till 1,0. En signal kan stängas av genom att dess vikt sätts till noll. UpdateGlobalInferenceGateway ändrar viktningen för nya förfrågningar utan att resurser behöver tillhandahållas på nytt, medan pågående förfrågningar slutförs med de gamla inställningarna. AWS uppger att arbetsbelastningar där motståndskraft prioriteras framför närhet kan höja ErrorRate och sänka RegionProximity.
Reservväxling och integritet
Gatewayen utför hälsokontroller av varje kluster och styr om trafiken till det näst bästa klustret om ett fel inträffar, utan att klienterna behöver ändras. När ett kluster återhämtat sig återförs det gradvis. En misslyckad förfrågan görs om en gång mot ett annat kluster, såvida strömningen inte har startat. Om inget friskt kluster återstår returnerar gatewayen HTTP 503. Att lägga till ett friskt kluster ändrar inte slutpunkten och stör inte andra kluster. Om ett kluster tas bort slutar det ta emot nya förfrågningar, men pågående arbete får slutföras.
IAM styr separat standardanrop och anrop med strömning. Kundernas JSON-webbtoken, om sådana används, skickas inuti SigV4-signaturen. Förfrågningar når klustren endast via AWS PrivateLink, och AWS uppger att gatewayen varken loggar eller lagrar frågor eller svar. Om den globala gatewayen tas bort slutar dess slutpunkt att fungera, men slutpunkterna för de enskilda klustren fortsätter att hantera trafik.
Jinhyung Park, VP för AI-plattformen på Bagelcode, uppgav i AWS tillkännagivande att betatesterna dirigerade förfrågningar mellan två regioner via gatewayen och fortsatte att hantera dem när ett kluster inte längre kunde köra modellen. Det gav företagets lilla plattformsteam reservväxling mellan regioner utan att behöva bygga eller underhålla ett eget routningslager.
Tillgänglighet och migrering
Tjänsten är tillgänglig i 13 regioner: USA:s östra region (norra Virginia och Ohio), USA:s västra region (norra Kalifornien och Oregon), Sydamerika (São Paulo), Europa (Frankfurt, Irland, London och Stockholm) samt Asien och Stillahavsområdet (Tokyo, Mumbai, Singapore och Sydney).
AWS rekommenderar att användare med ett enda kluster fortsätter att använda klustrets Inference Gateway-slutpunkt och börjar använda den globala tjänsten när ett andra kluster läggs till. Befintliga slutpunkter för enskilda kluster fortsätter att hantera trafik under klientmigreringen, och en gateway med kluster i endast en region kan hålla en arbetsbelastning där. Ett publicerat kluster som inte ingår i någon gateway får ingen trafik, även om dess Network Load Balancer fortsätter att köras och medföra kostnader.
Genom att samla signaler för närhet, kapacitet och fel i en och samma policy gör tjänsten användningen av annars outnyttjad GPU-kapacitet till en konfigurationsfråga i stället för ett separat nätverksprojekt.












