AI-modeller og plattformer

AWS ruter inferens i HyperPod på tvers av regioner fra ett endepunkt

Theo Nash
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterDen globale gatewayen legger til et klyngevalgsnivå over den eksisterende…
Vis mer
  • Den globale gatewayen legger til et klyngevalgsnivå over den eksisterende podenivå-rutingen i Inference Gateway.
  • Operatører justerer fire vektede signaler, inkludert RegionProximity på 0,40, for å balansere latens mot robusthet.
  • AWS oppgir at gatewayen ikke logger eller lagrer ledetekster eller fullføringer og ruter bare over PrivateLink.

20. november 2026 lanserte AWS den globale inferensgatewayen for Amazon SageMaker HyperPod, som gir kundene ett administrert endepunkt for inferensforespørsler på tvers av registrerte HyperPod-klynger i én eller flere AWS-regioner. Tjenesten velger en klynge basert på kapasitet, kø, nærhet og feilsignaler, og bytter automatisk over hvis en klynge blir utilgjengelig.

Lanseringen legger til et ekstra rutingslag over den eksisterende inferensgatewayen for SageMaker HyperPod. Gatewayen på klyngenivå fortsetter å velge individuelle modellpoder basert på signaler som bruk av nøkkel-verdi-bufferen (KV-bufferen) og kødybde. Det nye globale laget velger først klynge, mens valget av pod forblir uendret.

AWS tar tak i et problem med kapasitetsutnyttelse: Forespørsler kan hope seg opp i kø på en overbelastet klynge, mens GPU-er som allerede er klargjort, står ubrukt andre steder. I eksemplet deres, der fire modeller betjenes på tvers av fem klynger i to regioner, må klientene holde oversikt over 20 endepunkter når hver modell betjenes separat. Gatewayer på klyngenivå reduserer dette til fem, mens den globale gatewayen gir ett endepunkt. Det administrerte laget fjerner behovet for å bygge og vedlikeholde lastbalanserere, DNS og nettverk på tvers av regioner for denne rutingen, og gjør det mulig å fordele trafikk ved toppbelastning til klynger med ledig kapasitet.

Konfigurerbart valg av klynge

En operatør publiserer hver deltakende klynge ved å aktivere spec.globalRouting i den eksisterende InferenceGatewayConfig, og kaller deretter CreateGlobalInferenceGateway med klyngene som skal grupperes. Publiseringen oppretter en Network Load Balancer, en endepunkttjeneste for virtuelt privat sky (VPC) og sertifikatressurser i kundens konto. En klynge som ikke er publisert, kan ikke legges til.

Klienter sender OpenAI-kompatible forespørsler, signert med AWS Signature Version 4 (SigV4), til det regionale endepunktet. Gatewayen autentiserer avsenderen og velger en klynge som er tilgjengelig. AWS PrivateLink overfører forespørselen innenfor eller mellom regioner, og klyngens inferensgateway velger modellpoden. SageMaker drifter rutingsflåten, private endepunkter, sertifikatvalidering, helsesjekker, autentisering og hastighetsbegrensning. En tjenesteadministrert publiseringskomponent på hver klynge leverer belastningsmålinger.

For hver forespørsel gir gatewayen tilgjengelige klynger en poengsum basert på fire konfigurerbare signaler:

Signal Hva det måler Standardvekt
KVHeadroom Tilgjengelig KV-buffer og GPU-minne på klyngen 0.20
QueueDepth Hvor stor købelastning det er på klyngen 0.25
RegionProximity Avstanden mellom klyngen og gatewayens region 0.40
ErrorRate Nylig mislykkede forespørsler på klyngen 0.15

Kunder som overstyrer standardinnstillingene, må angi vekter for alle fire signalene. Verdiene skal være fra 0,0 til 1,0 og til sammen utgjøre 1,0. Et signal kan deaktiveres ved å sette vekten til null. UpdateGlobalInferenceGateway endrer vektingen for nye forespørsler uten å klargjøre ressursene på nytt, mens forespørsler som allerede er under behandling, fullføres med de gamle innstillingene. AWS sier at arbeidsbelastninger der robusthet prioriteres over nærhet, kan øke ErrorRate og redusere RegionProximity.

Overføring ved feil og personvern

Gatewayen utfører helsesjekker av alle klyngene og flytter trafikken til den nest best egnede klyngen ved en feil, uten at klientene må endres. Når en klynge er gjenopprettet, fases den gradvis inn igjen. En mislykket forespørsel prøves én gang til på en annen klynge, med mindre strømming har startet. Hvis ingen klynger er tilgjengelige, returnerer gatewayen HTTP 503. Når en tilgjengelig klynge legges til, endres ikke endepunktet, og de andre klyngene forstyrres ikke. Når en klynge fjernes, sendes det ikke nye forespørsler til den, men arbeid som allerede pågår, får fullføres.

IAM styrer standardkall og strømmekall separat, og kundens JSON Web Tokens, hvis de brukes, sendes inne i SigV4-signaturen. Forespørsler når klyngene bare via AWS PrivateLink, og AWS opplyser at gatewayen verken logger eller lagrer ledetekster eller fullføringer. Hvis den globale gatewayen slettes, slutter endepunktet dens å fungere, men endepunktene for de enkelte klyngene fortsetter å betjene forespørsler.

Jinhyung Park, visepresident for AI-plattformen i Bagelcode, sa i AWS-kunngjøringen at betatester rutet forespørsler gjennom gatewayen på tvers av to regioner, og at tjenesten fortsatte å betjene dem da én klynge ikke lenger kunne kjøre modellen. Dermed fikk selskapets lille plattformteam failover på tvers av regioner uten å måtte bygge eller vedlikeholde sitt eget rutingslag.

Tilgjengelighet og overgang

Tjenesten er tilgjengelig i 13 regioner: Øst-USA (Nord-Virginia og Ohio), Vest-USA (Nord-California og Oregon), Sør-Amerika (São Paulo), Europa (Frankfurt, Irland, London og Stockholm) og Asia-Stillehavsregionen (Tokyo, Mumbai, Singapore og Sydney).

AWS anbefaler at brukere med én klynge fortsetter å bruke klyngens inferensgateway-endepunkt og tar i bruk den globale tjenesten når de legger til en klynge nummer to. Eksisterende endepunkter for enkeltklynger fortsetter å betjene forespørsler mens klientene flyttes over, og en gateway som bare inneholder klynger i én region, kan holde arbeidsbelastningen der. En publisert klynge som ikke inngår i noen gateway, mottar ingen trafikk, selv om Network Load Balancer fortsetter å kjøre og påløpe kostnader.

Ved å samle signaler om nærhet, kapasitet og feil i én policy gjør tjenesten bruken av ellers ledig GPU-kapasitet til et konfigurasjonsvalg, ikke et separat nettverksprosjekt.

Theo Nash er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-infrastruktur, beregning og maskinvaresystemene som driver moderne kunstig intelligens. Arbeidet hans fokuserer på de tekniske grunnlagene bak AI-arbeidsbelastninger i stor skala, inkludert datasentre, akseleratorer, nettverk og programvarestablene som binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøker Theo hvordan fremskritt innen GPU-er, tilpasset silisium, minnearkitekturer og distribuerte systemer muliggjør nye generasjoner av AI-modeller. Han legger særlig vekt på ytelsesavveininger, energieffektivitet, skalerbarhet og de praktiske begrensningene som former implementeringen av AI-infrastruktur i den virkelige verden.

Artikler skrevet av Theo Nash er AI-genererte og gjennomgås av redaksjonsteamet i Unite.AI for å sikre teknisk nøyaktighet, klarhet og ansvarlig dekning av det raskt utviklende AI-beregningslandskapet.