AI-modeller og platforme

AWS dirigerer HyperPod-inferens på tværs af regioner fra ét slutpunkt

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterDen globale gateway tilføjer et klyngeudvælgelseslag oven på den eksisterende…
Vis mere
  • Den globale gateway tilføjer et klyngeudvælgelseslag oven på den eksisterende pod-niveau Inference Gateway-routing.
  • Operatører justerer fire vægtede signaler, herunder RegionProximity på 0,40, for at afveje latenstid mod robusthed.
  • AWS angiver, at gatewayen ikke logger eller gemmer prompts eller completions og kun router via PrivateLink.

AWS lancerede Amazon SageMaker HyperPod-global inferensgateway den 20. november 2026. Den giver kunderne ét administreret slutpunkt til inferensanmodninger på tværs af registrerede HyperPod-klynger i én eller flere AWS-regioner. Tjenesten vælger en klynge ud fra signaler om kapacitet, kø, nærhed og fejl og skifter automatisk til en anden klynge, når en klynge bliver utilgængelig.

Lanceringen tilføjer et ekstra routinglag over den eksisterende SageMaker HyperPod-inferensgateway. Gatewayen på klyngeniveau vælger fortsat individuelle model-pods ved hjælp af signaler som udnyttelse af nøgle-værdi-cachen (KV-cachen) og kødybde. Det nye globale lag vælger først klyngen, mens valget af pod forbliver uændret.

AWS tager fat på et problem med kapacitetsudnyttelsen: Anmodninger kan stå i kø på en overbelastet klynge, mens allerede klargjorte GPU’er står ubenyttet andre steder. I AWS’ eksempel med fire modeller fordelt på fem klynger i to regioner skal klienterne holde styr på 20 slutpunkter, hvis hver model betjenes separat. Gateways på klyngeniveau reducerer antallet til fem, mens den globale gateway samler det til ét. Det administrerede lag fjerner behovet for at opbygge og vedligeholde belastningsfordelere, DNS og netværk på tværs af regioner til denne routing, og lader trafik i spidsbelastningsperioder blive sendt videre til klynger med ledig kapacitet.

Konfigurerbart valg af klynge

En operatør publicerer hver deltagende klynge ved at aktivere spec.globalRouting i dens eksisterende InferenceGatewayConfig, og kalder derefter CreateGlobalInferenceGateway med de klynger, der skal grupperes. Publiceringen opretter en Network Load Balancer, en VPC-slutpunktstjeneste (virtuel privat sky) og certifikatressourcer på kundens konto. En klynge, der ikke er publiceret, kan ikke tilføjes.

Klienter sender OpenAI-kompatible anmodninger, der er signeret med AWS Signature Version 4 (SigV4), til det regionale slutpunkt. Gatewayen godkender den, der sender anmodningen, og vælger en sund klynge. AWS PrivateLink transporterer anmodningen inden for eller på tværs af regioner, hvorefter klyngens inferensgateway vælger model-podden. SageMaker driver routingflåden, de private slutpunkter, certifikatvalideringen, sundhedskontrollerne, godkendelsen og frekvensbegrænsningen. En tjenesteadministreret udgiver på hver klynge leverer belastningsmålinger.

For hver anmodning vurderer gatewayen sunde klynger ud fra fire konfigurerbare signaler:

Signal Hvad det måler Standardvægt
KVHeadroom Tilgængelig KV-cache og GPU-hukommelse på klyngen 0.20
QueueDepth Hvor belastet klyngen er 0.25
RegionProximity Afstanden mellem klyngen og gatewayens region 0.40
ErrorRate Nyligt fejlede anmodninger på klyngen 0.15

Kunder, der tilsidesætter standardindstillingerne, skal angive alle fire vægte med værdier fra 0.0 til 1.0, som tilsammen giver 1.0. Et signal kan deaktiveres ved at sætte vægten til nul. UpdateGlobalInferenceGateway ændrer vægtningen for nye anmodninger uden at kræve ny klargøring, mens igangværende anmodninger afsluttes med de gamle indstillinger. AWS siger, at arbejdsbelastninger, hvor robusthed prioriteres højere end nærhed, kan øge ErrorRate og sænke RegionProximity.

Fejlovergang og beskyttelse af persondata

Gatewayen kontrollerer hver klynges tilstand og flytter trafikken til den næstbedste klynge efter en fejl, uden at klienterne skal ændres. Når en klynge er blevet genoprettet, føres den gradvist tilbage i drift. En fejlet anmodning forsøges én gang til på en anden klynge, medmindre streaming er startet. Hvis der ikke er flere sunde klynger, returnerer gatewayen HTTP 503. Tilføjelse af en sund klynge ændrer ikke slutpunktet eller forstyrrer andre klynger, mens fjernelse af en klynge standser nye anmodninger, men lader igangværende arbejde blive afsluttet.

IAM styrer særskilt standardkald og streamingkald, og kundernes JSON Web Tokens sendes, hvis de bruges, inde i SigV4-signaturen. Anmodninger når kun frem til klyngerne via AWS PrivateLink, og AWS oplyser, at gatewayen hverken logger eller gemmer prompts eller fuldførelser. Hvis den globale gateway slettes, deaktiveres dens slutpunkt, mens slutpunkterne for de enkelte klynger fortsat betjener anmodninger.

Bagelcodes vicepræsident for AI-platformen, Jinhyung Park, sagde i AWS’ meddelelse, at betatest sendte anmodninger gennem gatewayen på tværs af to regioner og fortsatte med at betjene dem, da en klynge ikke længere kunne levere modellen. Det gav virksomhedens lille platformteam fejlovergang på tværs af regioner uden at skulle opbygge eller vedligeholde sit eget routinglag.

Tilgængelighed og migrering

Tjenesten er tilgængelig i 13 regioner: US East (det nordlige Virginia og Ohio), US West (det nordlige Californien og Oregon), Sydamerika (São Paulo), Europa (Frankfurt, Irland, London og Stockholm) samt Asien og Stillehavsområdet (Tokyo, Mumbai, Singapore og Sydney).

AWS anbefaler, at brugere med én klynge bliver på klyngens inferensgateway-slutpunkt og tager den globale tjeneste i brug, når de tilføjer en anden klynge. Eksisterende slutpunkter for de enkelte klynger fortsætter med at betjene anmodninger under klientmigreringen, og en gateway, der kun indeholder klynger i én region, kan holde en arbejdsbelastning dér. En publiceret klynge, der ikke er knyttet til nogen gateway, modtager ingen trafik, selvom dens Network Load Balancer fortsat kører og medfører omkostninger.

Ved at samle signaler om nærhed, kapacitet og fejl i én politik gør tjenesten brugen af ellers ledig GPU-kapacitet til et konfigurationsvalg frem for et særskilt netværksprojekt.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.