AI-mallit ja alustat
AWS reitittää HyperPod-päättelyn alueiden välillä yhdestä päätepisteestä

Keskeiset kohdatGlobaali yhdyskäytävä lisää klusterin valintatason olemassa olevan pod-tason Inference…
Näytä lisää
- Globaali yhdyskäytävä lisää klusterin valintatason olemassa olevan pod-tason Inference Gateway -reitityksen yläpuolelle.
- Ylläpitäjät säätävät neljää painotettua signaalia, mukaan lukien RegionProximity arvolla 0.40, tasapainottaakseen viivettä ja resilienssiä.
- AWS ilmoittaa, että yhdyskäytävä ei kirjaa tai tallenna kehotteita tai vastauksia ja reitittää vain PrivateLinkin kautta.
AWS esitteli 20. marraskuuta 2026 Amazon SageMaker HyperPodin maailmanlaajuisen päättelyyhdyskäytävän, joka tarjoaa asiakkaille yhden hallinnoidun päätepisteen päättelypyyntöjä varten rekisteröidyissä HyperPod-klustereissa joko yhdellä AWS-alueella tai useilla alueilla. Palvelu valitsee klusterin kapasiteetti-, jono-, läheisyys- ja virhesignaalien perusteella ja siirtää liikenteen automaattisesti toiseen klusteriin, jos klusteri ei ole käytettävissä.
Julkaisun myötä nykyisen SageMaker HyperPod -päättelyyhdyskäytävän yläpuolelle lisätään toinen reititystaso. Klusteritason yhdyskäytävä valitsee edelleen yksittäiset mallipodit muun muassa avainarvovälimuistin (KV-välimuistin) käyttöasteen ja jonon pituuden perusteella. Uusi maailmanlaajuinen taso valitsee ensin klusterin, mutta jättää podin valinnan ennalleen.
AWS pyrkii ratkaisemaan kapasiteetin käyttöön liittyvän ongelman: pyynnöt voivat jonoutua kuormittuneessa klusterissa, vaikka muualla jo käyttöön otetut näytönohjaimet olisivat käyttämättöminä. AWS:n esimerkissä neljä mallia palvellaan viidessä klusterissa kahdella alueella. Mallikohtainen palvelu edellyttäisi, että asiakkaat seuraisivat 20:tä päätepistettä. Klusteritason yhdyskäytävät vähentävät määrän viiteen, ja maailmanlaajuinen yhdyskäytävä tarjoaa yhden päätepisteen. Hallinnoitu reititystaso poistaa tarpeen rakentaa ja ylläpitää tätä reititystä varten kuormantasaajia, DNS:ää ja alueiden välistä verkkoyhteyttä. Lisäksi se mahdollistaa ruuhkahuippujen liikenteen ohjaamisen klustereihin, joissa on vapaata kapasiteettia.
Muokattavissa oleva klusterin valinta
Ylläpitäjä julkaisee kuhunkin osallistuvaan klusteriin ottamalla käyttöön spec.globalRouting sen nykyisessä InferenceGatewayConfig, minkä jälkeen kutsuu CreateGlobalInferenceGateway klusterien ryhmittelyä varten. Julkaiseminen luo asiakkaan tilille Network Load Balancerin, virtuaalisen yksityisverkon (VPC) päätepistepalvelun sekä varmenneresurssit. Julkaisematonta klusteria ei voi lisätä onnistuneesti.
Asiakkaat lähettävät alueelliseen päätepisteeseen OpenAI-yhteensopivia pyyntöjä, jotka on allekirjoitettu AWS Signature Version 4 -menetelmällä (SigV4). Yhdyskäytävä todentaa pyynnön lähettäjän ja valitsee toimintakuntoisen klusterin. AWS PrivateLink välittää pyynnön alueen sisällä tai alueiden välillä, minkä jälkeen klusterin päättelyyhdyskäytävä valitsee mallipodin. SageMaker hallinnoi reititysinfrastruktuuria, yksityisiä päätepisteitä, varmenteiden tarkistusta, kuntotarkistuksia, todennusta ja pyyntötiheyden rajoittamista. Kunkin klusterin palvelun hallinnoima julkaisija toimittaa kuormitustiedot.
Yhdyskäytävä pisteyttää jokaisen pyynnön yhteydessä toimintakuntoiset klusterit neljän muokattavan signaalin perusteella:
| Signaali | Mitä se mittaa | Oletuspaino |
|---|---|---|
KVHeadroom |
Klusterin käytettävissä oleva KV-välimuisti ja näytönohjainmuisti | 0.20 |
QueueDepth |
Klusterin kuormittuneisuus | 0.25 |
RegionProximity |
Klusterin ja yhdyskäytävän alueen välinen etäisyys | 0.40 |
ErrorRate |
Klusterissa äskettäin epäonnistuneet pyynnöt | 0.15 |
Oletusarvoja muuttavien asiakkaiden on määritettävä kaikki neljä painoarvoa arvoilla 0,0–1,0 niin, että niiden summa on 1,0. Signaalin voi poistaa käytöstä antamalla sille painoarvon nolla. UpdateGlobalInferenceGateway muuttaa uusien pyyntöjen painotusta ilman resurssien uudelleen käyttöönottoa, ja käynnissä olevat pyynnöt käsitellään vanhojen asetusten mukaisesti. AWS:n mukaan työkuormissa, joissa toimintavarmuus on läheisyyttä tärkeämpää, voidaan suurentaa ErrorRate ja pienentää RegionProximity.
Vikasietoisuus ja tietosuoja
Yhdyskäytävä tarkistaa kaikkien klustereiden kunnon ja siirtää liikenteen vian jälkeen seuraavaksi parhaaseen klusteriin ilman, että asiakkaiden tarvitsee tehdä muutoksia. Kun klusteri palautuu toimintakuntoon, se otetaan takaisin käyttöön asteittain. Epäonnistunutta pyyntöä yritetään kerran uudelleen toisessa klusterissa, ellei suoratoisto ole jo alkanut. Jos toimintakuntoisia klustereita ei ole jäljellä, yhdyskäytävä palauttaa HTTP 503 -virheen. Toimintakuntoisen klusterin lisääminen ei muuta päätepistettä eikä häiritse muiden klustereiden toimintaa. Klusterin poistaminen estää uusien pyyntöjen lähettämisen siihen, mutta käynnissä olevien pyyntöjen annetaan valmistua.
IAM hallitsee erikseen tavallisten pyyntöjen ja suoratoistokutsujen käyttöoikeuksia. Asiakkaan JSON-verkkotunnukset kulkevat käytettäessä SigV4-allekirjoituksen sisällä. Pyynnöt välitetään klustereihin ainoastaan AWS PrivateLinkin kautta, ja AWS:n mukaan yhdyskäytävä ei kirjaa eikä tallenna kehotteita tai vastauksia. Maailmanlaajuisen yhdyskäytävän poistaminen käytöstä pysäyttää sen päätepisteen toiminnan, mutta klusterikohtaiset päätepisteet jatkavat palvelemista.
Bagelcoden tekoälyalustan varajohtaja Jinhyung Park kertoi AWS:n tiedotteessa, että betatesteissä pyyntöjä reititettiin yhdyskäytävän kautta kahden alueen välillä ja palvelu jatkoi niiden käsittelyä, vaikka yksi klustereista ei enää pystynyt palvelemaan mallia. Näin yrityksen pieni alustatiimi sai alueiden välisen vikasietoisuuden rakentamatta tai ylläpitämättä omaa reitityskerrostaan.
Saatavuus ja käyttöönotto
Palvelu on saatavilla 13 alueella: Yhdysvaltain itäosissa (Pohjois-Virginiassa ja Ohiossa), Yhdysvaltain länsiosissa (Pohjois-Kaliforniassa ja Oregonissa), Etelä-Amerikassa (São Paulossa), Euroopassa (Frankfurtissa, Irlannissa, Lontoossa ja Tukholmassa) sekä Aasian ja Tyynenmeren alueella (Tokiossa, Mumbaissa, Singaporessa ja Sydneyssä).
AWS suosittelee, että yhtä klusteria käyttävät asiakkaat pysyvät klusterin päättelyyhdyskäytävän päätepisteessä ja ottavat maailmanlaajuisen palvelun käyttöön lisätessään toisen klusterin. Nykyiset klusterikohtaiset päätepisteet jatkavat toimintaansa asiakkaiden siirtymän ajan, ja vain yhden alueen klustereita sisältävä yhdyskäytävä voi pitää työkuorman kyseisellä alueella. Jos julkaistua klusteria ei liitetä mihinkään yhdyskäytävään, se ei saa liikennettä, vaikka sen Network Load Balancer jatkaa toimintaansa ja aiheuttaa kustannuksia.
Yhdistämällä läheisyyden, kapasiteetin ja vikasignaalit yhteen käytäntöön palvelu tekee muuten käyttämättömän GPU-kapasiteetin hyödyntämisestä määrityspäätöksen erillisen verkkoprojektin sijaan.












