AI-modeller og plattformer
Amazon SageMaker AI gjør regional failover-ruter allment tilgjengelig

Viktige punkterRuteren flytter failover-ingeniørarbeid til SageMaker AI, men kundene må fortsatt…
Vis mer
- Ruteren flytter failover-ingeniørarbeid til SageMaker AI, men kundene må fortsatt betale for reservekapasitet andre steder.
- Helsescore ignorerer modellatensitet, så endepunkter som returnerer vellykkede svar beholder trafikken sin til tross for treghet.
- Kundene kan ikke sette vektsterskler eller failover-tidspunkt fordi ruteren kontrollerer alle rutingbeslutninger automatisk.
Amazon Web Services gjorde inferensruting på tvers av regioner allment tilgjengelig i Amazon SageMaker AI 19. november 2026. Dermed kan applikasjoner bruke én ruter for å nå eksisterende ressurser for modellservering på tvers av AWS-regioner og kontoer når den lokale kapasiteten ikke strekker til.
Et SageMaker AI-endepunkt kjører i én region og én konto. Når autoskalering ikke kan legge til den nødvendige instanstypen, kan forespørsler bli strupet og få tidsavbrudd, selv om den samme modellen har ledig kapasitet et annet sted. Kunder som brukte administrerte endepunkter, måtte tidligere bygge sin egen ruting på tvers av regioner, inkludert feildeteksjon, sikre nye forsøk, håndtering av gjenoppretting og tilgang på tvers av kontoer.
Den nye regionale inferensruteren bruker et navngitt rutingsmål for hver logiske modell. Et mål kan kombinere sanntidsendepunkter og inferenskomponenter på tvers av regioner og kontoer, eller bare inneholde asynkrone endepunkter. Applikasjonen kaller målet via ruteren. Modeller, endepunktkonfigurasjoner, instansgrupper, containere og autoskalering forblir uendret, og direkte InvokeEndpoint anrop fortsetter å fungere. Ruteren oppretter ikke kapasitet, distribuerer ikke modeller og skalerer ikke endepunkter, så alle destinasjoner må allerede være i drift i sin region.
Helsetilstandssignaler styrer failover
Ruteren foretrekker friske destinasjoner i sin egen region og fordeler forespørsler jevnt mellom flere friske lokale destinasjoner. Helsetilstandspoengsummen bygger på nylige forespørsler målt i hver destinasjons region: serverfeil, struping og tidsavbrudd reduserer poengsummen, plattformfeil reduserer den mest, mens feil som skyldes forespørselen, for eksempel ugyldige inndata, ikke påvirker den. Modellens ventetid regnes ikke med, så et endepunkt som fortsetter å returnere vellykkede svar, beholder trafikken sin. SageMaker AI publiserer healthy, overloaded og degraded tilstander til CloudWatch; overbelastede destinasjoner mister en del av trafikken, mens destinasjoner med redusert ytelse bare beholder en liten andel, slik at ruteren kan oppdage når de er tilbake i normal drift.
AWS opplyser at trafikken begynner å flyttes innen omtrent ett minutt med vedvarende feil, eller senere for destinasjoner med lite trafikk, og at den flyttes tilbake over flere minutter etter gjenoppretting. Kundene kan ikke angi vekter, reserveprioritet, terskler eller tidspunkt for failover. Hvis helseinformasjonen om eksterne destinasjoner blir utdatert, beholder ruteren trafikken i sin egen region.
Muligheten for nye forsøk er mer begrenset ved inferens i sanntid. Ruteren gjør ett nytt forsøk mot en annen destinasjon bare når modellen ikke ble kjørt, blant annet etter struping, en 503-feil, en modell som ikke er klar, avvisning på grunn av trafikkgrense eller nektet tilgang til destinasjonen. Den prøver aldri på nytt etter tidsavbrudd, 500-feil eller modellfeil. Asynkrone forespørsler prøves én gang på hver kvalifiserte destinasjon, først på lokale destinasjoner, til én av dem godtar forespørselen.
Hvert sanntidssvar identifiserer destinasjonen som leverte svaret i InvokedRoutedResourceArn og oppgir en RoutingReason av local-preferred, capacity-available, failover eller only-healthy. OpenTelemetry-målinger i CloudWatch omfatter antall forespørsler og feil per destinasjon, varighet per destinasjon, overhead fra ruteren og nettverket på tvers av regioner samt helsetilstand. Asynkrone svar oppgir ikke destinasjonen, men CloudWatch-målinger viser hvor forespørslene ble sendt.
Kapasitet og tilgangskontroller forblir hos eierne av endepunktene
Overflyt kan føre til at et mottakende endepunkt blir strupet. Som standard godtar et sanntidsendepunkt alle mengder trafikk på tvers av regioner. Med en valgfri grense kan eieren angi en belastningstestet anropsrate per instans og den maksimale prosentandelen som er tilgjengelig for andre regioner. Den tillatte mengden følger antallet instanser som er i drift, også når dette endres som følge av autoskalering. I AWS’ eksempel tillater 50 anrop per sekund per instans, en grense på 20 % og fire instanser 40 forespørsler per sekund på tvers av regioner. Når to instanser legges til, øker kapasiteten til 60 forespørsler per sekund.
Bare forespørsler fra andre regioner regnes med mot denne grensen, og anrop fra endepunktets egen region strupes aldri av denne mekanismen. Forespørsler utover grensen avvises før modellen kjøres, og prøves én gang til et annet sted. Hvis ingen destinasjon kan godta dem, får applikasjonen en strupingsfeil. Alle inferenskomponenter på et endepunkt deler grensen.
For destinasjoner på tvers av kontoer må begge kontoene godkjenne forespørsler. En endepunktspolicy kan begrense tilgangen til én navngitt ruter, og ruteren gir ikke en bruker tilgang til et endepunkt som vedkommende ikke kunne ha kalt direkte.
Begrensninger for utrulling og priser
Tjenesten er allment tilgjengelig for inferens i sanntid og asynkron inferens i de fleste kommersielle AWS-regioner, bortsett fra me-south-1 og me-central-1. Den støtter ikke strømming av svar. Sanntidsforespørsler har omtrent ett minutt på seg til å motta et svar fra en destinasjon, nyttelasten for sanntidsforespørsler kan være opptil 6 MB, og hver ruter støtter opptil 20 rutingsmål med opptil 10 destinasjoner per mål.
Selve ruteren er regional, så AWS anbefaler å opprette rutere i to regioner og bytte mellom dem på klientsiden for å sikre robusthet for inngangspunktet. Grenser for datalagring i bestemte regioner må også konfigureres eksplisitt, fordi en forespørsel kan behandles i ruterens region eller i regionen til en hvilken som helst registrert destinasjon.
Det påløper ingen ekstra kostnader for ruting. Kundene betaler standardprisene for SageMaker AI-endepunkter og inferenskomponenter, enten forespørslene kommer direkte eller via en ruter, i tillegg til standardprisene for CloudWatch-målinger og -spørringer for ruteren.
Med lanseringen flyttes arbeidet med å utvikle failover-løsninger inn i SageMaker AI, mens den sentrale kostnadsavveiningen knyttet til databehandling fortsatt ligger hos kundene: Fortsatt tjenestetilgjengelighet ved kapasitetsmangel i én region avhenger fortsatt av at de betaler for og plasserer brukbar inferenskapasitet i en annen.












