AI-modeller og platforme
Amazon SageMaker AI tilføjer en regional failover-router, der nu er generelt tilgængelig

NøglepunkterRouteren flytter failover-engineering over i SageMaker AI, men kunderne skal stadig…
Vis mere
- Routeren flytter failover-engineering over i SageMaker AI, men kunderne skal stadig betale for reservekapacitet andre steder.
- Sundhedsscorer ignorerer modellatens, så endpoints, der returnerer vellykkede svar, beholder deres trafik på trods af langsomhed.
- Kunderne kan ikke indstille vægtningstærskler eller failover-timing, fordi routeren styrer alle routingbeslutninger automatisk.
Amazon Web Services gjorde routing af inferens på tværs af regioner generelt tilgængelig i Amazon SageMaker AI den 19. november 2026, så applikationer kan bruge én router til at få adgang til eksisterende ressourcer til modelbetjening på tværs af AWS-regioner og konti, når den lokale kapacitet slipper op.
Et SageMaker AI-endpoint kører i én region og på én konto. Når autoskalering ikke kan tilføje den nødvendige instanstype, kan anmodninger blive hastighedsbegrænset og få timeout, selvom den samme model har ledig kapacitet andre steder. Kunder, der brugte administrerede endpoints, måtte tidligere selv etablere routing på tværs af regioner, herunder fejldetektering, sikre gentagne forsøg, håndtering af genoprettelse og adgang på tværs af konti.
Den nye regionale inferensrouter bruger et navngivet routingmål for hver logisk model. Et mål kan kombinere realtid-endpoints og inferenskomponenter på tværs af regioner og konti eller kun indeholde asynkrone endpoints. Applikationen kalder målet via routeren. Modeller, endpointkonfigurationer, instanspuljer, containere og autoskalering forbliver uændrede, og direkte InvokeEndpoint kald fungerer fortsat. Routeren opretter ikke kapacitet, udruller ikke modeller og skalerer ikke endpoints, så hver destination skal allerede køre i sin region.
Sundhedssignaler styrer failover
Routeren foretrækker sunde destinationer i sin egen region og fordeler anmodninger jævnt mellem flere sunde lokale destinationer. Dens sundhedsscore beregnes ud fra nylige anmodninger målt i hver destinations region: serverfejl, hastighedsbegrænsninger og timeouts sænker scoren, platformfejl sænker den mest, og fejl, der skyldes anmodningen, såsom ugyldige input, påvirker den ikke. Modellens latenstid indgår ikke, så et endpoint, der fortsat returnerer vellykkede svar, beholder sin trafik. SageMaker AI offentliggør healthy, overloaded og degraded tilstande i CloudWatch; overbelastede destinationer mister en del af deres trafik, mens forringede destinationer kun beholder en lille andel af trafikken, så routeren kan registrere, når de kommer sig.
AWS oplyser, at trafikken begynder at blive flyttet inden for cirka et minut efter vedvarende fejl, eller senere for destinationer med lav trafik, og vender tilbage over flere minutter, når destinationen er genoprettet. Kunder kan ikke angive vægte, rækkefølgen for reservevalg, tærskler eller tidspunktet for failover. Hvis sundhedsoplysninger om fjerndestinationer bliver forældede, holder routeren trafikken i sin egen region.
Mulighederne for gentagne forsøg er mere begrænsede ved inferens i realtid. Routeren foretager ét nyt forsøg mod en anden destination, men kun hvis modellen ikke blev kørt, herunder efter en hastighedsbegrænsning, en 503-fejl, en model, der ikke er klar, afvisning på grund af en trafikgrænse eller afvist adgang til destinationen. Den forsøger aldrig igen ved timeouts, 500-fejl eller modelfejl. Asynkrone anmodninger afprøves én gang på hver kvalificeret destination, først de lokale, indtil en accepterer anmodningen.
Hvert realtidssvar angiver den destination, der behandler anmodningen, i InvokedRoutedResourceArn og indeholder en RoutingReason af local-preferred, capacity-available, failover eller only-healthy. OpenTelemetry-målinger i CloudWatch tilføjer oplysninger om anmodninger og fejl pr. destination, destinationsvarighed, router- og netværksomkostninger ved trafik på tværs af regioner samt sundhedstilstand. Asynkrone svar angiver ikke destinationen, men CloudWatch-målinger viser, hvor anmodningerne blev placeret.
Kapacitet og adgangskontrol forbliver hos endpoint-ejerne
Overskydende trafik kan medføre hastighedsbegrænsning på et modtagende endpoint. Som standard accepterer et realtid-endpoint enhver mængde trafik på tværs af regioner. Ejeren kan vælge at sætte et loft for den belastningstestede kaldhastighed pr. instans og den maksimale procentdel, der er tilgængelig for andre regioner. Den tilladte mængde følger antallet af instanser i drift, herunder ændringer som følge af autoskalering. I AWS’ eksempel tillader 50 kald pr. sekund pr. instans, et loft på 20 % og fire instanser 40 anmodninger pr. sekund på tværs af regioner; tallet stiger til 60, når der tilføjes to instanser.
Kun anmodninger fra andre regioner tæller med i loftet, og kald fra endpointets egen region begrænses aldrig af denne mekanisme. Overskydende anmodninger afvises, før modellen køres, og forsøges én gang mere et andet sted; hvis ingen destination kan acceptere dem, modtager applikationen en fejl om hastighedsbegrænsning. Alle inferenskomponenter på et endpoint deler loftet.
For destinationer på tværs af konti skal begge konti godkende anmodningerne. En endpointpolitik kan begrænse adgangen til én navngiven router, og routeren giver ikke en kalder adgang til et endpoint, som vedkommende ikke ville kunne kalde direkte.
Begrænsninger for udrulning og priser
Tjenesten er generelt tilgængelig i de fleste kommercielle AWS-regioner, bortset fra me-south-1 og me-central-1, til inferens i realtid og asynkron inferens. Den understøtter ikke streaming af svar. Realtidsanmodninger har cirka ét minut til at modtage et svar fra destinationen, realtidspayloads kan være op til 6 MB, og hver router understøtter op til 20 routingmål med op til 10 destinationer pr. mål.
Routeren er regional, så AWS anbefaler, at man opretter routere i to regioner og skifter mellem dem på klientsiden for at sikre robusthed ved indgangspunktet. Grænser for datalokalitet kræver også eksplicit konfiguration, fordi en anmodning kan blive behandlet i routerens region eller i en hvilken som helst registreret destinations region.
Der opkræves ikke ekstra betaling for routing. Kunder betaler de sædvanlige takster for SageMaker AI-endpoints og inferenskomponenter, uanset om forespørgslerne sendes direkte eller via en router, samt de sædvanlige CloudWatch-takster for routermålinger og forespørgsler.
Lanceringen flytter arbejdet med at udvikle failoverløsninger over i SageMaker AI, mens kunderne fortsat selv må håndtere den grundlæggende afvejning i beregningsøkonomien: Vedvarende drift under kapacitetsmangel i én region afhænger stadig af, at man betaler for og placerer brugbar inferenskapacitet i en anden.












