AI-modellen en platforms
Amazon SageMaker AI voegt router voor regionale failover toe, nu algemeen beschikbaar

Belangrijkste puntenDe router verplaatst failover-engineering naar SageMaker AI, maar klanten moeten nog…
Meer weergeven
- De router verplaatst failover-engineering naar SageMaker AI, maar klanten moeten nog steeds betalen voor reservecapaciteit elders.
- Healthscores negeren modellatentie, zodat endpoints die succesvolle responses retourneren hun verkeer behouden ondanks traagheid.
- Klanten kunnen geen gewichtsdrempels of failovertiming instellen omdat de router alle routeringsbeslissingen automatisch beheert.
Amazon Web Services heeft routering van inferentieverzoeken tussen regio’s algemeen beschikbaar gemaakt in Amazon SageMaker AI op 19 november 2026. Applicaties kunnen nu één router aanroepen om bestaande resources voor modelserving in verschillende AWS-regio’s en accounts te bereiken wanneer de lokale capaciteit ontoereikend is.
Een SageMaker AI-endpoint draait in één regio en één account. Wanneer automatisch schalen het vereiste instancetype niet kan toevoegen, kunnen verzoeken worden vertraagd door throttling en een time-out krijgen, zelfs als hetzelfde model elders ongebruikte capaciteit heeft. Klanten met beheerde endpoints moesten voorheen zelf routering tussen regio’s opzetten, inclusief foutdetectie, veilige nieuwe pogingen, herstelafhandeling en toegang tussen accounts.
De nieuwe regionale inferentierouter gebruikt voor elk logisch model een benoemd routeringsdoel. Een doel kan realtime-endpoints en inferentiecomponenten in verschillende regio’s en accounts combineren, of uitsluitend asynchrone endpoints bevatten. De applicatie roept het doel aan via de router. Modellen, endpointconfiguraties, instantiepools, containers en automatisch schalen blijven ongewijzigd, en rechtstreekse InvokeEndpoint aanroepen blijven werken. De router maakt geen capaciteit aan, implementeert geen modellen en schaalt geen endpoints, dus elke bestemming moet al actief zijn in de eigen regio.
Gezondheidssignalen sturen failover aan
De router geeft de voorkeur aan gezonde bestemmingen in de eigen regio en verdeelt verzoeken gelijkmatig over meerdere gezonde lokale bestemmingen. De gezondheidsscore is gebaseerd op recente verzoeken, gemeten in de regio van elke bestemming: serverfouten, throttling en time-outs verlagen de score, platformfouten verlagen die het sterkst en fouten die door verzoeken worden veroorzaakt, zoals ongeldige invoer, hebben geen effect. De latentie van het model telt niet mee, zodat een endpoint dat succesvolle antwoorden blijft retourneren zijn verkeer behoudt. SageMaker AI publiceert healthy, overloaded en degraded statussen naar CloudWatch; overbelaste bestemmingen verliezen een deel van hun verkeer, terwijl bestemmingen met verminderde prestaties slechts een klein deel van het verkeer behouden, zodat de router herstel kan detecteren.
AWS geeft aan dat verkeer na aanhoudende fouten binnen ongeveer een minuut wordt verplaatst, of later bij bestemmingen met weinig verkeer, en na herstel in de loop van enkele minuten terugkeert. Klanten kunnen geen gewichten, terugvalvolgorde, drempelwaarden of failovertiming instellen. Als gezondheidsinformatie over externe bestemmingen verouderd raakt, houdt de router het verkeer in de eigen regio.
Bij realtime-inferentie zijn de mogelijkheden voor opnieuw proberen beperkter. De router probeert het verzoek één keer opnieuw bij een andere bestemming, maar alleen als het model niet is uitgevoerd, bijvoorbeeld na throttling, een 503-fout, een model dat niet gereed is, een afwijzing wegens een verkeerslimiet of geweigerde toegang tot de bestemming. Bij time-outs, 500-fouten of modelfouten probeert de router het nooit opnieuw. Asynchrone verzoeken worden één keer aangeboden aan elke daarvoor in aanmerking komende bestemming, eerst aan lokale bestemmingen, totdat een bestemming het verzoek accepteert.
Elke realtime-respons vermeldt de bestemming die het verzoek verwerkt in InvokedRoutedResourceArn en bevat een RoutingReason van local-preferred, capacity-available, failover of only-healthy. OpenTelemetry-statistieken in CloudWatch bevatten gegevens per bestemming over verzoeken en fouten, de verwerkingsduur van bestemmingen, de netwerkoverhead van de router en van verkeer tussen regio’s, en de gezondheid. Asynchrone antwoorden vermelden hun bestemming niet, maar CloudWatch-statistieken laten zien waar verzoeken zijn geplaatst.
Capaciteit en toegangsbeheer blijven in handen van endpointbeheerders
Overloopverkeer kan ertoe leiden dat een ontvangend endpoint verzoeken gaat afwijzen wegens throttling. Standaard accepteert een realtime-endpoint elke hoeveelheid verkeer uit andere regio’s. Met een optionele limiet kan de eigenaar een op basis van belastingtests vastgestelde aanroeplimiet per instantie instellen, evenals het maximale percentage dat voor andere regio’s beschikbaar is. De resulterende toegestane hoeveelheid is afhankelijk van het aantal actieve instanties, inclusief wijzigingen als gevolg van automatisch schalen. In het voorbeeld van AWS staan 50 aanroepen per seconde per instantie, een limiet van 20% en vier instanties samen 40 verzoeken per seconde uit andere regio’s toe. Als er twee instanties bijkomen, stijgt dit naar 60.
Alleen verzoeken uit andere regio’s tellen mee voor die limiet; aanroepen vanuit de eigen regio van het endpoint worden nooit via dit mechanisme vertraagd of afgewezen. Overtollige verzoeken worden afgewezen voordat het model wordt uitgevoerd en worden één keer opnieuw geprobeerd bij een andere bestemming. Als geen enkele bestemming ze kan accepteren, ontvangt de applicatie een throttlingfout. Alle inferentiecomponenten op een endpoint delen de limiet.
Voor bestemmingen in andere accounts moeten beide accounts verzoeken autoriseren. Een endpointbeleid kan de toegang beperken tot één benoemde router, en de router verleent een aanroeper geen toegang tot een endpoint dat deze niet rechtstreeks zou kunnen aanroepen.
Beperkingen voor implementatie en prijzen
De service is algemeen beschikbaar in de meeste commerciële AWS-regio’s, met uitzondering van me-south-1 en me-central-1, voor realtime- en asynchrone inferentie. Streaming van antwoorden wordt niet ondersteund. Realtime-verzoeken hebben ongeveer één minuut om een antwoord van een bestemming te ontvangen, realtime-payloads kunnen maximaal 6 MB groot zijn en elke router ondersteunt maximaal 20 routeringsdoelen, met maximaal 10 bestemmingen per doel.
De router zelf is regionaal. Daarom raadt AWS aan routers in twee regio’s aan te maken en client-side tussen die routers te schakelen voor een veerkrachtig toegangspunt. Ook moeten grenzen voor gegevensresidentie expliciet worden ingesteld, omdat een verzoek kan worden verwerkt in de regio van de router of in de regio van een geregistreerde bestemming.
Er worden geen extra routeringskosten in rekening gebracht. Klanten betalen de standaardtarieven voor SageMaker AI-endpoints en inferentiecomponenten, ongeacht of aanvragen rechtstreeks of via een router binnenkomen, plus de standaardtarieven van CloudWatch voor routerstatistieken en query’s.
De lancering verplaatst de technische afhandeling van failover naar SageMaker AI. De centrale afweging rond de kosten van rekenkracht blijft bij de klanten: ook als één regio tijdelijk onvoldoende capaciteit heeft, is voortzetting van de dienstverlening afhankelijk van het betalen voor en beschikbaar hebben van bruikbare inferentiecapaciteit in een andere regio.












