AI-modellen en platforms

Amazon SageMaker AI voegt router voor regionale failover toe, nu algemeen beschikbaar

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenDe router verplaatst failover-engineering naar SageMaker AI, maar klanten moeten nog…
Meer weergeven
  • De router verplaatst failover-engineering naar SageMaker AI, maar klanten moeten nog steeds betalen voor reservecapaciteit elders.
  • Healthscores negeren modellatentie, zodat endpoints die succesvolle responses retourneren hun verkeer behouden ondanks traagheid.
  • Klanten kunnen geen gewichtsdrempels of failovertiming instellen omdat de router alle routeringsbeslissingen automatisch beheert.

Amazon Web Services heeft routering van inferentieverzoeken tussen regio’s algemeen beschikbaar gemaakt in Amazon SageMaker AI op 19 november 2026. Applicaties kunnen nu één router aanroepen om bestaande resources voor modelserving in verschillende AWS-regio’s en accounts te bereiken wanneer de lokale capaciteit ontoereikend is.

Een SageMaker AI-endpoint draait in één regio en één account. Wanneer automatisch schalen het vereiste instancetype niet kan toevoegen, kunnen verzoeken worden vertraagd door throttling en een time-out krijgen, zelfs als hetzelfde model elders ongebruikte capaciteit heeft. Klanten met beheerde endpoints moesten voorheen zelf routering tussen regio’s opzetten, inclusief foutdetectie, veilige nieuwe pogingen, herstelafhandeling en toegang tussen accounts.

De nieuwe regionale inferentierouter gebruikt voor elk logisch model een benoemd routeringsdoel. Een doel kan realtime-endpoints en inferentiecomponenten in verschillende regio’s en accounts combineren, of uitsluitend asynchrone endpoints bevatten. De applicatie roept het doel aan via de router. Modellen, endpointconfiguraties, instantiepools, containers en automatisch schalen blijven ongewijzigd, en rechtstreekse InvokeEndpoint aanroepen blijven werken. De router maakt geen capaciteit aan, implementeert geen modellen en schaalt geen endpoints, dus elke bestemming moet al actief zijn in de eigen regio.

Gezondheidssignalen sturen failover aan

De router geeft de voorkeur aan gezonde bestemmingen in de eigen regio en verdeelt verzoeken gelijkmatig over meerdere gezonde lokale bestemmingen. De gezondheidsscore is gebaseerd op recente verzoeken, gemeten in de regio van elke bestemming: serverfouten, throttling en time-outs verlagen de score, platformfouten verlagen die het sterkst en fouten die door verzoeken worden veroorzaakt, zoals ongeldige invoer, hebben geen effect. De latentie van het model telt niet mee, zodat een endpoint dat succesvolle antwoorden blijft retourneren zijn verkeer behoudt. SageMaker AI publiceert healthy, overloaded en degraded statussen naar CloudWatch; overbelaste bestemmingen verliezen een deel van hun verkeer, terwijl bestemmingen met verminderde prestaties slechts een klein deel van het verkeer behouden, zodat de router herstel kan detecteren.

AWS geeft aan dat verkeer na aanhoudende fouten binnen ongeveer een minuut wordt verplaatst, of later bij bestemmingen met weinig verkeer, en na herstel in de loop van enkele minuten terugkeert. Klanten kunnen geen gewichten, terugvalvolgorde, drempelwaarden of failovertiming instellen. Als gezondheidsinformatie over externe bestemmingen verouderd raakt, houdt de router het verkeer in de eigen regio.

Bij realtime-inferentie zijn de mogelijkheden voor opnieuw proberen beperkter. De router probeert het verzoek één keer opnieuw bij een andere bestemming, maar alleen als het model niet is uitgevoerd, bijvoorbeeld na throttling, een 503-fout, een model dat niet gereed is, een afwijzing wegens een verkeerslimiet of geweigerde toegang tot de bestemming. Bij time-outs, 500-fouten of modelfouten probeert de router het nooit opnieuw. Asynchrone verzoeken worden één keer aangeboden aan elke daarvoor in aanmerking komende bestemming, eerst aan lokale bestemmingen, totdat een bestemming het verzoek accepteert.

Elke realtime-respons vermeldt de bestemming die het verzoek verwerkt in InvokedRoutedResourceArn en bevat een RoutingReason van local-preferred, capacity-available, failover of only-healthy. OpenTelemetry-statistieken in CloudWatch bevatten gegevens per bestemming over verzoeken en fouten, de verwerkingsduur van bestemmingen, de netwerkoverhead van de router en van verkeer tussen regio’s, en de gezondheid. Asynchrone antwoorden vermelden hun bestemming niet, maar CloudWatch-statistieken laten zien waar verzoeken zijn geplaatst.

Capaciteit en toegangsbeheer blijven in handen van endpointbeheerders

Overloopverkeer kan ertoe leiden dat een ontvangend endpoint verzoeken gaat afwijzen wegens throttling. Standaard accepteert een realtime-endpoint elke hoeveelheid verkeer uit andere regio’s. Met een optionele limiet kan de eigenaar een op basis van belastingtests vastgestelde aanroeplimiet per instantie instellen, evenals het maximale percentage dat voor andere regio’s beschikbaar is. De resulterende toegestane hoeveelheid is afhankelijk van het aantal actieve instanties, inclusief wijzigingen als gevolg van automatisch schalen. In het voorbeeld van AWS staan 50 aanroepen per seconde per instantie, een limiet van 20% en vier instanties samen 40 verzoeken per seconde uit andere regio’s toe. Als er twee instanties bijkomen, stijgt dit naar 60.

Alleen verzoeken uit andere regio’s tellen mee voor die limiet; aanroepen vanuit de eigen regio van het endpoint worden nooit via dit mechanisme vertraagd of afgewezen. Overtollige verzoeken worden afgewezen voordat het model wordt uitgevoerd en worden één keer opnieuw geprobeerd bij een andere bestemming. Als geen enkele bestemming ze kan accepteren, ontvangt de applicatie een throttlingfout. Alle inferentiecomponenten op een endpoint delen de limiet.

Voor bestemmingen in andere accounts moeten beide accounts verzoeken autoriseren. Een endpointbeleid kan de toegang beperken tot één benoemde router, en de router verleent een aanroeper geen toegang tot een endpoint dat deze niet rechtstreeks zou kunnen aanroepen.

Beperkingen voor implementatie en prijzen

De service is algemeen beschikbaar in de meeste commerciële AWS-regio’s, met uitzondering van me-south-1 en me-central-1, voor realtime- en asynchrone inferentie. Streaming van antwoorden wordt niet ondersteund. Realtime-verzoeken hebben ongeveer één minuut om een antwoord van een bestemming te ontvangen, realtime-payloads kunnen maximaal 6 MB groot zijn en elke router ondersteunt maximaal 20 routeringsdoelen, met maximaal 10 bestemmingen per doel.

De router zelf is regionaal. Daarom raadt AWS aan routers in twee regio’s aan te maken en client-side tussen die routers te schakelen voor een veerkrachtig toegangspunt. Ook moeten grenzen voor gegevensresidentie expliciet worden ingesteld, omdat een verzoek kan worden verwerkt in de regio van de router of in de regio van een geregistreerde bestemming.

Er worden geen extra routeringskosten in rekening gebracht. Klanten betalen de standaardtarieven voor SageMaker AI-endpoints en inferentiecomponenten, ongeacht of aanvragen rechtstreeks of via een router binnenkomen, plus de standaardtarieven van CloudWatch voor routerstatistieken en query’s.

De lancering verplaatst de technische afhandeling van failover naar SageMaker AI. De centrale afweging rond de kosten van rekenkracht blijft bij de klanten: ook als één regio tijdelijk onvoldoende capaciteit heeft, is voortzetting van de dienstverlening afhankelijk van het betalen voor en beschikbaar hebben van bruikbare inferentiecapaciteit in een andere regio.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.