AI-modeller och plattformar

Amazon SageMaker AI lägger till regional failover-router som nu är allmänt tillgänglig

Theo Nash
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterRoutern flyttar redundanskonstruktionen till SageMaker AI men kunderna måste…
Visa mer
  • Routern flyttar redundanskonstruktionen till SageMaker AI men kunderna måste fortfarande betala för reservkapacitet någon annanstans.
  • Hälsopoäng ignorerar modellens latens så slutpunkter som returnerar lyckade svar behåller sin trafik trots långsamhet.
  • Kunder kan inte ställa in viktningströsklar eller tidpunkt för redundansväxling eftersom routern automatiskt styr alla routingbeslut.

Amazon Web Services gjorde routning av inferens mellan regioner allmänt tillgänglig i Amazon SageMaker AI den 19 november 2026. Det gör att applikationer kan anropa en enda router för att nå befintliga resurser för modelldrift i olika AWS-regioner och konton när den lokala kapaciteten inte räcker till.

En SageMaker AI-slutpunkt körs i en region och ett konto. När automatisk skalning inte kan lägga till den instanstyp som behövs kan förfrågningar strypas och nå tidsgränsen, även om det finns ledig kapacitet för samma modell någon annanstans. Kunder som använde hanterade slutpunkter var tidigare tvungna att bygga en egen routning mellan regioner, med bland annat feldetektering, säkra återförsök, återställningshantering och åtkomst mellan konton.

Den nya regionala inferensroutern använder ett namngivet routningsmål för varje logisk modell. Ett mål kan kombinera realtidsslutpunkter och inferenskomponenter i olika regioner och konton, eller enbart innehålla asynkrona slutpunkter. Applikationen anropar målet via routern. Modeller, slutpunktskonfigurationer, instanspooler, containrar och automatisk skalning förblir oförändrade, och direkta InvokeEndpoint anrop fortsätter att fungera. Routern skapar inte kapacitet, distribuerar inte modeller och skalar inte slutpunkter, så varje destination måste redan vara igång i sin region.

Hälsosignaler styr failover

Routern prioriterar friska destinationer i den egna regionen och fördelar förfrågningarna jämnt mellan flera friska lokala destinationer. Hälsopoängen baseras på de senaste förfrågningarna i varje destinations region: serverfel, strypningar och tidsgränser sänker poängen, plattformsfel sänker den mest, medan fel som orsakas av förfrågningen, till exempel ogiltiga indata, inte påverkar den. Modellens svarstid räknas inte in, så en slutpunkt som fortsätter att skicka lyckade svar behåller sin trafik. SageMaker AI publicerar healthy, overloaded och degraded statusar till CloudWatch. Överbelastade destinationer förlorar en del av sin trafik, medan försämrade destinationer bara behåller en liten andel, så att routern kan upptäcka när de återhämtar sig.

Enligt AWS börjar trafiken flyttas inom ungefär en minut vid ihållande fel, eller senare för destinationer med liten trafik, och återgår under loppet av flera minuter efter återhämtning. Kunder kan inte ange vikter, reservordning, tröskelvärden eller tidpunkt för failover. Om hälsoinformationen för fjärrdestinationer blir inaktuell behåller routern trafiken i den egna regionen.

Möjligheterna till återförsök är mer begränsade vid inferens i realtid. Routern gör ett andra försök mot en annan destination endast om modellen inte kördes, till exempel efter strypning, ett 503-fel, en modell som inte är redo, avvisning på grund av en trafikgräns eller nekad åtkomst till destinationen. Den gör aldrig om försök som nått en tidsgräns eller gett 500-fel eller modellfel. Asynkrona förfrågningar provas en gång på varje behörig destination, med lokala destinationer först, tills någon godkänner förfrågan.

Varje realtidssvar identifierar destinationen som hanterade förfrågan i InvokedRoutedResourceArn och innehåller en RoutingReason av local-preferred, capacity-available, failover eller only-healthy. OpenTelemetry-mått i CloudWatch omfattar antal förfrågningar och fel per destination, destinationens varaktighet, omkostnader för routern och nätverkstrafik mellan regioner samt hälsa. Asynkrona svar anger inte destinationen, men CloudWatch-mått visar var förfrågningarna placerades.

Kapacitet och åtkomstkontroller ligger kvar hos slutpunktsägarna

Överflödig trafik kan överbelasta en mottagande slutpunkt och leda till strypning. Som standard tar en realtidsslutpunkt emot obegränsad trafik från andra regioner. Ägaren kan ange ett valfritt tak, med en belastningstestad anropsfrekvens per instans och den högsta andel som får användas av andra regioner. Den tillåtna mängden följer antalet instanser i drift, inklusive ändringar till följd av automatisk skalning. I AWS exempel tillåter 50 anrop per sekund och instans, ett tak på 20 % och fyra instanser 40 förfrågningar per sekund från andra regioner. När två instanser läggs till ökar tillåtelsen till 60.

Endast förfrågningar från andra regioner räknas mot taket, och anrop från slutpunktens egen region stryps aldrig med den här mekanismen. Överskjutande förfrågningar avvisas innan modellen körs och görs om en gång någon annanstans. Om ingen destination kan ta emot dem får applikationen ett strypningsfel. Alla inferenskomponenter på en slutpunkt delar på taket.

För destinationer i andra konton måste båda kontona godkänna förfrågningarna. En slutpunktspolicy kan begränsa åtkomsten till en namngiven router, och routern ger inte anroparen åtkomst till en slutpunkt som denne inte skulle kunna anropa direkt.

Begränsningar för driftsättning och prissättning

Tjänsten är allmänt tillgänglig för inferens i realtid och asynkron inferens i de flesta kommersiella AWS-regioner, utom me-south-1 och me-central-1. Den stöder inte strömning av svar. Realtidsförfrågningar har ungefär en minut på sig att få svar från en destination. Realtidsnyttolaster kan vara upp till 6 MB, och varje router stöder upp till 20 routningsmål med upp till 10 destinationer per mål.

Själva routern är regional, så AWS rekommenderar att skapa routrar i två regioner och växla mellan dem på klientsidan för att säkerställa en tålig ingångspunkt. Gränser för datalagring och datahantering måste också konfigureras uttryckligen, eftersom en förfrågan kan behandlas i routerns region eller i regionen för vilken registrerad destination som helst.

Det tillkommer ingen extra avgift för routning. Kunder betalar ordinarie priser för SageMaker AI-slutpunkter och inferenskomponenter, oavsett om förfrågningarna kommer direkt eller via en router, samt ordinarie CloudWatch-priser för routerns mätvärden och frågor.

Lanseringen flyttar arbetet med att konstruera redundanslösningar till SageMaker AI, medan den grundläggande avvägningen kring beräkningsekonomi fortfarande ligger hos kunderna: fortsatt drift vid en kapacitetsbrist i en region förutsätter fortfarande att man betalar för och placerar användbar inferenskapacitet i en annan.

Theo Nash är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, som täcker AI‑infrastruktur, beräkning och hårdvarusystemen som driver modern artificiell intelligens. Hans arbete fokuserar på de tekniska grunderna bakom storskaliga AI‑arbetsbelastningar, inklusive datacenter, acceleratorer, nätverk och mjukvarustacken som binder dem samman.

Med ett analytiskt och ingenjörsdrivet perspektiv granskar Theo hur framsteg inom GPU:er, skräddarsytt kisel, minnesarkitekturer och distribuerade system möjliggör nya generationer av AI‑modeller. Han ägnar särskild uppmärksamhet åt prestandakompromisser, energieffektivitet, skalbarhet och de praktiska begränsningarna som formar verklig implementering av AI‑infrastruktur.

Artiklar skrivna av Theo Nash är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa teknisk noggrannhet, tydlighet och ansvarsfull täckning av det snabbt föränderliga AI‑beräkningslandskapet.