Modele i platformy AI
Amazon SageMaker AI dodaje ogólnie dostępny regionalny router przełączania awaryjnego

Kluczowe punktyRouter przenosi inżynierię przełączania awaryjnego do SageMaker AI, ale klienci nadal…
Zobacz więcej
- Router przenosi inżynierię przełączania awaryjnego do SageMaker AI, ale klienci nadal muszą płacić za zapasową pojemność gdzie indziej.
- Oceny kondycji ignorują opóźnienie modelu, więc punkty końcowe zwracające udane odpowiedzi zachowują swój ruch mimo powolności.
- Klienci nie mogą ustawić progów wag ani czasu przełączania awaryjnego, ponieważ router automatycznie kontroluje wszystkie decyzje dotyczące routingu.
Amazon Web Services udostępniła ogólnie funkcję routingu wnioskowania między regionami w usłudze Amazon SageMaker AI 19 listopada 2026 r. Dzięki temu aplikacje mogą wywoływać jeden router, aby uzyskać dostęp do istniejących zasobów obsługujących modele w różnych regionach i kontach AWS, gdy zaczyna brakować lokalnych zasobów.
Punkt końcowy SageMaker AI działa w jednym regionie i na jednym koncie. Gdy automatyczne skalowanie nie może dodać wymaganego typu instancji, żądania mogą być ograniczane i przekraczać limit czasu, nawet jeśli ten sam model ma wolne zasoby w innym miejscu. Klienci korzystający z zarządzanych punktów końcowych musieli wcześniej samodzielnie tworzyć routing między regionami, obejmujący wykrywanie awarii, bezpieczne ponawianie prób, obsługę przywracania działania i dostęp między kontami.
Nowy regionalny router wnioskowania używa nazwanego celu routingu dla każdego modelu logicznego. Cel może łączyć punkty końcowe działające w czasie rzeczywistym i komponenty wnioskowania w różnych regionach i na różnych kontach albo obejmować wyłącznie asynchroniczne punkty końcowe. Aplikacja wywołuje cel za pośrednictwem routera. Modele, konfiguracje punktów końcowych, pule instancji, kontenery i automatyczne skalowanie pozostają bez zmian, a bezpośrednie InvokeEndpoint wywołania nadal działają. Router nie tworzy zasobów, nie wdraża modeli ani nie skaluje punktów końcowych, dlatego każdy cel musi już działać w swoim regionie.
Sygnały o stanie zdrowia sterują przełączaniem awaryjnym
Router preferuje sprawne cele we własnym regionie i równomiernie rozdziela żądania między wiele sprawnych lokalnych celów. Ocena stanu zdrowia jest obliczana na podstawie ostatnich żądań mierzonych w regionie każdego celu: obniżają ją błędy serwera, ograniczenia liczby żądań i przekroczenia limitu czasu, przy czym największy wpływ mają błędy platformy; nie uwzględnia się natomiast awarii spowodowanych przez żądanie, takich jak nieprawidłowe dane wejściowe. Opóźnienie modelu nie jest brane pod uwagę, więc punkt końcowy, który nadal zwraca poprawne odpowiedzi, zachowuje obsługiwany ruch. SageMaker AI publikuje healthy, overloaded oraz degraded stany w CloudWatch; przeciążone cele tracą część ruchu, a do celów o obniżonej sprawności kierowana jest jedynie niewielka jego część, aby router mógł wykryć poprawę.
AWS informuje, że ruch zaczyna być przekierowywany w ciągu około minuty od utrzymywania się błędów, a w przypadku celów o niewielkim ruchu może to nastąpić później; po przywróceniu sprawności ruch wraca w ciągu kilku minut. Klienci nie mogą ustawiać wag, kolejności celów zapasowych, progów ani czasu przełączenia awaryjnego. Jeśli dane o stanie zdalnych celów staną się nieaktualne, router utrzymuje ruch we własnym regionie.
Ponawianie prób jest bardziej ograniczone w przypadku wnioskowania w czasie rzeczywistym. Router podejmuje jedną dodatkową próbę, kierując żądanie do innego celu, tylko wtedy, gdy model nie został uruchomiony — na przykład po ograniczeniu liczby żądań, błędzie 503, gdy model nie jest gotowy, po odrzuceniu z powodu limitu ruchu lub odmowie dostępu do celu. Nigdy nie ponawia prób w przypadku przekroczenia limitu czasu, błędów 500 ani błędów modelu. Żądania asynchroniczne są wysyłane po jednej próbie do każdego kwalifikującego się celu, najpierw do celów lokalnych, aż któryś z nich je zaakceptuje.
Każda odpowiedź dotycząca wnioskowania w czasie rzeczywistym wskazuje obsługujący ją cel w InvokedRoutedResourceArn i zawiera RoutingReason z local-preferred, capacity-available, failover lub only-healthy. Metryki OpenTelemetry w CloudWatch obejmują liczbę żądań i błędów dla poszczególnych celów, czas obsługi przez cel, narzut związany z routerem i siecią między regionami oraz stan zdrowia. Odpowiedzi asynchroniczne nie wskazują celu, który je obsłużył, ale metryki CloudWatch pokazują, gdzie skierowano żądania.
Limity zasobów i kontrola dostępu pozostają w gestii właścicieli punktów końcowych
Przekierowanie nadmiarowego ruchu może spowodować ograniczanie liczby żądań przez odbierający go punkt końcowy. Domyślnie punkt końcowy działający w czasie rzeczywistym przyjmuje dowolną ilość ruchu z innych regionów. Opcjonalny limit pozwala jego właścicielowi określić przetestowaną pod kątem obciążenia liczbę wywołań na sekundę dla każdej instancji oraz maksymalny odsetek zasobów dostępny dla innych regionów. Przydzielony limit zależy od liczby działających instancji, w tym zmian wynikających z automatycznego skalowania. W przykładzie AWS limit 50 wywołań na sekundę na instancję, próg 20% i cztery instancje pozwalają obsłużyć 40 żądań na sekundę z innych regionów; po dodaniu dwóch instancji liczba ta wzrasta do 60.
Do limitu wliczają się tylko żądania z innych regionów, a wywołania z regionu danego punktu końcowego nigdy nie są ograniczane przez ten mechanizm. Nadmiarowe żądania są odrzucane przed uruchomieniem modelu i ponawiane raz w innym miejscu; jeśli żaden cel nie może ich przyjąć, aplikacja otrzymuje błąd ograniczenia liczby żądań. Wszystkie komponenty wnioskowania w ramach jednego punktu końcowego korzystają ze wspólnego limitu.
W przypadku celów na innych kontach oba konta muszą autoryzować żądania. Zasady punktu końcowego mogą ograniczyć dostęp do jednego wskazanego routera, a router nie przyznaje wywołującemu dostępu do punktu końcowego, którego nie mógłby wywołać bezpośrednio.
Ograniczenia wdrożenia i ceny
Usługa jest ogólnie dostępna w większości komercyjnych regionów AWS, z wyjątkiem me-south-1 i me-central-1, i obsługuje wnioskowanie w czasie rzeczywistym oraz asynchroniczne. Nie obsługuje strumieniowego przesyłania odpowiedzi. Żądania czasu rzeczywistego mają około jednej minuty na otrzymanie odpowiedzi od celu, ładunki żądań czasu rzeczywistego mogą mieć do 6 MB, a każdy router obsługuje do 20 celów routingu, z których każdy może obejmować do 10 miejsc docelowych.
Sam router działa w jednym regionie, dlatego AWS zaleca utworzenie routerów w dwóch regionach i przełączanie się między nimi po stronie klienta, aby zapewnić odporność punktu wejścia na awarie. Granice lokalizacji danych również wymagają jawnej konfiguracji, ponieważ żądanie może być przetwarzane w regionie routera lub w regionie dowolnego zarejestrowanego celu.
Nie ma dodatkowej opłaty za routing. Klienci płacą standardowe stawki za punkty końcowe SageMaker AI i komponenty wnioskowania niezależnie od tego, czy żądania są kierowane bezpośrednio, czy przez router, a także standardowe stawki CloudWatch za metryki routera i zapytania.
Uruchomienie tej funkcji przenosi obsługę przełączania awaryjnego do SageMaker AI, pozostawiając klientom kluczowy kompromis ekonomiczny związany z mocą obliczeniową: utrzymanie ciągłości usługi podczas krótkotrwałego niedoboru w jednym regionie nadal zależy od opłacenia i zapewnienia użytecznej przepustowości wnioskowania w innym.












