Modely a platformy AI

Amazon SageMaker AI přidává regionální směrovač pro přepnutí při výpadku, který je nyní obecně dostupný

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyRouter přesouvá inženýrství převzetí při selhání do SageMaker AI, ale zákazníci stále…
Zobrazit více
  • Router přesouvá inženýrství převzetí při selhání do SageMaker AI, ale zákazníci stále musí platit za rezervní kapacitu jinde.
  • Skóre stavu ignorují latenci modelu, takže koncové body vracející úspěšné odpovědi si udržují svůj provoz i přes pomalost.
  • Zákazníci nemohou nastavit prahové hodnoty vah ani načasování převzetí při selhání, protože router řídí všechna rozhodnutí o směrování automaticky.

Společnost Amazon Web Services zpřístupnila směrování inferencí mezi regiony v Amazon SageMaker AI dne 19. listopadu 2026. Aplikace tak mohou volat jediný směrovač, který je připojí ke stávajícím prostředkům pro obsluhu modelů napříč regiony a účty AWS, pokud v místním prostředí dojde kapacita.

Koncový bod SageMaker AI běží v jednom regionu a jednom účtu. Pokud automatické škálování nedokáže přidat požadovaný typ instance, může docházet k omezování požadavků a jejich vypršení, i když je pro stejný model jinde volná kapacita. Zákazníci, kteří používali spravované koncové body, si dříve museli sami vytvořit směrování mezi regiony, včetně detekce výpadků, bezpečného opakování požadavků, zajištění obnovy a přístupu napříč účty.

Nový regionální směrovač inferencí používá pro každý logický model pojmenovaný cíl směrování. Cíl může kombinovat koncové body pro inferenci v reálném čase a inferenční komponenty napříč regiony a účty, nebo může obsahovat pouze asynchronní koncové body. Aplikace cíl volá prostřednictvím směrovače. Modely, konfigurace koncových bodů, fondy instancí, kontejnery ani automatické škálování se nemění a přímá InvokeEndpoint volání nadále fungují. Směrovač nevytváří kapacitu, nenasazuje modely ani neškáluje koncové body, takže každý cíl musí být ve svém regionu již spuštěný.

Přepnutí při výpadku se řídí signály o stavu

Směrovač upřednostňuje zdravé cíle ve vlastním regionu a rovnoměrně rozděluje požadavky mezi několik zdravých místních cílů. Jeho skóre stavu vychází z nedávných požadavků měřených v regionu každého cíle: snižují ho chyby serveru, omezení požadavků a jejich vypršení, přičemž největší vliv mají chyby platformy; selhání způsobená požadavkem, například neplatným vstupem, se do něj nezapočítávají. Latence modelu se nezohledňuje, takže koncový bod, který dál vrací úspěšné odpovědi, si zachovává svůj provoz. SageMaker AI zveřejňuje healthy, overloaded a degraded stavové údaje v CloudWatch; přetížené cíle přicházejí o část provozu, zatímco zhoršené cíle si ponechávají jen malý podíl provozu, aby směrovač mohl rozpoznat jejich zotavení.

AWS uvádí, že provoz se začne přesouvat přibližně do minuty od přetrvávání chyb, u cílů s malým provozem to může trvat déle, a po zotavení se během několika minut vrátí. Zákazníci nemohou nastavit váhy, pořadí záložních cílů, prahové hodnoty ani načasování přepnutí při výpadku. Pokud jsou informace o stavu vzdálených cílů zastaralé, směrovač ponechá provoz ve vlastním regionu.

Možnosti opakování požadavků jsou u inference v reálném čase omezenější. Směrovač provede jeden další pokus na jiném cíli pouze tehdy, pokud se model nespustil, například po omezení požadavků, chybě 503, neaktivním modelu, odmítnutí kvůli limitu provozu nebo odepření přístupu k cíli. Při vypršení časového limitu, chybách 500 ani chybách modelu se pokus nikdy neopakuje. Asynchronní požadavky se zkusí odeslat na každém způsobilém cíli jednou, nejprve na místních cílech, dokud je některý nepřijme.

Každá odpověď v reálném čase uvádí obsluhující cíl v InvokedRoutedResourceArn a poskytuje RoutingReason z local-preferred, capacity-available, failover nebo only-healthy. Metriky OpenTelemetry v CloudWatch navíc zahrnují počet požadavků a chyb pro jednotlivé cíle, dobu trvání na cíli, režii směrovače a síťovou režii při komunikaci mezi regiony a také informace o stavu. Asynchronní odpovědi neuvádějí, který cíl je obsloužil, ale metriky CloudWatch ukazují, kam byly požadavky směrovány.

Kapacitu a řízení přístupu mají na starosti vlastníci koncových bodů

Přesměrování nadbytečného provozu může způsobit omezení požadavků na přijímajícím koncovém bodě. Ve výchozím nastavení přijímá koncový bod pro inferenci v reálném čase libovolný objem provozu z jiných regionů. Volitelný limit umožňuje jeho vlastníkovi nastavit zátěžově otestovanou rychlost volání na instanci a maximální procentní podíl kapacity dostupný ostatním regionům. Povolený objem se mění podle počtu aktivních instancí, včetně změn způsobených automatickým škálováním. V příkladu AWS umožňuje 50 volání za sekundu na instanci, limit 20 % a čtyři instance zpracovat 40 požadavků za sekundu z jiných regionů; po přidání dvou instancí se tento počet zvýší na 60.

Do tohoto limitu se započítávají pouze požadavky z jiných regionů a volání z regionu samotného koncového bodu se tímto mechanismem nikdy neomezují. Nadbytečné požadavky se odmítnou ještě před spuštěním modelu a jednou se zkusí odeslat jinam; pokud je žádný cíl nemůže přijmout, aplikace obdrží chybu omezení požadavků. Všechny inferenční komponenty na jednom koncovém bodě sdílejí stejný limit.

U cílů v jiných účtech musí požadavky povolit oba účty. Zásady koncového bodu mohou omezit přístup na jeden konkrétně určený směrovač a směrovač volajícímu neuděluje přístup ke koncovému bodu, který by nemohl volat přímo.

Omezení nasazení a ceny

Služba je obecně dostupná pro inferenci v reálném čase i asynchronní inferenci ve většině komerčních regionů AWS kromě me-south-1 a me-central-1. Nepodporuje průběžné streamování odpovědí. Požadavky v reálném čase mají na získání odpovědi z cíle přibližně jednu minutu, jejich datová část může mít až 6 MB a každý směrovač podporuje až 20 cílů směrování, přičemž každý z nich může mít až 10 cílových míst.

Směrovač je vázán na jeden region, proto AWS doporučuje vytvořit směrovače ve dvou regionech a přepínat mezi nimi na straně klienta, aby byl vstupní bod odolnější vůči výpadkům. Hranice umístění dat je také třeba výslovně nakonfigurovat, protože požadavek může být zpracován v regionu směrovače nebo v kterémkoli regionu registrovaného cíle.

Za směrování se neúčtuje žádný další poplatek. Zákazníci platí standardní sazby za koncové body SageMaker AI a inferenční komponenty bez ohledu na to, zda požadavky přicházejí přímo, nebo přes směrovač, a navíc standardní sazby CloudWatch za metriky a dotazy směrovače.

Toto uvedení přesouvá technické řešení přepnutí při výpadku do SageMaker AI a ponechává na zákaznících zásadní kompromis v ekonomice výpočetního výkonu: zachování provozu při nedostatku kapacity v jednom regionu stále závisí na tom, zda si zákazníci v jiném regionu zaplatí a připraví využitelnou inferenční kapacitu.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.