Modele i platformy AI
AWS kieruje ruch wnioskowania HyperPod między regionami z jednego punktu końcowego

Kluczowe punktyGlobalna brama dodaje warstwę wyboru klastra ponad istniejącym routingiem Inference…
Zobacz więcej
- Globalna brama dodaje warstwę wyboru klastra ponad istniejącym routingiem Inference Gateway na poziomie podów.
- Operatorzy dostrajają cztery ważone sygnały, w tym RegionProximity o wartości 0,40, aby zrównoważyć opóźnienie i odporność.
- AWS podaje, że brama nie rejestruje ani nie przechowuje promptów ani uzupełnień i kieruje ruch wyłącznie przez PrivateLink.
20 listopada 2026 r. AWS wprowadził globalną bramę wnioskowania Amazon SageMaker HyperPod, udostępniając klientom jeden zarządzany punkt końcowy do obsługi żądań wnioskowania w zarejestrowanych klastrach HyperPod w jednym regionie AWS lub w wielu regionach. Usługa wybiera klaster na podstawie sygnałów dotyczących pojemności, kolejki, odległości i błędów, a gdy klaster staje się niedostępny, automatycznie przełącza ruch na inny.
Ta premiera wprowadza drugi poziom routingu, działający ponad istniejącą bramą wnioskowania SageMaker HyperPod. Brama na poziomie klastra nadal wybiera poszczególne zasobniki modeli na podstawie takich sygnałów jak wykorzystanie pamięci podręcznej klucz-wartość (KV) i długość kolejki. Nowy, globalny poziom najpierw wybiera klaster, nie zmieniając przy tym sposobu wyboru zasobnika.
AWS rozwiązuje problem niewykorzystanej mocy obliczeniowej: żądania mogą czekać w kolejce w przeciążonym klastrze, podczas gdy już udostępnione procesory GPU pozostają bezczynne gdzie indziej. W przykładzie AWS cztery modele obsługiwane w pięciu klastrach w dwóch regionach wymagają od klientów śledzenia 20 punktów końcowych, jeśli obsługują każdy model osobno. Bramy na poziomie klastrów zmniejszają tę liczbę do pięciu, a globalna brama zapewnia jeden punkt końcowy. Zarządzany poziom eliminuje konieczność tworzenia i utrzymywania modułów równoważenia obciążenia, systemu DNS oraz sieci między regionami na potrzeby tego routingu, a także umożliwia przekierowanie szczytowego ruchu do klastrów z dostępną mocą obliczeniową.
Konfigurowalny wybór klastra
Operator publikuje każdy uczestniczący klaster, włączając spec.globalRouting w jego istniejącym InferenceGatewayConfig, a następnie wywołuje CreateGlobalInferenceGateway z klastrami, które mają zostać zgrupowane. Publikacja tworzy w koncie klienta moduł Network Load Balancer, punkt końcowy usługi wirtualnej chmury prywatnej (VPC) oraz zasoby certyfikatów. Nieopublikowanego klastra nie można dodać.
Klienci wysyłają do regionalnego punktu końcowego żądania zgodne z OpenAI, podpisane przy użyciu AWS Signature Version 4 (SigV4). Brama uwierzytelnia nadawcę i wybiera sprawny klaster, AWS PrivateLink przesyła żądanie w obrębie regionu lub między regionami, a brama wnioskowania klastra wybiera zasobnik modelu. SageMaker obsługuje flotę routingu, prywatne punkty końcowe, weryfikację certyfikatów, kontrole stanu, uwierzytelnianie i ograniczanie liczby żądań; zarządzany przez usługę moduł publikujący w każdym klastrze dostarcza dane o obciążeniu.
W przypadku każdego żądania brama ocenia sprawne klastry na podstawie czterech konfigurowalnych sygnałów:
| Sygnał | Co mierzy | Waga domyślna |
|---|---|---|
KVHeadroom |
Dostępna pamięć podręczna KV i pamięć GPU w klastrze | 0.20 |
QueueDepth |
Stopień obciążenia klastra | 0.25 |
RegionProximity |
Odległość między klastrem a regionem bramy | 0.40 |
ErrorRate |
Niedawne nieudane żądania w klastrze | 0.15 |
Klienci, którzy zmieniają wartości domyślne, muszą ustawić wszystkie cztery wagi na wartości od 0,0 do 1,0, których suma wynosi 1,0; sygnał można wyłączyć, przypisując mu wartość zero. UpdateGlobalInferenceGateway zmienia wagi stosowane przy nowych żądaniach bez konieczności ponownego udostępniania zasobów, a żądania będące w trakcie obsługi są realizowane z użyciem poprzednich ustawień. AWS informuje, że w przypadku obciążeń, w których odporność ma wyższy priorytet niż bliskość, można zwiększyć ErrorRate i zmniejszyć RegionProximity.
Przełączanie awaryjne i prywatność
Brama sprawdza stan każdego klastra i po awarii przekierowuje ruch do kolejnego najlepszego klastra bez konieczności wprowadzania zmian po stronie klienta; po przywróceniu sprawności klaster jest stopniowo ponownie włączany do obsługi. Nieudane żądanie jest ponawiane jeden raz w innym klastrze, chyba że rozpoczęło się już przesyłanie strumieniowe. Jeśli nie ma już żadnego sprawnego klastra, brama zwraca kod HTTP 503. Dodanie sprawnego klastra nie zmienia punktu końcowego ani nie zakłóca działania pozostałych klastrów, a usunięcie klastra wstrzymuje obsługę nowych żądań, lecz pozwala dokończyć te, które są już w toku.
IAM osobno kontroluje standardowe i strumieniowe wywołania, a tokeny JSON Web Token klientów, jeśli są używane, są przesyłane w ramach podpisu SigV4. Żądania docierają do klastrów wyłącznie przez AWS PrivateLink, a AWS informuje, że brama nie rejestruje ani nie przechowuje promptów ani wygenerowanych odpowiedzi. Usunięcie globalnej bramy wyłącza jej punkt końcowy, ale punkty końcowe poszczególnych klastrów nadal działają.
Jinhyung Park, wiceprezes ds. platformy AI w Bagelcode, powiedział w komunikacie AWS, że podczas testów beta żądania były kierowane przez bramę między dwoma regionami i nadal obsługiwane, gdy jeden z klastrów przestał obsługiwać model. Dzięki temu niewielki zespół platformowy firmy zyskał możliwość przełączania awaryjnego między regionami bez konieczności tworzenia ani utrzymywania własnej warstwy routingu.
Dostępność i migracja
Usługa jest dostępna w 13 regionach: we wschodnich Stanach Zjednoczonych (Wirginia Północna i Ohio), w zachodnich Stanach Zjednoczonych (Kalifornia Północna i Oregon), w Ameryce Południowej (São Paulo), w Europie (Frankfurt, Irlandia, Londyn i Sztokholm) oraz w regionie Azji i Pacyfiku (Tokio, Mumbaj, Singapur i Sydney).
AWS zaleca użytkownikom korzystającym z jednego klastra, by pozostali przy punkcie końcowym bramy wnioskowania klastra i wdrożyli usługę globalną po dodaniu drugiego klastra. Dotychczasowe punkty końcowe poszczególnych klastrów nadal obsługują żądania podczas migracji klientów, a brama obejmująca klastry tylko w jednym regionie może utrzymać obciążenie w tym regionie. Opublikowany klaster, który nie należy do żadnej bramy, nie otrzymuje ruchu, mimo że jego moduł Network Load Balancer nadal działa i generuje opłaty.
Uwzględniając w jednej polityce bliskość, dostępne zasoby i sygnały o awariach, usługa sprawia, że wykorzystanie niewykorzystanych zasobów GPU staje się kwestią konfiguracji, a nie odrębnym projektem sieciowym.












