Modely a platformy AI

AWS směruje inferenci HyperPod napříč regiony z jediného koncového bodu

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyGlobální brána přidává vrstvu výběru clusteru nad stávající směrování Inference Gateway…
Zobrazit více
  • Globální brána přidává vrstvu výběru clusteru nad stávající směrování Inference Gateway na úrovni podů.
  • Operátoři ladí čtyři vážené signály včetně RegionProximity s hodnotou 0,40 pro vyvážení latence a odolnosti.
  • AWS uvádí, že brána nezaznamenává ani neukládá prompty či dokončení a směruje pouze přes PrivateLink.

AWS 20. listopadu 2026 představila Amazon SageMaker HyperPod Global Inference Gateway, která zákazníkům poskytuje jediný spravovaný koncový bod pro inferenční požadavky napříč registrovanými clustery HyperPod v jedné nebo více oblastech AWS. Služba vybírá cluster podle dostupné kapacity, délky fronty, blízkosti a chybových signálů a při nedostupnosti clusteru automaticky přepne provoz jinam.

Toto uvedení přidává druhou úroveň směrování nad stávající SageMaker HyperPod Inference Gateway. Tato brána na úrovni clusteru nadále vybírá jednotlivé pody modelu podle signálů, jako je využití mezipaměti klíč-hodnota (KV) a délka fronty; nová globální úroveň nejprve vybírá cluster, zatímco výběr podu zůstává beze změny.

AWS řeší problém s využitím kapacity: požadavky mohou čekat ve frontě na přetíženém clusteru, zatímco jinde zůstávají již zřízené GPU nečinné. V příkladu se čtyřmi modely obsluhovanými napříč pěti clustery ve dvou regionech musí klienti při obsluze jednotlivých modelů sledovat 20 koncových bodů. Brány na úrovni clusterů tento počet snižují na pět, zatímco globální brána poskytuje jediný koncový bod. Spravovaná úroveň odstraňuje potřebu vytvářet a udržovat pro toto směrování nástroje pro vyrovnávání zátěže, DNS a síťové propojení mezi regiony a umožňuje přesměrovat špičkový provoz do clusterů s dostupnou kapacitou.

Konfigurovatelný výběr clusteru

Operátor publikuje každý zapojený cluster tím, že povolí spec.globalRouting ve svém stávajícím InferenceGatewayConfig, a poté zavolá CreateGlobalInferenceGateway s clustery, které chce seskupit. Publikováním se v účtu zákazníka vytvoří nástroj Network Load Balancer pro vyrovnávání zátěže, koncová služba virtuálního privátního cloudu (VPC) a prostředky certifikátů. Nepublikovaný cluster nelze úspěšně přidat.

Klienti odesílají na regionální koncový bod požadavky kompatibilní s OpenAI, podepsané pomocí AWS Signature Version 4 (SigV4). Brána ověří volajícího a vybere zdravý cluster, AWS PrivateLink přenese požadavek v rámci jednoho regionu nebo mezi regiony a inferenční brána clusteru zvolí pod modelu. SageMaker provozuje směrovací infrastrukturu, privátní koncové body, ověřování certifikátů, kontroly stavu, autentizaci a omezování rychlosti požadavků; vydavatel spravovaný službou v každém clusteru poskytuje metriky zatížení.

Brána při každém požadavku ohodnotí zdravé clustery pomocí čtyř konfigurovatelných signálů:

Signál Co měří Výchozí váha
KVHeadroom Dostupná mezipaměť KV a paměť GPU v clusteru 0.20
QueueDepth Vytížení clusteru 0.25
RegionProximity Vzdálenost mezi clusterem a regionem brány 0.40
ErrorRate Nedávné neúspěšné požadavky na clusteru 0.15

Zákazníci, kteří přepisují výchozí nastavení, musí zadat všechny čtyři váhy v rozmezí od 0,0 do 1,0 tak, aby jejich součet byl 1,0; signál lze vypnout nastavením nulové váhy. UpdateGlobalInferenceGateway mění váhy pro nové požadavky bez nutnosti opětovného zřizování, zatímco probíhající požadavky se dokončí podle starého nastavení. AWS uvádí, že úlohy, u nichž má odolnost přednost před blízkostí, mohou zvýšit ErrorRate a snížit RegionProximity.

Přepnutí při výpadku a ochrana soukromí

Brána kontroluje stav každého clusteru a při výpadku přesměruje provoz na další nejvhodnější cluster, aniž by klienti museli cokoli měnit; po obnovení provozu se cluster znovu zapojuje postupně. Neúspěšný požadavek se jednou zopakuje na jiném clusteru, pokud ještě nebylo zahájeno streamování; pokud nezůstane žádný zdravý cluster, brána vrátí kód HTTP 503. Přidání zdravého clusteru nezmění koncový bod ani nenaruší provoz ostatních clusterů, zatímco odebrání clusteru zastaví nové požadavky, ale umožní dokončit práci, která už probíhá.

IAM samostatně řídí standardní a streamovací volání; pokud se používají zákaznické webové tokeny JSON, jsou přenášeny uvnitř podpisu SigV4. Požadavky se ke clusterům dostávají pouze přes AWS PrivateLink a AWS uvádí, že brána nezaznamenává ani neukládá výzvy či dokončení. Smazáním globální brány se zastaví její koncový bod, ale koncové body jednotlivých clusterů zůstanou v provozu.

Jinhyung Park, viceprezident pro platformu AI ve společnosti Bagelcode, v oznámení AWS uvedl, že při beta testování brána směrovala požadavky mezi dvěma regiony a pokračovala v jejich obsluze i poté, co jeden z clusterů přestal být schopen obsluhovat model. Malému týmu platformy ve společnosti to zajistilo přepínání mezi regiony při výpadku, aniž by musel budovat či udržovat vlastní směrovací vrstvu.

Dostupnost a migrace

Služba je dostupná ve 13 regionech: východ USA (Severní Virginie a Ohio), západ USA (Severní Kalifornie a Oregon), Jižní Amerika (São Paulo), Evropa (Frankfurt, Irsko, Londýn a Stockholm) a Asie a Tichomoří (Tokio, Mumbai, Singapur a Sydney).

AWS doporučuje uživatelům s jediným clusterem, aby zůstali u koncového bodu inferenční brány clusteru a globální službu začali používat až po přidání druhého clusteru. Stávající koncové body jednotlivých clusterů zůstávají během migrace klientů v provozu a brána obsahující clustery pouze v jednom regionu může udržet úlohu v tomto regionu. Publikovaný cluster, který není součástí žádné brány, nepřijímá žádný provoz, přestože jeho nástroj Network Load Balancer pro vyrovnávání zátěže zůstává spuštěný a dále generuje poplatky.

Tím, že služba zahrnuje do jedné zásady signály týkající se blízkosti, kapacity a selhání, mění využití jinak nečinné kapacity GPU v otázku konfigurace, nikoli v samostatný síťový projekt.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.