Modele și platforme AI

AWS direcționează inferența HyperPod între regiuni printr-un singur endpoint

Theo Nash
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieGateway-ul global adaugă un nivel de selecție a clusterului deasupra rutării existente…
Vezi mai mult
  • Gateway-ul global adaugă un nivel de selecție a clusterului deasupra rutării existente la nivel de pod a Inference Gateway.
  • Operatorii reglează patru semnale ponderate, inclusiv RegionProximity la 0,40, pentru a echilibra latența cu reziliența.
  • AWS afirmă că gateway-ul nu înregistrează și nu stochează prompturi sau completări și rutează numai prin PrivateLink.

Pe 20 noiembrie 2026, AWS a lansat Amazon SageMaker HyperPod Global Inference Gateway, oferind clienților un singur endpoint gestionat pentru solicitările de inferență trimise către clustere HyperPod înregistrate, într-o singură regiune AWS sau în mai multe regiuni. Serviciul selectează un cluster pe baza semnalelor privind capacitatea, coada de așteptare, proximitatea și erorile și comută automat traficul în cazul în care un cluster devine indisponibil.

Lansarea adaugă un al doilea nivel de direcționare deasupra serviciului existent SageMaker HyperPod Inference Gateway. Gateway-ul la nivel de cluster continuă să selecteze poduri individuale pentru modele, folosind semnale precum gradul de utilizare a memoriei cache cu perechi cheie-valoare (KV) și lungimea cozii de așteptare; noul nivel global selectează mai întâi clusterul, fără să schimbe selecția podurilor.

AWS abordează o problemă de utilizare a capacității: solicitările se pot acumula în coada unui cluster suprasolicitat, în timp ce GPU-urile deja alocate rămân nefolosite în altă parte. În exemplul său, în care patru modele sunt deservite de cinci clustere din două regiuni, deservirea fiecărui model separat obligă clienții să urmărească 20 de endpoint-uri. Gateway-urile la nivel de cluster reduc numărul la cinci, iar gateway-ul global îl reduce la unul. Nivelul gestionat elimină nevoia de a construi și întreține echilibratoare de încărcare, DNS și rețelistică între regiuni pentru această direcționare și permite redirecționarea traficului de vârf către clustere cu capacitate disponibilă.

Selectarea configurabilă a clusterelor

Un operator publică fiecare cluster participant activând spec.globalRouting în sistemul său existent InferenceGatewayConfig, apoi apelează CreateGlobalInferenceGateway cu clusterele care trebuie grupate. Publicarea creează în contul clientului un Network Load Balancer, un serviciu endpoint pentru cloud privat virtual (VPC) și resurse de certificate. Un cluster nepublicat nu poate fi adăugat cu succes.

Clienții trimit către endpoint-ul regional solicitări compatibile cu OpenAI, semnate cu AWS Signature Version 4 (SigV4). Gateway-ul autentifică apelantul și selectează un cluster funcțional, AWS PrivateLink transportă solicitarea în interiorul regiunilor sau între acestea, iar Inference Gateway al clusterului alege podul pentru model. SageMaker gestionează flota de direcționare, endpoint-urile private, validarea certificatelor, verificările de stare, autentificarea și limitarea ratei; un serviciu de publicare gestionat de serviciu furnizează valorile metricilor de încărcare pentru fiecare cluster.

Pentru fiecare solicitare, gateway-ul evaluează clusterele funcționale pe baza a patru semnale configurabile:

Semnal Ce măsoară Pondere implicită
KVHeadroom Memoria cache KV și memoria GPU disponibile în cluster 0.20
QueueDepth Gradul de încărcare a clusterului 0.25
RegionProximity Distanța dintre cluster și regiunea gateway-ului 0.40
ErrorRate Solicitările eșuate recent în cluster 0.15

Clienții care înlocuiesc valorile implicite trebuie să seteze toate cele patru ponderi, folosind valori între 0,0 și 1,0, cu suma egală cu 1,0; pot dezactiva un semnal setându-i ponderea la zero. UpdateGlobalInferenceGateway modifică ponderile pentru solicitările noi fără a necesita reconfigurarea resurselor, în timp ce solicitările aflate deja în curs sunt finalizate folosind setările vechi. AWS afirmă că sarcinile de lucru care prioritizează reziliența în detrimentul proximității pot crește ErrorRate și reduce RegionProximity.

Comutarea în caz de defecțiune și confidențialitatea

Gateway-ul verifică starea fiecărui cluster și, în cazul unei defecțiuni, redirecționează traficul către următorul cluster optim, fără să fie nevoie de modificări din partea clientului; clusterul recuperat este readus treptat în rotație. O solicitare eșuată este reîncercată o singură dată pe un alt cluster, cu excepția cazului în care a început deja transmiterea în flux; dacă nu mai există niciun cluster funcțional, gateway-ul returnează codul HTTP 503. Adăugarea unui cluster funcțional nu schimbă endpoint-ul și nu întrerupe activitatea celorlalte clustere, în timp ce eliminarea unui cluster oprește solicitările noi, dar permite finalizarea celor aflate în curs.

IAM controlează separat apelurile standard și pe cele cu transmitere în flux, iar tokenurile JSON Web ale clienților, dacă sunt utilizate, sunt incluse în semnătura SigV4. Solicitările ajung la clustere numai prin AWS PrivateLink, iar AWS declară că gateway-ul nu înregistrează și nu stochează solicitările sau răspunsurile generate. Ștergerea gateway-ului global oprește endpoint-ul acestuia, dar endpoint-urile pentru fiecare cluster continuă să funcționeze.

Jinhyung Park, vicepreședintele platformei de IA la Bagelcode, a declarat în anunțul AWS că, în testele beta, solicitările au fost direcționate prin gateway între două regiuni și au continuat să fie deservite atunci când un cluster nu a mai putut furniza modelul. Astfel, echipa restrânsă a companiei care se ocupă de platformă a beneficiat de comutare între regiuni fără să fie nevoită să construiască sau să întrețină propriul nivel de direcționare.

Disponibilitate și migrare

Serviciul este disponibil în 13 regiuni: estul SUA (Virginia de Nord și Ohio), vestul SUA (California de Nord și Oregon), America de Sud (São Paulo), Europa (Frankfurt, Irlanda, Londra și Stockholm) și Asia-Pacific (Tokyo, Mumbai, Singapore și Sydney).

AWS recomandă utilizatorilor cu un singur cluster să păstreze endpoint-ul Inference Gateway al clusterului și să adopte serviciul global atunci când adaugă un al doilea cluster. Endpoint-urile existente pentru fiecare cluster continuă să deservească solicitările pe durata migrării clienților, iar un gateway care conține clustere doar dintr-o singură regiune poate menține acolo sarcina de lucru. Un cluster publicat, dar neasociat niciunui gateway, nu primește trafic, deși Network Load Balancer-ul său continuă să funcționeze și să genereze costuri.

Prin reunirea într-o singură politică a semnalelor privind proximitatea, capacitatea și defecțiunile, serviciul transformă utilizarea capacității GPU care altfel ar rămâne nefolosită într-o decizie de configurare, nu într-un proiect de rețelistică separat.

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.