Modelli e piattaforme di IA
AWS instrada l’inferenza di HyperPod tra le regioni da un unico endpoint

Punti chiaveIl gateway globale aggiunge un livello di selezione del cluster sopra l'instradamento…
Vedi di più
- Il gateway globale aggiunge un livello di selezione del cluster sopra l'instradamento esistente dell'Inference Gateway a livello di pod.
- Gli operatori regolano quattro segnali ponderati, incluso RegionProximity a 0,40, per bilanciare la latenza rispetto alla resilienza.
- AWS afferma che il gateway non registra né memorizza prompt o completamenti e instrada solo tramite PrivateLink.
Il 20 novembre 2026, AWS ha presentato il gateway globale di inferenza Amazon SageMaker HyperPod, offrendo ai clienti un unico endpoint gestito per le richieste di inferenza dirette ai cluster HyperPod registrati, in una o più regioni AWS. Il servizio seleziona un cluster in base a segnali relativi a capacità, code, prossimità ed errori, con failover automatico quando un cluster diventa indisponibile.
Il lancio aggiunge un secondo livello di instradamento al di sopra dell’esistente gateway di inferenza SageMaker HyperPod. Questo gateway a livello di cluster continua a selezionare i singoli pod del modello utilizzando segnali che includono l’utilizzo della cache chiave-valore (KV) e la profondità della coda; il nuovo livello globale seleziona prima il cluster, lasciando invariata la selezione dei pod.
AWS affronta un problema di utilizzo della capacità: le richieste possono accumularsi in coda su un cluster saturo mentre altrove le GPU già predisposte restano inattive. Nell’esempio di AWS, con quattro modelli distribuiti su cinque cluster in due regioni, per servire ciascun modello i client devono tenere traccia di 20 endpoint. I gateway a livello di cluster riducono il numero a cinque, mentre il gateway globale ne offre uno solo. Il livello gestito elimina la necessità di creare e mantenere bilanciatori del carico, DNS e reti interregionali per questo instradamento, e consente di distribuire il traffico di picco sui cluster con capacità disponibile.
Selezione configurabile dei cluster
Un operatore pubblica ogni cluster partecipante abilitando spec.globalRouting nella configurazione esistente InferenceGatewayConfig, quindi chiama CreateGlobalInferenceGateway con i cluster da raggruppare. La pubblicazione crea un Network Load Balancer, un endpoint service di virtual private cloud (VPC) e risorse per i certificati nell’account del cliente. Non è possibile aggiungere correttamente un cluster non pubblicato.
I client inviano all’endpoint regionale richieste compatibili con OpenAI, firmate con AWS Signature Version 4 (SigV4). Il gateway autentica il chiamante e seleziona un cluster integro; AWS PrivateLink trasporta la richiesta all’interno della stessa regione o tra regioni, quindi l’Inference Gateway del cluster seleziona il pod del modello. SageMaker gestisce la flotta di instradamento, gli endpoint privati, la convalida dei certificati, i controlli di integrità, l’autenticazione e la limitazione della frequenza; un publisher gestito dal servizio su ciascun cluster fornisce le metriche di carico.
Per ogni richiesta, il gateway assegna un punteggio ai cluster integri sulla base di quattro segnali configurabili:
| Segnale | Cosa misura | Peso predefinito |
|---|---|---|
KVHeadroom |
Cache KV disponibile e memoria GPU sul cluster | 0.20 |
QueueDepth |
Livello di congestione del cluster | 0.25 |
RegionProximity |
Distanza tra il cluster e la regione del gateway | 0.40 |
ErrorRate |
Richieste non riuscite di recente sul cluster | 0.15 |
Chi modifica i valori predefiniti deve impostare tutti e quattro i pesi, con valori compresi tra 0,0 e 1,0 che totalizzino 1,0; è possibile disattivare un segnale impostandolo a zero. UpdateGlobalInferenceGateway modifica la ponderazione per le nuove richieste senza dover predisporre nuovamente le risorse, mentre le richieste in corso vengono completate con le impostazioni precedenti. AWS afferma che i carichi di lavoro che privilegiano la resilienza rispetto alla prossimità possono aumentare ErrorRate e ridurre RegionProximity.
Failover e privacy
Il gateway esegue controlli di integrità su ogni cluster e, in caso di guasto, sposta il traffico sul cluster successivo per idoneità senza richiedere modifiche ai client; quando il cluster ripristinato torna disponibile, lo reintegra gradualmente. Una richiesta non riuscita viene riprovata una volta su un altro cluster, a meno che non sia già iniziato lo streaming; se non rimane alcun cluster integro, il gateway restituisce HTTP 503. L’aggiunta di un cluster integro non modifica l’endpoint né interrompe il servizio degli altri cluster, mentre la rimozione di un cluster blocca le nuove richieste ma consente di completare quelle in corso.
IAM controlla separatamente le invocazioni standard e quelle in streaming; quando vengono utilizzati, i token JSON Web Token dei clienti sono inclusi nella firma SigV4. Le richieste raggiungono i cluster esclusivamente tramite AWS PrivateLink e, secondo AWS, il gateway non registra né archivia i prompt o le risposte generate. L’eliminazione del gateway globale interrompe il relativo endpoint, ma gli endpoint dei singoli cluster continuano a funzionare.
Jinhyung Park, vicepresidente della piattaforma IA di Bagelcode, ha dichiarato nell’annuncio di AWS che, durante i test beta, le richieste sono state instradate tramite il gateway tra due regioni e hanno continuato a essere gestite quando un cluster non è più riuscito a servire il modello. In questo modo, il piccolo team della piattaforma dell’azienda ha ottenuto il failover tra regioni senza dover creare o mantenere un proprio livello di instradamento.
Disponibilità e migrazione
Il servizio è disponibile in 13 regioni: Stati Uniti orientali (Virginia settentrionale e Ohio), Stati Uniti occidentali (California settentrionale e Oregon), Sud America (San Paolo), Europa (Francoforte, Irlanda, Londra e Stoccolma) e Asia-Pacifico (Tokyo, Mumbai, Singapore e Sydney).
AWS consiglia a chi utilizza un solo cluster di continuare a usare l’endpoint del relativo Inference Gateway e di adottare il servizio globale quando aggiunge un secondo cluster. Gli endpoint esistenti dei singoli cluster continuano a servire le richieste durante la migrazione dei client; inoltre, un gateway che include cluster di una sola regione può mantenere al suo interno un carico di lavoro. Un cluster pubblicato ma non incluso in alcun gateway non riceve traffico, anche se il suo Network Load Balancer continua a funzionare e a generare costi.
Integrando prossimità, capacità e segnali di guasto in un’unica regola, il servizio trasforma l’utilizzo della capacità GPU altrimenti inattiva in una scelta di configurazione, anziché in un progetto di rete separato.












