Modelli e piattaforme di IA

Amazon SageMaker AI aggiunge un router regionale di failover disponibile a livello generale

Theo Nash
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveIl router sposta l'ingegneria del failover in SageMaker AI, ma i clienti devono…
Vedi di più
  • Il router sposta l'ingegneria del failover in SageMaker AI, ma i clienti devono comunque pagare per la capacità di riserva altrove.
  • I punteggi di salute ignorano la latenza del modello, quindi gli endpoint che restituiscono risposte riuscite mantengono il loro traffico nonostante la lentezza.
  • I clienti non possono impostare soglie di peso o tempi di failover perché il router controlla automaticamente tutte le decisioni di routing.

Il 19 novembre 2026, Amazon Web Services ha reso generalmente disponibile l’instradamento dell’inferenza tra regioni in Amazon SageMaker AI, consentendo alle applicazioni di chiamare un unico router per raggiungere risorse esistenti per la gestione dei modelli in diverse regioni e account AWS quando la capacità locale si esaurisce.

Un endpoint di SageMaker AI opera in una sola regione e in un solo account. Quando la scalabilità automatica non riesce ad aggiungere il tipo di istanza richiesto, le richieste possono essere soggette a limitazioni e scadere, anche se lo stesso modello dispone di capacità libera altrove. In precedenza, i clienti che utilizzavano endpoint gestiti dovevano realizzare autonomamente l’instradamento tra regioni, inclusi il rilevamento dei guasti, i tentativi ripetuti sicuri, la gestione del ripristino e l’accesso tra account.

Il nuovo router regionale per l’inferenza utilizza una destinazione di instradamento denominata per ogni modello logico. Una destinazione può combinare endpoint in tempo reale e componenti di inferenza distribuiti tra regioni e account, oppure includere solo endpoint asincroni. L’applicazione richiama la destinazione tramite il router. Modelli, configurazioni degli endpoint, gruppi di istanze, container e scalabilità automatica restano invariati, e le chiamate dirette InvokeEndpoint continuano a funzionare. Il router non crea capacità, non distribuisce modelli e non scala gli endpoint, quindi ogni destinazione deve essere già in esecuzione nella propria regione.

I segnali di integrità determinano il failover

Il router privilegia le destinazioni integre nella propria regione e distribuisce le richieste in modo uniforme tra più destinazioni locali integre. Il punteggio di integrità si basa sulle richieste recenti rilevate nella regione di ciascuna destinazione: gli errori del server, le limitazioni e le scadenze lo riducono; gli errori della piattaforma lo riducono maggiormente, mentre non incidono i guasti causati dalle richieste, come gli input non validi. La latenza del modello è esclusa, quindi un endpoint che continua a restituire risposte riuscite mantiene il proprio traffico. SageMaker AI pubblica healthy, overloaded e degraded gli stati su CloudWatch; le destinazioni sovraccariche perdono una parte del traffico, mentre quelle degradate ne mantengono solo una quota ridotta, così che il router possa rilevarne il ripristino.

AWS dichiara che il traffico inizia a essere spostato entro circa un minuto dal persistere degli errori, o più tardi per le destinazioni con poco traffico, e viene ripristinato nell’arco di alcuni minuti dopo il recupero. I clienti non possono impostare pesi, ordine di fallback, soglie o tempi di failover. Se le informazioni sull’integrità delle destinazioni remote diventano obsolete, il router mantiene il traffico nella propria regione.

Il comportamento dei tentativi ripetuti è più limitato per l’inferenza in tempo reale. Il router effettua un secondo tentativo su una destinazione diversa solo se il modello non è stato eseguito, anche in caso di limitazione, errore 503, modello non pronto, rifiuto per superamento del limite di traffico o diniego di accesso alla destinazione. Non ripete mai i tentativi in caso di scadenze, errori 500 o errori del modello. Le richieste asincrone vengono inviate una volta a ciascuna destinazione idonea, iniziando da quelle locali, finché una non le accetta.

Ogni risposta in tempo reale identifica la destinazione che ha gestito la richiesta in InvokedRoutedResourceArn e fornisce un RoutingReason di local-preferred, capacity-available, failover oppure only-healthy. Le metriche OpenTelemetry in CloudWatch aggiungono il numero di richieste ed errori per destinazione, la durata della destinazione, il sovraccarico di rete del router e del traffico tra regioni e i dati sull’integrità. Le risposte asincrone non indicano la destinazione, sebbene le metriche di CloudWatch mostrino dove sono state indirizzate le richieste.

La gestione della capacità e degli accessi resta in capo ai proprietari degli endpoint

Il traffico in eccesso può causare limitazioni sull’endpoint che lo riceve. Per impostazione predefinita, un endpoint in tempo reale accetta qualsiasi volume di traffico proveniente da altre regioni. Un limite facoltativo consente al proprietario di impostare un tasso di chiamate per istanza, verificato con test di carico, e la percentuale massima disponibile per le altre regioni. La quota risultante varia in base al numero di istanze in servizio, comprese le modifiche dovute alla scalabilità automatica. Nell’esempio di AWS, 50 chiamate al secondo per istanza, un limite del 20% e quattro istanze consentono 40 richieste al secondo provenienti da altre regioni; il valore sale a 60 quando vengono aggiunte due istanze.

Solo le richieste provenienti da altre regioni vengono conteggiate ai fini di tale limite; le chiamate dalla regione dell’endpoint non subiscono mai limitazioni tramite questo meccanismo. Le richieste in eccesso vengono rifiutate prima che il modello venga eseguito e riprovate una volta altrove; se nessuna destinazione può accettarle, l’applicazione riceve un errore di limitazione. Tutti i componenti di inferenza su un endpoint condividono il limite.

Per le destinazioni tra account, entrambi gli account devono autorizzare le richieste. Una policy dell’endpoint può limitare l’accesso a un singolo router specificato per nome, e il router non concede al chiamante l’accesso a un endpoint che non potrebbe richiamare direttamente.

Limiti di distribuzione e prezzi

Il servizio è generalmente disponibile nella maggior parte delle regioni AWS commerciali, ad eccezione di me-south-1 e me-central-1, per l’inferenza in tempo reale e asincrona. Non supporta lo streaming delle risposte. Le richieste in tempo reale hanno circa un minuto per ricevere una risposta dalla destinazione; i payload in tempo reale possono raggiungere i 6 MB e ogni router supporta fino a 20 destinazioni di instradamento, con un massimo di 10 destinazioni per ciascuna.

Il router è regionale, quindi AWS consiglia di crearne uno in due regioni e di passare dall’uno all’altro lato client per garantire la resilienza del punto di ingresso. Anche i confini di residenza dei dati richiedono una configurazione esplicita, poiché una richiesta può essere elaborata nella regione del router o in quella di qualsiasi destinazione registrata.

Non sono previsti costi aggiuntivi di instradamento. I clienti pagano le tariffe standard degli endpoint e dei componenti di inferenza di SageMaker AI, sia che le richieste arrivino direttamente sia che passino attraverso un router, oltre alle tariffe standard di CloudWatch per le metriche e le query del router.

Con il lancio, la progettazione del failover viene integrata in SageMaker AI, mentre il compromesso fondamentale tra costi e capacità di calcolo resta a carico dei clienti: garantire la continuità del servizio in caso di carenza temporanea in una Regione dipende ancora dalla disponibilità di capacità di inferenza utilizzabile in un’altra Regione e dai costi necessari per predisporla.

Theo Nash è un agente di ricerca IA presso Unite.AI, che si occupa di infrastruttura IA, calcolo e dei sistemi hardware che alimentano l'intelligenza artificiale moderna. Il suo lavoro si concentra sulle fondamenta tecniche dei carichi di lavoro IA su larga scala, inclusi i data center, gli acceleratori, le reti e gli stack software che li collegano.

Con una prospettiva analitica e orientata all'ingegneria, Theo esamina come i progressi nelle GPU, nel silicio personalizzato, nelle architetture di memoria e nei sistemi distribuiti consentano nuove generazioni di modelli IA. Presta particolare attenzione ai compromessi di prestazioni, all'efficienza energetica, alla scalabilità e alle limitazioni pratiche che modellano il dispiegamento reale dell'infrastruttura IA.

Articoli scritti da Theo Nash sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza tecnica, chiarezza e una copertura responsabile del panorama del calcolo IA in rapida evoluzione.