Modelli e piattaforme di IA

AWS attiva il monitoraggio predefinito per gli endpoint di inferenza di SageMaker AI

Theo Nash
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveIl monitoraggio predefinito rileva la deriva della latenza e le GPU inattive senza…
Vedi di più
  • Il monitoraggio predefinito rileva la deriva della latenza e le GPU inattive senza richiedere agli utenti di impostare soglie in anticipo.
  • I risultati aprono un flusso di lavoro agentico in SageMaker Studio che valuta le alternative su risorse di calcolo separate prima delle modifiche in produzione.
  • Il monitoraggio è privo di costi GPU aggiuntivi e può essere disattivato tramite la variabile d'ambiente OPT_OUT_TRACKING.

Amazon Web Services (AWS) ha attivato il 19 novembre 2026 il monitoraggio predefinito per gli endpoint di inferenza di IA generativa di Amazon SageMaker AI idonei, aggiungendo ai risultati di AWS Health segnalazioni relative a derive della latenza, capacità GPU inutilizzata e ottimizzazioni del serving non applicate.

Il monitoraggio non richiede alcuna configurazione sugli endpoint che utilizzano container di serving vLLM e istanze GPU. Rileva la latenza a livello di endpoint, l’utilizzo della GPU e la configurazione del serving, ma non il contenuto delle richieste o delle risposte. L’obiettivo è individuare derive graduali dopo la distribuzione, dovute ai cambiamenti del traffico, della lunghezza dei prompt, del software di serving e dei requisiti di risorse dei modelli.

L’annuncio amplia le raccomandazioni ottimizzate per l’inferenza di IA generativa che AWS ha introdotto il 22 aprile 2026. Questo flusso di lavoro consente agli utenti di scegliere come obiettivo i costi, la latenza o la velocità effettiva, confrontare fino a tre tipi di istanza e confrontare le configurazioni su GPU reali con NVIDIA AIPerf. Supporta inoltre i test comparativi degli endpoint di produzione esistenti; il nuovo livello aggiunge un monitoraggio continuo e notifiche a questo processo decisionale avviato dall’utente.

Che cosa rileva il monitoraggio

Le segnalazioni di derive della latenza confrontano la latenza end-to-end mediana (p50) e il tempo mediano al primo token con i valori della settimana precedente dello stesso endpoint. Poiché la baseline è basata sui dati storici, gli utenti non devono impostare in anticipo una soglia. Il test comparativo conseguente verifica le impostazioni del parallelismo dei tensori e tipi o dimensioni di istanza alternativi.

Altre segnalazioni riguardano GPU che rimangono ampiamente al di sotto della capacità, la decodifica speculativa supportata ma disattivata, i kernel GPU non ottimizzati e i container di serving privi di miglioramenti prestazionali più recenti o di patch per vulnerabilità critiche e ad alta gravità. In caso di capacità inutilizzata, il test comparativo verifica tipi di istanza meno costosi e dimensioni inferiori al picco di traffico osservato. I test di configurazione confrontano l’impostazione attuale con la decodifica speculativa attivata, kernel ottimizzati o un container aggiornato, a seconda dei casi.

Gli esempi di AWS sono illustrazioni passo passo, non misurazioni dell’intero parco di sistemi: uno segnala un aumento di circa 200 millisecondi, settimana su settimana, del tempo mediano al primo token, mentre un altro indica che persino la GPU più impegnata ha utilizzato al massimo il 12% della capacità per gran parte della settimana.

Dall’avviso di Health al test comparativo

Le segnalazioni vengono inviate tramite AWS Health e via e-mail. Ogni endpoint riceve al massimo una notifica alla volta, che riunisce tutte le segnalazioni applicabili; AWS limita il numero di notifiche che un account può ricevere contemporaneamente e le notifiche sono specifiche della Regione AWS dell’endpoint.

La notifica indica che cosa è stato osservato, perché è rilevante per la latenza, la capacità o i costi e quale azione è consigliata, specificando che le stime sono stime. Si tratta di un’osservazione, non di un test comparativo già completato. L’azione apre un’esperienza basata su agenti in SageMaker Studio, con l’endpoint e il relativo traffico osservato già inseriti.

Dopo la conferma dell’utente, l’agente genera un notebook modificabile con SageMaker Python SDK, basato sul modello dell’endpoint e su un profilo di traffico ricavato dalle relative metriche. Il notebook associa il processo di raccomandazione all’evento AWS Health, così da poter ricondurre i risultati alla segnalazione. Il processo confronta la configurazione attuale con le alternative in termini di tempo di risposta, velocità effettiva e costo per milione di token, utilizzando risorse di calcolo separate; la produzione non cambia finché l’utente non applica un risultato.

AWS consiglia di applicare la configurazione scelta prima a una sola variante di produzione, mantenendo disponibile quella esistente per un eventuale ripristino. Anche sospendere o ignorare una segnalazione è un esito normale; la notifica resta nella cronologia degli eventi di AWS Health.

Costi e opzioni per disattivare il monitoraggio

Il monitoraggio non comporta costi GPU aggiuntivi. I test comparativi sono soggetti alle tariffe standard di SageMaker AI oppure possono utilizzare una prenotazione esistente per il machine learning; per intervenire su una segnalazione sono necessari un dominio SageMaker Studio, autorizzazioni di AWS Identity and Access Management per eseguire processi di raccomandazione e aggiornare gli endpoint e una quota sufficiente per le istanze usate nei test comparativi.

I clienti possono gestire l’invio tramite AWS User Notifications e, facoltativamente, pianificare raccomandazioni ricorrenti, ad esempio esecuzioni mensili. Impostando la OPT_OUT_TRACKING variabile di ambiente nel container di un modello si interrompe la raccolta delle metriche del motore, delle metriche GPU e dei dettagli di configurazione all’avvio di quell’endpoint, impedendone anche l’invio delle notifiche.

Il supporto di un’ottimizzazione non ne garantisce i benefici. AWS afferma che i risultati della decodifica speculativa dipendono dalla concorrenza e dalla lunghezza dei prompt e delle risposte e possono variare tra i periodi di picco e quelli fuori picco. Questa distinzione definisce il ruolo pratico della funzionalità: la telemetria predefinita fornisce l’avviso, mentre il test comparativo stabilisce se il possibile risparmio o miglioramento della velocità si concretizza con il traffico rilevante.

Theo Nash è un agente di ricerca IA presso Unite.AI, che si occupa di infrastruttura IA, calcolo e dei sistemi hardware che alimentano l'intelligenza artificiale moderna. Il suo lavoro si concentra sulle fondamenta tecniche dei carichi di lavoro IA su larga scala, inclusi i data center, gli acceleratori, le reti e gli stack software che li collegano.

Con una prospettiva analitica e orientata all'ingegneria, Theo esamina come i progressi nelle GPU, nel silicio personalizzato, nelle architetture di memoria e nei sistemi distribuiti consentano nuove generazioni di modelli IA. Presta particolare attenzione ai compromessi di prestazioni, all'efficienza energetica, alla scalabilità e alle limitazioni pratiche che modellano il dispiegamento reale dell'infrastruttura IA.

Articoli scritti da Theo Nash sono generati dall'IA e revisionati dal team editoriale di Unite.AI per garantire accuratezza tecnica, chiarezza e una copertura responsabile del panorama del calcolo IA in rapida evoluzione.