Modelli e piattaforme di IA
AWS attiva il monitoraggio predefinito per gli endpoint di inferenza di SageMaker AI

Punti chiaveIl monitoraggio predefinito rileva la deriva della latenza e le GPU inattive senza…
Vedi di più
- Il monitoraggio predefinito rileva la deriva della latenza e le GPU inattive senza richiedere agli utenti di impostare soglie in anticipo.
- I risultati aprono un flusso di lavoro agentico in SageMaker Studio che valuta le alternative su risorse di calcolo separate prima delle modifiche in produzione.
- Il monitoraggio è privo di costi GPU aggiuntivi e può essere disattivato tramite la variabile d'ambiente OPT_OUT_TRACKING.
Amazon Web Services (AWS) ha attivato il 19 novembre 2026 il monitoraggio predefinito per gli endpoint di inferenza di IA generativa di Amazon SageMaker AI idonei, aggiungendo ai risultati di AWS Health segnalazioni relative a derive della latenza, capacità GPU inutilizzata e ottimizzazioni del serving non applicate.
Il monitoraggio non richiede alcuna configurazione sugli endpoint che utilizzano container di serving vLLM e istanze GPU. Rileva la latenza a livello di endpoint, l’utilizzo della GPU e la configurazione del serving, ma non il contenuto delle richieste o delle risposte. L’obiettivo è individuare derive graduali dopo la distribuzione, dovute ai cambiamenti del traffico, della lunghezza dei prompt, del software di serving e dei requisiti di risorse dei modelli.
L’annuncio amplia le raccomandazioni ottimizzate per l’inferenza di IA generativa che AWS ha introdotto il 22 aprile 2026. Questo flusso di lavoro consente agli utenti di scegliere come obiettivo i costi, la latenza o la velocità effettiva, confrontare fino a tre tipi di istanza e confrontare le configurazioni su GPU reali con NVIDIA AIPerf. Supporta inoltre i test comparativi degli endpoint di produzione esistenti; il nuovo livello aggiunge un monitoraggio continuo e notifiche a questo processo decisionale avviato dall’utente.
Che cosa rileva il monitoraggio
Le segnalazioni di derive della latenza confrontano la latenza end-to-end mediana (p50) e il tempo mediano al primo token con i valori della settimana precedente dello stesso endpoint. Poiché la baseline è basata sui dati storici, gli utenti non devono impostare in anticipo una soglia. Il test comparativo conseguente verifica le impostazioni del parallelismo dei tensori e tipi o dimensioni di istanza alternativi.
Altre segnalazioni riguardano GPU che rimangono ampiamente al di sotto della capacità, la decodifica speculativa supportata ma disattivata, i kernel GPU non ottimizzati e i container di serving privi di miglioramenti prestazionali più recenti o di patch per vulnerabilità critiche e ad alta gravità. In caso di capacità inutilizzata, il test comparativo verifica tipi di istanza meno costosi e dimensioni inferiori al picco di traffico osservato. I test di configurazione confrontano l’impostazione attuale con la decodifica speculativa attivata, kernel ottimizzati o un container aggiornato, a seconda dei casi.
Gli esempi di AWS sono illustrazioni passo passo, non misurazioni dell’intero parco di sistemi: uno segnala un aumento di circa 200 millisecondi, settimana su settimana, del tempo mediano al primo token, mentre un altro indica che persino la GPU più impegnata ha utilizzato al massimo il 12% della capacità per gran parte della settimana.
Dall’avviso di Health al test comparativo
Le segnalazioni vengono inviate tramite AWS Health e via e-mail. Ogni endpoint riceve al massimo una notifica alla volta, che riunisce tutte le segnalazioni applicabili; AWS limita il numero di notifiche che un account può ricevere contemporaneamente e le notifiche sono specifiche della Regione AWS dell’endpoint.
La notifica indica che cosa è stato osservato, perché è rilevante per la latenza, la capacità o i costi e quale azione è consigliata, specificando che le stime sono stime. Si tratta di un’osservazione, non di un test comparativo già completato. L’azione apre un’esperienza basata su agenti in SageMaker Studio, con l’endpoint e il relativo traffico osservato già inseriti.
Dopo la conferma dell’utente, l’agente genera un notebook modificabile con SageMaker Python SDK, basato sul modello dell’endpoint e su un profilo di traffico ricavato dalle relative metriche. Il notebook associa il processo di raccomandazione all’evento AWS Health, così da poter ricondurre i risultati alla segnalazione. Il processo confronta la configurazione attuale con le alternative in termini di tempo di risposta, velocità effettiva e costo per milione di token, utilizzando risorse di calcolo separate; la produzione non cambia finché l’utente non applica un risultato.
AWS consiglia di applicare la configurazione scelta prima a una sola variante di produzione, mantenendo disponibile quella esistente per un eventuale ripristino. Anche sospendere o ignorare una segnalazione è un esito normale; la notifica resta nella cronologia degli eventi di AWS Health.
Costi e opzioni per disattivare il monitoraggio
Il monitoraggio non comporta costi GPU aggiuntivi. I test comparativi sono soggetti alle tariffe standard di SageMaker AI oppure possono utilizzare una prenotazione esistente per il machine learning; per intervenire su una segnalazione sono necessari un dominio SageMaker Studio, autorizzazioni di AWS Identity and Access Management per eseguire processi di raccomandazione e aggiornare gli endpoint e una quota sufficiente per le istanze usate nei test comparativi.
I clienti possono gestire l’invio tramite AWS User Notifications e, facoltativamente, pianificare raccomandazioni ricorrenti, ad esempio esecuzioni mensili. Impostando la OPT_OUT_TRACKING variabile di ambiente nel container di un modello si interrompe la raccolta delle metriche del motore, delle metriche GPU e dei dettagli di configurazione all’avvio di quell’endpoint, impedendone anche l’invio delle notifiche.
Il supporto di un’ottimizzazione non ne garantisce i benefici. AWS afferma che i risultati della decodifica speculativa dipendono dalla concorrenza e dalla lunghezza dei prompt e delle risposte e possono variare tra i periodi di picco e quelli fuori picco. Questa distinzione definisce il ruolo pratico della funzionalità: la telemetria predefinita fornisce l’avviso, mentre il test comparativo stabilisce se il possibile risparmio o miglioramento della velocità si concretizza con il traffico rilevante.












