Modele și platforme AI
AWS activează monitorizarea implicită pentru punctele finale de inferență SageMaker AI

Puncte cheieMonitorizarea implicită detectează deriva de latență și GPU-urile inactive fără a le…
Vezi mai mult
- Monitorizarea implicită detectează deriva de latență și GPU-urile inactive fără a le cere utilizatorilor să stabilească praguri în avans.
- Constatările deschid un flux de lucru agentic SageMaker Studio care testează alternative pe resurse de calcul separate înainte de modificările din producție.
- Monitorizarea este lipsită de costuri suplimentare pentru GPU și poate fi dezactivată prin variabila de mediu OPT_OUT_TRACKING.
Amazon Web Services (AWS) a activat, la 19 noiembrie 2026, monitorizarea implicită pentru punctele finale eligibile de inferență AI generativă Amazon SageMaker AI, adăugând constatări AWS Health privind variațiile latenței, capacitatea GPU neutilizată și optimizările de servire neaplicate.
Monitorizarea nu necesită configurare pentru punctele finale care folosesc containere de servire vLLM și instanțe GPU. Ea colectează latența la nivelul punctului final, gradul de utilizare a GPU-ului și configurația de servire, nu conținutul solicitărilor sau al răspunsurilor. Scopul este să identifice variațiile treptate de după implementare, pe măsură ce se schimbă traficul, lungimea prompturilor, software-ul de servire și cerințele de resurse ale modelului.
Anunțul extinde recomandările pentru optimizarea inferenței AI generative pe care AWS le-a introdus la 22 aprilie 2026. Fluxul de lucru le permite utilizatorilor să aleagă drept obiectiv costul, latența sau debitul, să compare până la trei tipuri de instanțe și să evalueze configurații pe GPU-uri reale cu NVIDIA AIPerf. De asemenea, permite evaluarea comparativă a punctelor finale de producție existente; noul nivel adaugă monitorizare continuă și notificări la acest proces decizional inițiat de utilizator.
Ce detectează monitorizarea
Constatările privind variațiile latenței compară latența mediană (p50) de la un capăt la altul și timpul median până la primul token cu valorile înregistrate la același punct final în săptămâna precedentă. Deoarece valoarea de referință este una istorică, utilizatorii nu trebuie să stabilească dinainte un prag. Evaluarea comparativă rezultată testează setările de paralelism al tensorilor și tipuri sau dimensiuni alternative de instanțe.
Alte constatări vizează GPU-urile care rămân mult sub capacitate, decodarea speculativă acceptată, dar dezactivată, nucleele GPU neoptimizate și containerele de servire cărora le lipsesc îmbunătățiri mai noi de performanță sau remedieri pentru vulnerabilități critice și de gravitate ridicată. Pentru capacitatea neutilizată, evaluarea comparativă testează tipuri de instanțe mai ieftine și dimensiuni mai mici la nivelul de trafic de vârf observat. Testele de configurare compară setarea actuală cu decodarea speculativă activată, nuclee optimizate sau un container actualizat, după caz.
Exemplele AWS sunt demonstrații explicative, nu măsurători la nivelul întregii flote: într-unul, timpul median până la primul token crește cu aproximativ 200 de milisecunde de la o săptămână la alta, iar în altul, chiar și cel mai solicitat GPU folosește cel mult 12% din capacitate în cea mai mare parte a unei săptămâni.
De la alerta Health la evaluarea comparativă
Constatările sunt transmise prin AWS Health și prin e-mail. Fiecare punct final primește cel mult o notificare simultan, care acoperă toate constatările aplicabile; AWS limitează numărul de notificări pe care le primește un cont simultan, iar notificările sunt specifice regiunii AWS a punctului final.
O notificare precizează ce s-a observat, de ce este important pentru latență, capacitate sau cost și ce acțiune se recomandă; estimările sunt marcate explicit ca estimări. Este vorba despre o observație, nu despre o evaluare comparativă deja efectuată. Acțiunea deschide în SageMaker Studio o experiență agentică, în care punctul final și traficul observat pentru acesta sunt deja completate.
După confirmarea utilizatorului, agentul generează un notebook editabil pentru SageMaker Python SDK, folosind modelul punctului final și un profil de trafic derivat din valorile măsurate. Notebookul etichetează sarcina de recomandare cu evenimentul AWS Health, astfel încât rezultatele să poată fi corelate cu constatarea. Sarcina compară configurația actuală cu alternativele în privința timpului de răspuns, debitului și costului per milion de tokenuri, folosind resurse de calcul separate; configurația de producție rămâne neschimbată până când utilizatorul aplică un rezultat.
AWS recomandă aplicarea configurației alese mai întâi unei singure variante de producție, păstrând configurația existentă disponibilă pentru revenire. Este normal și să se amâne sau să se respingă o constatare, iar notificarea rămâne în istoricul evenimentelor AWS Health.
Costuri și opțiuni de dezactivare
Monitorizarea nu implică niciun cost suplimentar pentru GPU. Evaluările comparative se taxează la tarifele standard SageMaker AI sau se efectuează în limita unei rezervări existente pentru învățare automată, iar pentru a acționa în urma unei constatări sunt necesare un domeniu SageMaker Studio, permisiuni AWS Identity and Access Management pentru a rula sarcini de recomandare și a actualiza puncte finale, precum și o cotă suficientă pentru instanțele folosite la evaluare.
Clienții pot gestiona livrarea prin AWS User Notifications și pot, opțional, să programeze recomandări recurente, de exemplu rulări lunare. Setarea OPT_OUT_TRACKING variabilei de mediu în containerul unui model oprește colectarea valorilor motorului, a valorilor GPU și a detaliilor configurației de pornire pentru punctul final respectiv și împiedică trimiterea notificărilor aferente.
Faptul că o optimizare este acceptată nu garantează că va aduce beneficii. AWS precizează că rezultatele decodării speculative depind de concurență și de lungimea prompturilor și a răspunsurilor și pot diferi între perioadele de vârf și cele din afara vârfului. Această distincție definește rolul practic al funcției: telemetria implicită oferă avertizarea, iar evaluarea comparativă stabilește dacă economia sau accelerarea posibilă se confirmă la nivelul de trafic relevant.












