Modely a platformy AI
AWS zavádí výchozí monitorování inferenčních koncových bodů SageMaker AI

Klíčové bodyVýchozí monitorování označuje latenci, posun a nečinné GPU, aniž by uživatelé museli…
Zobrazit více
- Výchozí monitorování označuje latenci, posun a nečinné GPU, aniž by uživatelé museli předem nastavovat prahové hodnoty.
- Zjištění otevírají agentní pracovní postup SageMaker Studio, který před produkčními změnami porovnává alternativy na samostatném výpočetním prostředku.
- Monitorování je bez dodatečných nákladů na GPU a lze jej vypnout pomocí proměnné prostředí OPT_OUT_TRACKING.
Amazon Web Services (AWS) 19. listopadu 2026 zapnula výchozí monitorování způsobilých inferenčních koncových bodů Amazon SageMaker AI pro generativní AI. Přidala tak zjištění AWS Health týkající se odchylek latence, nevyužité kapacity GPU a neprovedených optimalizací obsluhy.
Monitorování nevyžaduje žádné nastavení u koncových bodů, které používají obslužné kontejnery vLLM a instance s GPU. Sleduje latenci na úrovni koncového bodu, využití GPU a konfiguraci obsluhy, nikoli obsah požadavků nebo odpovědí. Jeho cílem je zachytit postupné odchylky po nasazení, k nimž dochází se změnami provozu, délek promptů, obslužného softwaru a nároků modelu na prostředky.
Toto oznámení rozšiřuje doporučení pro optimalizovanou inferenci generativní AI, která AWS představila 22. dubna 2026. Tento postup uživatelům umožňuje zvolit jako cíl náklady, latenci nebo propustnost, porovnat až tři typy instancí a testovat konfigurace na skutečných GPU pomocí NVIDIA AIPerf. Podporuje také testování stávajících produkčních koncových bodů; nová vrstva k rozhodovacímu procesu iniciovanému uživatelem přidává průběžné sledování a upozornění.
Co monitorování odhaluje
Zjištění týkající se odchylek latence porovnávají mediánovou (p50) latenci od začátku do konce a mediánovou dobu do prvního tokenu s hodnotami daného koncového bodu z předchozího týdne. Protože se vychází z historických údajů, uživatelé nemusí předem nastavovat limit. Následný test porovná nastavení tensorové paralelizace a alternativní typy či velikosti instancí.
Další zjištění se týkají GPU, jejichž kapacita zůstává výrazně nevyužitá, podporovaného, ale vypnutého spekulativního dekódování, nevyladěných jader GPU a obslužných kontejnerů, v nichž chybí novější výkonnostní vylepšení nebo opravy kritických zranitelností a zranitelností s vysokou závažností. V případě nevyužité kapacity test ověří levnější typy instancí a menší velikosti při zaznamenané špičce provozu. Testy konfigurace podle potřeby porovnají aktuální nastavení se zapnutým spekulativním dekódováním, vyladěnými jádry nebo aktualizovaným kontejnerem.
Příklady AWS představují názorné ukázky, nikoli měření napříč celým portfoliem: v jednom případě se uvádí, že mediánová doba do prvního tokenu se oproti předchozímu týdnu prodloužila přibližně o 200 milisekund, v jiném pak že i nejvytíženější GPU využívalo po většinu týdne nejvýše 12 % kapacity.
Od upozornění Health k testování
Zjištění se doručují prostřednictvím AWS Health a e-mailem. Každý koncový bod může mít v jednu chvíli nejvýše jedno oznámení, které zahrnuje všechna příslušná zjištění. AWS omezuje počet oznámení doručených účtu současně a oznámení se vztahují ke konkrétnímu regionu AWS daného koncového bodu.
Oznámení uvádí, co bylo zjištěno, proč je to důležité z hlediska latence, kapacity nebo nákladů a jaký krok se doporučuje; odhady jsou výslovně označeny jako odhady. Jde o zjištění, nikoli o dokončený test. Doporučený krok otevře v SageMaker Studio prostředí s agentními funkcemi, v němž jsou předvyplněny údaje o koncovém bodu a zaznamenaném provozu.
Po potvrzení uživatelem agent vytvoří upravitelný notebook pro SageMaker Python SDK, který využívá model daného koncového bodu a profil provozu odvozený z jeho metrik. Úloha s doporučením v notebooku je označena událostí AWS Health, aby bylo možné výsledky spojit s příslušným zjištěním. Úloha porovná aktuální konfiguraci s alternativami z hlediska doby odezvy, propustnosti a nákladů na milion tokenů; využívá přitom oddělené výpočetní prostředky. Produkční prostředí se nezmění, dokud uživatel některý z výsledků neuplatní.
AWS doporučuje nejprve nasadit vybranou konfiguraci na jednu produkční variantu a současně ponechat stávající konfiguraci k dispozici pro případ návratu k původnímu stavu. Zjištění lze také ponechat bez akce nebo odmítnout; oznámení zůstane v historii událostí AWS Health.
Náklady a možnosti odhlášení
Monitorování neznamená žádné dodatečné náklady na GPU. Testy se účtují podle standardních sazeb SageMaker AI nebo se hradí z již existující rezervace pro strojové učení. Reakce na zjištění vyžaduje doménu SageMaker Studio, oprávnění AWS Identity and Access Management ke spouštění úloh s doporučeními a aktualizaci koncových bodů a také dostatečný kvótový limit pro instance používané při testování.
Zákazníci mohou spravovat doručování prostřednictvím AWS User Notifications a případně naplánovat pravidelná doporučení, například měsíční spuštění. Nastavení OPT_OUT_TRACKING proměnné prostředí v kontejneru modelu zastaví sběr metrik enginu a GPU i podrobností o konfiguraci při spuštění daného koncového bodu a zabrání doručování jeho oznámení.
Podpora optimalizace nezaručuje, že přinese zlepšení. AWS uvádí, že výsledky spekulativního dekódování závisejí na souběžnosti a délkách promptů a odpovědí a mohou se lišit při špičkovém a mimošpičkovém provozu. Právě toto rozlišení vymezuje praktický účel této funkce: výchozí telemetrie poskytuje upozornění, zatímco test ověřuje, zda se případná úspora nebo zrychlení skutečně projeví při provozu, na kterém záleží.












