Modely a platformy AI

AWS zavádí výchozí monitorování inferenčních koncových bodů SageMaker AI

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyVýchozí monitorování označuje latenci, posun a nečinné GPU, aniž by uživatelé museli…
Zobrazit více
  • Výchozí monitorování označuje latenci, posun a nečinné GPU, aniž by uživatelé museli předem nastavovat prahové hodnoty.
  • Zjištění otevírají agentní pracovní postup SageMaker Studio, který před produkčními změnami porovnává alternativy na samostatném výpočetním prostředku.
  • Monitorování je bez dodatečných nákladů na GPU a lze jej vypnout pomocí proměnné prostředí OPT_OUT_TRACKING.

Amazon Web Services (AWS) 19. listopadu 2026 zapnula výchozí monitorování způsobilých inferenčních koncových bodů Amazon SageMaker AI pro generativní AI. Přidala tak zjištění AWS Health týkající se odchylek latence, nevyužité kapacity GPU a neprovedených optimalizací obsluhy.

Monitorování nevyžaduje žádné nastavení u koncových bodů, které používají obslužné kontejnery vLLM a instance s GPU. Sleduje latenci na úrovni koncového bodu, využití GPU a konfiguraci obsluhy, nikoli obsah požadavků nebo odpovědí. Jeho cílem je zachytit postupné odchylky po nasazení, k nimž dochází se změnami provozu, délek promptů, obslužného softwaru a nároků modelu na prostředky.

Toto oznámení rozšiřuje doporučení pro optimalizovanou inferenci generativní AI, která AWS představila 22. dubna 2026. Tento postup uživatelům umožňuje zvolit jako cíl náklady, latenci nebo propustnost, porovnat až tři typy instancí a testovat konfigurace na skutečných GPU pomocí NVIDIA AIPerf. Podporuje také testování stávajících produkčních koncových bodů; nová vrstva k rozhodovacímu procesu iniciovanému uživatelem přidává průběžné sledování a upozornění.

Co monitorování odhaluje

Zjištění týkající se odchylek latence porovnávají mediánovou (p50) latenci od začátku do konce a mediánovou dobu do prvního tokenu s hodnotami daného koncového bodu z předchozího týdne. Protože se vychází z historických údajů, uživatelé nemusí předem nastavovat limit. Následný test porovná nastavení tensorové paralelizace a alternativní typy či velikosti instancí.

Další zjištění se týkají GPU, jejichž kapacita zůstává výrazně nevyužitá, podporovaného, ale vypnutého spekulativního dekódování, nevyladěných jader GPU a obslužných kontejnerů, v nichž chybí novější výkonnostní vylepšení nebo opravy kritických zranitelností a zranitelností s vysokou závažností. V případě nevyužité kapacity test ověří levnější typy instancí a menší velikosti při zaznamenané špičce provozu. Testy konfigurace podle potřeby porovnají aktuální nastavení se zapnutým spekulativním dekódováním, vyladěnými jádry nebo aktualizovaným kontejnerem.

Příklady AWS představují názorné ukázky, nikoli měření napříč celým portfoliem: v jednom případě se uvádí, že mediánová doba do prvního tokenu se oproti předchozímu týdnu prodloužila přibližně o 200 milisekund, v jiném pak že i nejvytíženější GPU využívalo po většinu týdne nejvýše 12 % kapacity.

Od upozornění Health k testování

Zjištění se doručují prostřednictvím AWS Health a e-mailem. Každý koncový bod může mít v jednu chvíli nejvýše jedno oznámení, které zahrnuje všechna příslušná zjištění. AWS omezuje počet oznámení doručených účtu současně a oznámení se vztahují ke konkrétnímu regionu AWS daného koncového bodu.

Oznámení uvádí, co bylo zjištěno, proč je to důležité z hlediska latence, kapacity nebo nákladů a jaký krok se doporučuje; odhady jsou výslovně označeny jako odhady. Jde o zjištění, nikoli o dokončený test. Doporučený krok otevře v SageMaker Studio prostředí s agentními funkcemi, v němž jsou předvyplněny údaje o koncovém bodu a zaznamenaném provozu.

Po potvrzení uživatelem agent vytvoří upravitelný notebook pro SageMaker Python SDK, který využívá model daného koncového bodu a profil provozu odvozený z jeho metrik. Úloha s doporučením v notebooku je označena událostí AWS Health, aby bylo možné výsledky spojit s příslušným zjištěním. Úloha porovná aktuální konfiguraci s alternativami z hlediska doby odezvy, propustnosti a nákladů na milion tokenů; využívá přitom oddělené výpočetní prostředky. Produkční prostředí se nezmění, dokud uživatel některý z výsledků neuplatní.

AWS doporučuje nejprve nasadit vybranou konfiguraci na jednu produkční variantu a současně ponechat stávající konfiguraci k dispozici pro případ návratu k původnímu stavu. Zjištění lze také ponechat bez akce nebo odmítnout; oznámení zůstane v historii událostí AWS Health.

Náklady a možnosti odhlášení

Monitorování neznamená žádné dodatečné náklady na GPU. Testy se účtují podle standardních sazeb SageMaker AI nebo se hradí z již existující rezervace pro strojové učení. Reakce na zjištění vyžaduje doménu SageMaker Studio, oprávnění AWS Identity and Access Management ke spouštění úloh s doporučeními a aktualizaci koncových bodů a také dostatečný kvótový limit pro instance používané při testování.

Zákazníci mohou spravovat doručování prostřednictvím AWS User Notifications a případně naplánovat pravidelná doporučení, například měsíční spuštění. Nastavení OPT_OUT_TRACKING proměnné prostředí v kontejneru modelu zastaví sběr metrik enginu a GPU i podrobností o konfiguraci při spuštění daného koncového bodu a zabrání doručování jeho oznámení.

Podpora optimalizace nezaručuje, že přinese zlepšení. AWS uvádí, že výsledky spekulativního dekódování závisejí na souběžnosti a délkách promptů a odpovědí a mohou se lišit při špičkovém a mimošpičkovém provozu. Právě toto rozlišení vymezuje praktický účel této funkce: výchozí telemetrie poskytuje upozornění, zatímco test ověřuje, zda se případná úspora nebo zrychlení skutečně projeví při provozu, na kterém záleží.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.