AI-modeller och plattformar
AWS aktiverar övervakning som standard för SageMaker AI-inferensslutpunkter

Viktiga punkterStandardövervakning flaggar latensdrift och inaktiva GPU:er utan att kräva att…
Visa mer
- Standardövervakning flaggar latensdrift och inaktiva GPU:er utan att kräva att användare ställer in tröskelvärden i förväg.
- Fynden öppnar ett agentbaserat SageMaker Studio-arbetsflöde som benchmarkar alternativ på separat beräkningskapacitet före produktionsändringar.
- Övervakningen är fri från extra GPU-kostnad och kan inaktiveras via miljövariabeln OPT_OUT_TRACKING.
Amazon Web Services (AWS) aktiverade den 19 november 2026 övervakning som standard för kvalificerade Amazon SageMaker AI-slutpunkter för generativ AI-inferens. Det innebär att AWS Health nu rapporterar iakttagelser om latensförändringar, outnyttjad GPU-kapacitet och missade serveringsoptimeringar.
Övervakningen kräver ingen konfiguration för slutpunkter som använder vLLM-serveringscontainrar och GPU-instanser. Den läser av latens på slutpunktsnivå, GPU-användning och serveringskonfiguration, men inte innehållet i förfrågningar eller svar. Syftet är att upptäcka gradvisa förändringar efter driftsättning, när trafik, promptlängder, serveringsprogramvara och modellernas resursbehov förändras.
Tillkännagivandet bygger vidare på AWS rekommendationer för optimerad inferens med generativ AI, som AWS introducerade den 22 april 2026. Med det arbetsflödet kan användare välja kostnad, latens eller genomströmning som mål, jämföra upp till tre instanstyper och jämföra konfigurationer på riktiga GPU:er med NVIDIA AIPerf. Det stöder också tester av befintliga produktionsslutpunkter. Det nya lagret kompletterar den användarinitierade beslutsprocessen med löpande övervakning och aviseringar.
Vad övervakningen upptäcker
Iakttagelser om latensförändringar bygger på en jämförelse mellan medianvärdet (p50) för latensen från början till slut och medianvärdet för tiden till första token under den föregående veckan för just den aktuella slutpunkten. Eftersom jämförelsen utgår från historiska värden behöver användarna inte ange ett tröskelvärde i förväg. Ett efterföljande jämförelsetest provar inställningar för tensorparallellism och alternativa instanstyper eller -storlekar.
Andra iakttagelser gäller GPU:er som används långt under sin kapacitet, spekulativ avkodning som stöds men är inaktiverad, GPU-kärnor som inte har finjusterats samt serveringscontainrar som saknar nyare prestandaförbättringar eller korrigeringar för kritiska sårbarheter och sårbarheter med hög allvarlighetsgrad. Vid outnyttjad kapacitet testar jämförelsetestet billigare instanstyper och mindre storlekar utifrån den observerade trafiken vid belastningstoppar. Konfigurationstester jämför den aktuella inställningen med spekulativ avkodning aktiverad, finjusterade kärnor eller en uppdaterad container, beroende på vad som är tillämpligt.
AWS exempel är genomgångar som illustrerar funktionerna, inte mätningar av hela flottan: i ett exempel ökar medianvärdet för tiden till första token med cirka 200 millisekunder jämfört med föregående vecka, medan ett annat visar att även den mest belastade GPU:n använder högst 12 % av kapaciteten under större delen av en vecka.
Från hälsoavisering till jämförelsetest
Iakttagelser rapporteras via AWS Health och e-post. Varje slutpunkt får högst en avisering åt gången som omfattar alla tillämpliga iakttagelser. AWS begränsar hur många aviseringar ett konto får samtidigt, och aviseringarna gäller den AWS-region där slutpunkten finns.
I aviseringen anges vad som har observerats, varför det har betydelse för latens, kapacitet eller kostnad samt en rekommenderad åtgärd. Eventuella uppskattningar märks uttryckligen som uppskattningar. Aviseringen är en observation, inte ett slutfört jämförelsetest. Åtgärden öppnar en agentbaserad upplevelse i SageMaker Studio, där slutpunkten och dess observerade trafik redan är ifyllda.
När användaren har bekräftat skapar agenten en redigerbar anteckningsbok för SageMaker Python SDK, baserad på slutpunktens modell och en trafikprofil som härletts från dess mätvärden. Anteckningsboken märker rekommendationsjobbet med AWS Health-händelsen, så att resultaten kan kopplas till iakttagelsen. Jobbet jämför den aktuella konfigurationen med alternativ utifrån svarstid, genomströmning och kostnad per miljon token, med separat beräkningskapacitet. Produktionsmiljön ändras inte förrän användaren tillämpar ett resultat.
AWS rekommenderar att en vald konfiguration först tillämpas på en produktionsvariant, samtidigt som den befintliga konfigurationen behålls för återställning. Det är också helt normalt att avvakta med eller avfärda en iakttagelse. Aviseringen finns då fortfarande kvar i händelsehistoriken i AWS Health.
Kostnader och möjligheter att välja bort
Övervakningen medför inga extra GPU-kostnader. Jämförelsetester debiteras enligt de vanliga avgifterna för SageMaker AI eller belastar en befintlig reservering för maskininlärning. För att agera på en iakttagelse krävs en SageMaker Studio-domän, behörighet i AWS Identity and Access Management att köra rekommendationsjobb och uppdatera slutpunkter samt tillräcklig kvot för jämförelseinstanser.
Kunder kan hantera leveransen via AWS User Notifications och välja att schemalägga återkommande rekommendationer, till exempel månatliga körningar. Genom att ställa in OPT_OUT_TRACKING miljövariabeln i en modellcontainer stoppas insamlingen av motormätvärden, GPU-mätvärden och uppgifter om startkonfiguration för den slutpunkten, och dess aviseringar uteblir.
Att en optimering stöds innebär inte att den ger någon fördel. AWS uppger att resultaten av spekulativ avkodning beror på samtidigheten samt promptarnas och svarens längd, och att de kan skilja sig mellan trafiktoppar och perioder med låg belastning. Den skillnaden visar funktionens praktiska roll: standardmässig telemetri ger varningen, medan jämförelsetestet avgör om en möjlig besparing eller prestandaökning håller vid den trafik som är viktig.












