AI-modellen en platforms
AWS schakelt standaardbewaking in voor SageMaker AI-inferentie-eindpunten

Belangrijkste puntenStandaardbewaking signaleert latentiedrift en inactieve GPU's zonder dat gebruikers…
Meer weergeven
- Standaardbewaking signaleert latentiedrift en inactieve GPU's zonder dat gebruikers vooraf drempels hoeven in te stellen.
- Bevindingen openen een agentische SageMaker Studio-workflow die alternatieven op afzonderlijke compute benchmarkt voordat productiewijzigingen plaatsvinden.
- Bewaking kost geen extra GPU-kosten en kan worden uitgeschakeld via de omgevingsvariabele OPT_OUT_TRACKING.
Amazon Web Services (AWS) heeft op 19 november 2026 standaardbewaking ingeschakeld voor daarvoor in aanmerking komende generatieve-AI-inferentie-eindpunten van Amazon SageMaker AI. Daarbij zijn AWS Health-bevindingen toegevoegd voor latentieverschuivingen, ongebruikte GPU-capaciteit en gemiste optimalisaties van de serving.
Voor eindpunten die vLLM-servingcontainers en GPU-instanties gebruiken, is geen configuratie nodig. De bewaking leest de latentie op eindpuntniveau, het GPU-gebruik en de servingconfiguratie, maar niet de inhoud van verzoeken of antwoorden. Het doel is geleidelijke afwijkingen na implementatie te signaleren, naarmate het verkeer, de promptlengtes, de servingsoftware en de benodigde modelresources veranderen.
De aankondiging bouwt voort op de aanbevelingen voor geoptimaliseerde generatieve-AI-inferentie die AWS op 22 april 2026 introduceerde. Met die workflow kunnen gebruikers kosten, latentie of doorvoer als doel kiezen, maximaal drie typen instanties vergelijken en configuraties op echte GPU’s benchmarken met NVIDIA AIPerf. De workflow ondersteunt ook benchmarks van bestaande productie-eindpunten; de nieuwe laag voegt doorlopende observatie en meldingen toe aan dat door de gebruiker gestuurde besluitvormingsproces.
Wat de bewaking detecteert
Bevindingen over latentieverschuivingen vergelijken de mediane (p50) end-to-endlatentie en de mediane tijd tot het eerste token met die van de voorgaande week voor het betreffende eindpunt. Omdat de basislijn op historische gegevens berust, hoeven gebruikers niet vooraf een drempelwaarde in te stellen. Een benchmark naar aanleiding van zo’n bevinding test instellingen voor tensorparallelisme en alternatieve typen of formaten instanties.
Andere bevindingen betreffen GPU’s die ruim onder hun capaciteit blijven, ondersteunde maar uitgeschakelde speculatieve decodering, niet-afgestelde GPU-kernels en servingcontainers waarin nieuwere prestatieverbeteringen ontbreken of patches voor kritieke en zeer ernstige kwetsbaarheden niet zijn aangebracht. Bij ongebruikte capaciteit test de benchmark goedkopere typen instanties en kleinere formaten bij het waargenomen piekverkeer. Configuratietests vergelijken de huidige configuratie, indien van toepassing, met speculatieve decodering ingeschakeld, afgestelde kernels of een bijgewerkte container.
De voorbeelden van AWS zijn illustraties van stapsgewijze procedures, geen metingen van het volledige machinepark: in één voorbeeld stijgt de mediane tijd tot het eerste token van week op week met ongeveer 200 milliseconden; in een ander voorbeeld gebruikt zelfs de drukst belaste GPU gedurende het grootste deel van een week hooguit 12% van de capaciteit.
Van gezondheidswaarschuwing naar benchmark
Bevindingen worden via AWS Health en e-mail verstuurd. Elk eindpunt ontvangt op een bepaald moment hooguit één melding met daarin alle toepasselijke bevindingen. AWS beperkt hoeveel meldingen een account tegelijk ontvangt, en meldingen zijn specifiek voor de AWS-regio van het eindpunt.
In een melding staat wat is waargenomen, waarom dat van belang is voor de latentie, capaciteit of kosten en welke actie wordt aanbevolen; schattingen worden daarbij als schattingen aangeduid. De melding beschrijft een waarneming, geen voltooide benchmark. Via de actie wordt in SageMaker Studio een agentische ervaring geopend, waarin het eindpunt en het waargenomen verkeer al zijn ingevuld.
Nadat de gebruiker bevestigt, genereert de agent een bewerkbaar SageMaker Python SDK-notebook met het model van het eindpunt en een verkeersprofiel dat is afgeleid van de bijbehorende statistieken. Het notebook koppelt de aanbevelingstaak aan de AWS Health-gebeurtenis, zodat de resultaten naar de bevinding kunnen worden herleid. De taak vergelijkt de huidige configuratie met alternatieven op basis van responstijd, doorvoer en kosten per miljoen tokens, met afzonderlijke rekenresources. De productieomgeving verandert pas wanneer de gebruiker een resultaat toepast.
AWS raadt aan een gekozen configuratie eerst op één productievariant toe te passen en de bestaande configuratie beschikbaar te houden om zo nodig terug te draaien. Een bevinding in behandeling laten of negeren is ook een normale uitkomst; de melding blijft bewaard in de gebeurtenisgeschiedenis van AWS Health.
Kosten en mogelijkheden om deelname uit te schakelen
Aan de bewaking zijn geen extra GPU-kosten verbonden. Voor benchmarks gelden de standaardtarieven van SageMaker AI of kan een bestaande reservering voor machine learning worden gebruikt. Om op een bevinding te reageren, is een SageMaker Studio-domein nodig, evenals AWS Identity and Access Management-machtigingen om aanbevelingstaken uit te voeren en eindpunten bij te werken, en voldoende quotum voor benchmarkinstanties.
Klanten kunnen de verzending beheren via AWS User Notifications en desgewenst terugkerende aanbevelingen inplannen, bijvoorbeeld maandelijks. Door de OPT_OUT_TRACKING omgevingsvariabele in te stellen in een modelcontainer, worden de engine- en GPU-statistieken en de gegevens over de opstartconfiguratie van dat eindpunt niet meer verzameld en worden de bijbehorende meldingen voorkomen.
Ondersteuning voor een optimalisatie garandeert geen voordeel. Volgens AWS hangen de resultaten van speculatieve decodering af van de gelijktijdigheid en de lengte van prompts en antwoorden, en kunnen ze verschillen tussen piek- en dalverkeer. Dat onderscheid bepaalt de praktische rol van de functie: standaardtelemetrie geeft de waarschuwing, terwijl de benchmark uitwijst of een mogelijke besparing of snelheidswinst ook geldt bij het verkeer dat ertoe doet.












