AI-modeller og platforme
AWS aktiverer som standard overvågning af SageMaker AI-inferensendpoints

NøglepunkterStandardovervågning registrerer latensafvigelser og inaktive GPU'er uden at kræve, at…
Vis mere
- Standardovervågning registrerer latensafvigelser og inaktive GPU'er uden at kræve, at brugerne på forhånd angiver tærskler.
- Fund åbner et agentbaseret SageMaker Studio-arbejdsforløb, der benchmarker alternativer på separat compute før produktionsændringer.
- Overvågning er fri for ekstra GPU-omkostninger og kan deaktiveres via miljøvariablen OPT_OUT_TRACKING.
Amazon Web Services (AWS) aktiverede den 19. november 2026 overvågning som standard for kvalificerede Amazon SageMaker AI-endpoints til generativ AI-inferens. Det tilføjede AWS Health-resultater om latenstid, der gradvist forværres, uudnyttet GPU-kapacitet og oversete optimeringer af serving.
Overvågningen kræver ingen opsætning på endpoints, der bruger vLLM-servingcontainere og GPU-instanser. Den aflæser latenstid på endpointniveau, GPU-udnyttelse og servingkonfiguration, men ikke indholdet af forespørgsler eller svar. Formålet er at opdage gradvise ændringer efter implementeringen, efterhånden som trafik, promptlængder, servingsoftware og modellens ressourcekrav ændrer sig.
Meddelelsen bygger videre på anbefalingerne til optimeret inferens med generativ AI, som AWS introducerede den 22. april 2026. Arbejdsgangen giver brugerne mulighed for at vælge omkostninger, latenstid eller gennemløb som mål, sammenligne op til tre instanstyper og benchmarke konfigurationer på rigtige GPU’er med NVIDIA AIPerf. Den understøtter også benchmarking af eksisterende produktionsendpoints; det nye lag føjer løbende overvågning og notifikationer til denne brugerinitierede beslutningsproces.
Hvad overvågningen registrerer
Resultater om ændringer i latenstid sammenligner medianen (p50) for latenstid fra start til slut og medianen for tiden til første token med endpointets egen foregående uge. Da grundlaget er historiske data, behøver brugerne ikke at fastsætte en tærskel på forhånd. Den efterfølgende benchmark afprøver indstillinger for tensorparallelisering samt alternative instanstyper eller -størrelser.
Andre resultater omfatter GPU’er, der udnyttes langt under deres kapacitet, understøttet, men deaktiveret spekulativ afkodning, GPU-kerner, der ikke er finjusteret, samt servingcontainere, der mangler nyere ydelsesforbedringer eller programrettelser til kritiske sårbarheder og sårbarheder med høj alvorlighedsgrad. Ved uudnyttet kapacitet afprøver benchmarken billigere instanstyper og mindre størrelser ved den observerede spidsbelastning. Konfigurationstest sammenligner den aktuelle opsætning med spekulativ afkodning aktiveret, finjusterede kerner eller en opdateret container, alt efter hvad der er relevant.
AWS’ eksempler er gennemgange, der illustrerer forløbet, ikke målinger på tværs af hele flåden: I det ene eksempel stiger medianen for tiden til første token med omkring 200 millisekunder fra uge til uge, mens det andet viser, at selv den mest belastede GPU i det meste af en uge højst udnyttes 12 % af sin kapacitet.
Fra Health-advarsel til benchmark
Resultaterne leveres via AWS Health og e-mail. Hvert endpoint modtager højst én notifikation ad gangen, som dækker alle relevante resultater. AWS begrænser, hvor mange notifikationer en konto kan modtage ad gangen, og notifikationerne er knyttet til endpointets AWS-region.
En notifikation beskriver, hvad der blev observeret, hvorfor det har betydning for latenstid, kapacitet eller omkostninger, og hvilken handling der anbefales. Eventuelle estimater er tydeligt markeret som estimater. Notifikationen formidler en observation, ikke en gennemført benchmark. Handlingen åbner en agentisk oplevelse i SageMaker Studio, hvor endpointet og dets observerede trafik allerede er udfyldt.
Når brugeren har bekræftet, genererer agenten en redigerbar SageMaker Python SDK-notesbog, der bruger endpointets model og en trafikprofil baseret på dets målinger. I notesbogen mærkes anbefalingsjobbet med AWS Health-hændelsen, så resultaterne kan knyttes til det pågældende resultat. Jobbet sammenligner den aktuelle konfiguration med alternativer med hensyn til svartid, gennemløb og omkostninger pr. million tokens ved hjælp af separat beregningskapacitet. Produktionsmiljøet ændres ikke, før brugeren anvender et resultat.
AWS anbefaler først at anvende den valgte konfiguration på én produktionsvariant, mens den eksisterende konfiguration fortsat er tilgængelig, hvis der skal rulles tilbage. Det er også helt normalt at afvente eller afvise et resultat, og notifikationen forbliver i hændelseshistorikken i AWS Health.
Omkostninger og muligheder for fravalg
Overvågningen medfører ingen ekstra GPU-omkostninger. Benchmarks faktureres efter de almindelige SageMaker AI-priser eller afholdes inden for en eksisterende reservation til maskinlæring. For at handle på et resultat kræves et SageMaker Studio-domæne, tilladelser i AWS Identity and Access Management til at køre anbefalingsjob og opdatere endpoints samt tilstrækkelig kvote for benchmarkinstanser.
Kunderne kan administrere leveringen via AWS User Notifications og eventuelt planlægge tilbagevendende anbefalinger, for eksempel månedlige kørsler. Indstilling af OPT_OUT_TRACKING miljøvariablen på en modelcontainer standser indsamlingen af endpointets motormålinger, GPU-målinger og oplysninger om opstartskonfigurationen samt forhindrer, at endpointet modtager notifikationer.
At en optimering understøttes, er ingen garanti for, at den giver en fordel. AWS oplyser, at resultaterne af spekulativ afkodning afhænger af samtidigheden samt prompt- og svarlængderne og kan variere mellem perioder med spidsbelastning og perioder uden spidsbelastning. Denne forskel afgrænser funktionens praktiske rolle: Standardtelemetrien giver en advarsel, mens benchmarken afgør, om en mulig besparelse eller hastighedsforøgelse holder ved den trafik, der er relevant.












