AI-modeller og plattformer

AWS aktiverer overvåking som standard for SageMaker AI-inferensendepunkter

Theo Nash
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterStandardovervåking flagger latensavvik og ledige GPU-er uten at brukere må angi…
Vis mer
  • Standardovervåking flagger latensavvik og ledige GPU-er uten at brukere må angi terskler på forhånd.
  • Funn åpner en agentbasert SageMaker Studio-arbeidsflyt som benchmarker alternativer på separat databehandling før produksjonsendringer.
  • Overvåkingen er fri for ekstra GPU-kostnader og kan deaktiveres gjennom miljøvariabelen OPT_OUT_TRACKING.

Amazon Web Services (AWS) aktiverte 19. november 2026 overvåking som standard for kvalifiserte Amazon SageMaker AI-endepunkter for generativ AI-inferens. Dette la til AWS Health-funn for forsinkelsesdrift, ledig GPU-kapasitet og oversette optimaliseringer av inferensbetjeningen.

Overvåkingen krever ingen oppsett på endepunkter som bruker vLLM-inferenscontainere og GPU-instanser. Den leser forsinkelse på endepunktsnivå, GPU-utnyttelse og konfigurasjonen for inferensbetjeningen, men ikke innholdet i forespørsler eller svar. Målet er å oppdage gradvise endringer etter utrulling, etter hvert som trafikk, lengden på ledetekster, programvaren for inferensbetjening og modellens ressursbehov endrer seg.

Kunngjøringen bygger videre på anbefalingene for optimalisert generativ AI-inferens som AWS introduserte 22. april 2026. Med denne arbeidsflyten kan brukerne velge kostnad, forsinkelse eller gjennomstrømning som mål, sammenligne opptil tre instanstyper og måle konfigurasjoner på faktiske GPU-er med NVIDIA AIPerf. Den støtter også målinger av eksisterende produksjonsendepunkter; det nye laget føyer til løpende overvåking og varsler i denne brukerinitierte beslutningsprosessen.

Hva overvåkingen oppdager

Funn om forsinkelsesdrift sammenligner medianen (p50) for forsinkelse fra ende til ende og median tid til første token med endepunktets egne målinger fra den foregående uken. Siden referansegrunnlaget er historisk, trenger ikke brukerne å angi en terskel på forhånd. En måling som følge av funnet tester innstillinger for tensorparallellisering og alternative instanstyper eller -størrelser.

Andre funn gjelder GPU-er som utnyttes langt under kapasiteten, støttet spekulativ dekoding som er deaktivert, GPU-kjerner som ikke er optimalisert, og inferenscontainere som mangler nyere ytelsesforbedringer eller oppdateringer mot sårbarheter med kritisk eller høy alvorlighetsgrad. Når kapasitet står ubrukt, tester målingen rimeligere instanstyper og mindre størrelser ved den observerte trafikktoppen. Konfigurasjonstestene sammenligner det gjeldende oppsettet med spekulativ dekoding aktivert, optimaliserte kjerner eller en oppdatert container, alt etter hva som er relevant.

AWS’ eksempler er gjennomganger som illustrerer funksjonen, ikke målinger på tvers av hele flåten: I ett eksempel øker median tid til første token med rundt 200 millisekunder fra én uke til den neste, mens et annet viser at selv den travleste GPU-en bruker 12 % eller mindre av kapasiteten det meste av en uke.

Fra helsevarsel til måling

Funnene formidles gjennom AWS Health og e-post. Hvert endepunkt får maksimalt ett varsel om gangen, som dekker alle relevante funn. AWS begrenser hvor mange varsler en konto kan motta samtidig, og varsler gjelder bare AWS-regionen endepunktet befinner seg i.

Et varsel beskriver hva som ble observert, hvorfor det har betydning for forsinkelse, kapasitet eller kostnad, og anbefaler en handling. Eventuelle anslag er tydelig merket som anslag. Varslet er en observasjon, ikke en fullført måling. Handlingen åpner en agentbasert opplevelse i SageMaker Studio, der endepunktet og den observerte trafikken allerede er fylt inn.

Når brukeren har bekreftet, genererer agenten en redigerbar notatbok for SageMaker Python SDK, basert på endepunktets modell og en trafikkprofil utledet fra måledataene. Notatboken merker anbefalingsjobben med AWS Health-hendelsen, slik at resultatene kan knyttes til funnet. Jobben sammenligner den gjeldende konfigurasjonen med alternativer ut fra responstid, gjennomstrømning og kostnad per million token, ved hjelp av separat datakraft. Produksjonsmiljøet endres ikke før brukeren tar i bruk et resultat.

AWS anbefaler å ta en valgt konfigurasjon i bruk på én produksjonsvariant først, samtidig som den eksisterende konfigurasjonen beholdes som en mulighet for tilbakerulling. Det er også normalt å la et funn stå eller avvise det, og varselet blir værende i historikken over AWS Health-hendelser.

Kostnader og innstillinger for å reservere seg

Overvåkingen medfører ingen ekstra GPU-kostnader. Målinger faktureres etter vanlige SageMaker AI-priser eller belastes en eksisterende reservasjon for maskinlæring. For å følge opp et funn trenger man et SageMaker Studio-domene, tillatelser i AWS Identity and Access Management til å kjøre anbefalingsjobber og oppdatere endepunkter, samt tilstrekkelig kvote for målingsinstanser.

Kundene kan styre utsendingen via AWS User Notifications og eventuelt planlegge gjentatte anbefalinger, for eksempel månedlige kjøringer. Ved å angi OPT_OUT_TRACKING miljøvariabelen i en modellcontainer stanses innsamlingen av måledata for inferensmotoren og GPU-en samt opplysninger om oppstartskonfigurasjonen for det aktuelle endepunktet, og varsler forhindres.

Støtte for en optimalisering er ingen garanti for at den vil gi en fordel. AWS opplyser at resultatene av spekulativ dekoding avhenger av samtidighet og lengden på ledetekster og svar, og kan variere mellom perioder med høy og lav trafikk. Dette viser funksjonens praktiske rolle: Overvåkingsdata som samles inn som standard, varsler om mulige problemer, mens målingen avgjør om en mulig besparelse eller hastighetsøkning faktisk oppnås ved den trafikken som betyr noe.

Theo Nash er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-infrastruktur, beregning og maskinvaresystemene som driver moderne kunstig intelligens. Arbeidet hans fokuserer på de tekniske grunnlagene bak AI-arbeidsbelastninger i stor skala, inkludert datasentre, akseleratorer, nettverk og programvarestablene som binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøker Theo hvordan fremskritt innen GPU-er, tilpasset silisium, minnearkitekturer og distribuerte systemer muliggjør nye generasjoner av AI-modeller. Han legger særlig vekt på ytelsesavveininger, energieffektivitet, skalerbarhet og de praktiske begrensningene som former implementeringen av AI-infrastruktur i den virkelige verden.

Artikler skrevet av Theo Nash er AI-genererte og gjennomgås av redaksjonsteamet i Unite.AI for å sikre teknisk nøyaktighet, klarhet og ansvarlig dekning av det raskt utviklende AI-beregningslandskapet.