AI-mallit ja alustat
AWS ottaa käyttöön SageMaker AI -päätepisteiden oletusvalvonnan

Keskeiset kohdatOletusvalvonta havaitsee viiveen ajautumisen ja käyttämättömät GPU:t ilman, että…
Näytä lisää
- Oletusvalvonta havaitsee viiveen ajautumisen ja käyttämättömät GPU:t ilman, että käyttäjien täytyy asettaa kynnysarvoja etukäteen.
- Havainnot avaavat agenttisen SageMaker Studio -työnkulun, joka vertailee vaihtoehtoja erillisellä laskennalla ennen tuotantomuutoksia.
- Valvonta on ilman ylimääräisiä GPU-kustannuksia, ja sen voi poistaa käytöstä OPT_OUT_TRACKING-ympäristömuuttujalla.
Amazon Web Services (AWS) otti 19. marraskuuta 2026 käyttöön oletusvalvonnan ehdot täyttäville Amazon SageMaker AI:n generatiivisen tekoälyn päätepisteille. Samalla AWS Healthiin lisättiin havaintoja viiveen muutoksista, käyttämättömästä GPU-kapasiteetista ja hyödyntämättä jääneistä tarjoiluoptimoinneista.
Valvonta ei vaadi määrityksiä päätepisteissä, joissa käytetään vLLM-tarjoilusäilöjä ja GPU-instansseja. Se seuraa päätepistekohtaista viivettä, GPU:n käyttöastetta ja tarjoiluasetuksia, mutta ei pyyntöjen tai vastausten sisältöä. Tavoitteena on havaita käyttöönoton jälkeiset vähittäiset muutokset, joita liikenteen, kehotteiden pituuden, tarjoiluohjelmiston ja mallien resurssivaatimusten muuttuminen aiheuttaa.
Ilmoitus laajentaa optimoidun generatiivisen tekoälyn päättelyn suosituksia, jotka AWS esitteli 22. huhtikuuta 2026. Työnkulussa käyttäjä voi valita tavoitteeksi kustannukset, viiveen tai läpimenon, vertailla enintään kolmea instanssityyppiä ja testata määrityksiä oikeilla GPU:illa NVIDIA AIPerfin avulla. Se tukee myös tuotantokäytössä olevien päätepisteiden vertailutestejä. Uusi kerros lisää käyttäjän käynnistämään päätöksentekoprosessiin jatkuvan seurannan ja ilmoitukset.
Mitä valvonnassa havaitaan
Viiveen muutoksia koskevissa havainnoissa verrataan mediaania (p50) päästä päähän mitatusta viiveestä ja mediaania ensimmäisen tunnuksen saamiseen kuluvasta ajasta päätepisteen edeltävään viikkoon. Koska vertailutaso perustuu aiempaan historiaan, käyttäjän ei tarvitse määrittää raja-arvoa etukäteen. Havaintoa seuraavassa vertailutestissä testataan tensorien rinnakkaisuusasetuksia sekä vaihtoehtoisia instanssityyppejä tai -kokoja.
Muut havainnot koskevat GPU:ita, joiden kapasiteetista suuri osa jää käyttämättä, tuettuja mutta käytöstä poistettuja spekulatiivisen dekoodauksen toimintoja, virittämättömiä GPU-ytimiä sekä tarjoilusäilöjä, joista puuttuu uudempia suorituskykyparannuksia tai kriittisten ja vakavien haavoittuvuuksien korjauksia. Käyttämättömän kapasiteetin tapauksessa vertailutestissä kokeillaan edullisempia instanssityyppejä ja pienempiä kokoja havaitun huippuliikenteen aikana. Määritystestissä nykyistä kokoonpanoa verrataan tilanteeseen, jossa spekulatiivinen dekoodaus on käytössä, ytimet on viritetty tai säilö päivitetty soveltuvin osin.
AWS:n esimerkit ovat havainnollistavia läpikäyntejä, eivät koko laitteistokannan kattavia mittauksia. Yhdessä esimerkissä mediaaniaika ensimmäisen tunnuksen saamiseen kasvaa viikon aikana noin 200 millisekuntia, kun taas toisessa jopa vilkkaimmin käytetty GPU kuormittuu suurimman osan viikosta enintään 12 prosenttiin kapasiteetistaan.
Terveysilmoituksesta vertailutestiin
Havainnot toimitetaan AWS Healthin ja sähköpostin kautta. Kukin päätepiste saa kerrallaan enintään yhden ilmoituksen, joka kattaa kaikki siihen soveltuvat havainnot. AWS rajoittaa sitä, kuinka monta ilmoitusta tili saa kerralla, ja ilmoitukset ovat päätepistekohtaisia ja koskevat sen AWS-aluetta.
Ilmoituksessa kerrotaan, mitä havaittiin, miksi sillä on merkitystä viiveen, kapasiteetin tai kustannusten kannalta sekä mitä suositellaan tehtäväksi. Arviot merkitään arvioiksi. Ilmoitus kertoo havainnosta, ei valmiista vertailutestistä. Ilmoituksen toiminto avaa SageMaker Studiossa agenttipohjaisen käyttökokemuksen, johon päätepiste ja sen havaittu liikenne on täytetty valmiiksi.
Kun käyttäjä vahvistaa toiminnon, agentti luo muokattavan SageMaker Python SDK -muistikirjan, jossa käytetään päätepisteen mallia ja sen mittareista johdettua liikenneprofiilia. Muistikirja merkitsee suositustyön AWS Health -tapahtuman tunnisteella, jotta tulokset voidaan yhdistää havaintoon. Työ vertaa nykyistä määritystä vaihtoehtoihin vasteajan, läpimenon ja miljoonan tunnuksen kustannuksen perusteella erillisessä laskentaympäristössä. Tuotantoympäristö ei muutu ennen kuin käyttäjä ottaa jonkin tuloksen käyttöön.
AWS suosittelee valitun määrityksen ottamista ensin käyttöön yhdessä tuotantovariantissa ja nykyisen määrityksen säilyttämistä palautusta varten. Havainto voidaan myös jättää odottamaan tai hylätä, ja ilmoitus säilyy AWS Healthin tapahtumahistoriassa.
Kustannukset ja käytöstä poistamisen asetukset
Valvonta ei aiheuta GPU:ista lisäkustannuksia. Vertailutesteistä veloitetaan SageMaker AI:n normaalien hintojen mukaan, tai niissä voidaan käyttää olemassa olevaa koneoppimisvarausta. Havaintoon reagoiminen edellyttää SageMaker Studio -toimialuetta, AWS Identity and Access Management -oikeuksia suositustöiden suorittamiseen ja päätepisteiden päivittämiseen sekä riittävää kiintiötä vertailutesti-instansseille.
Asiakkaat voivat hallita ilmoitusten toimitusta AWS User Notificationsin kautta ja halutessaan ajastaa toistuvia suosituksia, esimerkiksi kuukausittaisia ajoja. Kun OPT_OUT_TRACKING mallisäilön ympäristömuuttuja asetetaan, kyseisen päätepisteen moottorin mittareiden, GPU-mittareiden ja käynnistysmäärityksen tietojen keruu lakkaa, eikä päätepisteestä enää lähetetä ilmoituksia.
Optimoinnin tuki ei takaa siitä saatavaa hyötyä. AWS:n mukaan spekulatiivisen dekoodauksen tulokset riippuvat rinnakkaisten pyyntöjen määrästä sekä kehotteiden ja vastausten pituudesta, ja ne voivat poiketa toisistaan ruuhka- ja hiljaisina aikoina. Tämä määrittää ominaisuuden käytännön roolin: oletusarvoinen telemetria antaa varoituksen, ja vertailutestillä selvitetään, toteutuuko mahdollinen säästö tai nopeutuminen liikenteessä, jolla on merkitystä.












