Model dan platform AI
AWS Mengaktifkan Pemantauan Bawaan untuk Endpoint Inferensi SageMaker AI

Poin utamaPemantauan default menandai penyimpangan latensi dan GPU yang menganggur tanpa…
Lihat selengkapnya
- Pemantauan default menandai penyimpangan latensi dan GPU yang menganggur tanpa mengharuskan pengguna menetapkan ambang batas terlebih dahulu.
- Temuan membuka alur kerja SageMaker Studio agentic yang membandingkan alternatif pada komputasi terpisah sebelum perubahan produksi.
- Pemantauan bebas dari biaya GPU tambahan dan dapat dinonaktifkan melalui variabel lingkungan OPT_OUT_TRACKING.
Amazon Web Services (AWS) mengaktifkan pemantauan bawaan pada 19 November 2026 untuk endpoint inferensi AI generatif Amazon SageMaker AI yang memenuhi syarat. Pemantauan ini menambahkan temuan AWS Health terkait pergeseran latensi, kapasitas GPU yang menganggur, dan optimasi penyajian yang belum diterapkan.
Pemantauan ini tidak memerlukan penyiapan pada endpoint yang menggunakan kontainer penyajian vLLM dan instans GPU. Sistem ini membaca latensi pada tingkat endpoint, pemanfaatan GPU, dan konfigurasi penyajian, bukan konten permintaan atau respons. Tujuannya adalah mendeteksi pergeseran bertahap setelah penerapan, seiring perubahan lalu lintas, panjang prompt, perangkat lunak penyajian, dan kebutuhan sumber daya model.
Pengumuman ini memperluas rekomendasi inferensi AI generatif yang dioptimalkan, yang diperkenalkan AWS pada 22 April 2026. Alur kerja tersebut memungkinkan pengguna memilih biaya, latensi, atau throughput sebagai sasaran, membandingkan hingga tiga jenis instans, dan menguji konfigurasi pada GPU sungguhan menggunakan NVIDIA AIPerf. Alur ini juga mendukung pengujian endpoint produksi yang sudah ada; lapisan baru tersebut menambahkan pemantauan berkelanjutan dan notifikasi ke proses pengambilan keputusan yang dimulai oleh pengguna.
Hal yang Dideteksi Pemantauan
Temuan pergeseran latensi membandingkan latensi ujung ke ujung median (p50) dan median waktu hingga token pertama dengan data endpoint itu sendiri dari pekan sebelumnya. Karena acuannya berasal dari data historis, pengguna tidak perlu menetapkan ambang batas terlebih dahulu. Pengujian yang dihasilkan akan menguji pengaturan paralelisme tensor serta jenis atau ukuran instans alternatif.
Temuan lainnya mencakup GPU yang terus digunakan jauh di bawah kapasitasnya, speculative decoding yang didukung tetapi dinonaktifkan, kernel GPU yang belum disetel, serta kontainer penyajian yang belum dilengkapi peningkatan kinerja terbaru atau patch untuk kerentanan kritis dan berkeparahan tinggi. Untuk kapasitas yang tidak terpakai, pengujian akan mencoba jenis instans yang lebih murah dan ukuran yang lebih kecil berdasarkan lalu lintas puncak yang teramati. Pengujian konfigurasi membandingkan penyiapan saat ini dengan speculative decoding yang diaktifkan, kernel yang telah disetel, atau kontainer yang diperbarui, sesuai kebutuhan.
Contoh AWS merupakan ilustrasi panduan, bukan pengukuran di seluruh armada: satu contoh menunjukkan median waktu hingga token pertama meningkat sekitar 200 milidetik dari pekan ke pekan, sedangkan contoh lainnya menunjukkan bahwa bahkan GPU tersibuk pun menggunakan 12% kapasitas atau kurang selama sebagian besar pekan.
Dari Peringatan Kesehatan ke Pengujian Tolok Ukur
Temuan disampaikan melalui AWS Health dan email. Setiap endpoint menerima paling banyak satu notifikasi pada satu waktu yang mencakup semua temuan yang berlaku. AWS membatasi jumlah notifikasi yang dapat diterima akun sekaligus, dan notifikasi berlaku khusus untuk Wilayah AWS tempat endpoint berada.
Notifikasi menjelaskan hal yang teramati, alasan hal tersebut penting bagi latensi, kapasitas, atau biaya, serta tindakan yang disarankan; setiap perkiraan diberi label sebagai perkiraan. Notifikasi ini merupakan hasil pengamatan, bukan pengujian tolok ukur yang telah selesai. Tindakan yang disarankan akan membuka pengalaman berbasis agen di SageMaker Studio dengan endpoint dan lalu lintas yang teramati telah diisikan sebelumnya.
Setelah pengguna mengonfirmasi, agen akan membuat notebook SageMaker Python SDK yang dapat diedit, menggunakan model endpoint dan profil lalu lintas yang disusun berdasarkan metriknya. Notebook tersebut menandai tugas rekomendasi dengan peristiwa AWS Health agar hasilnya dapat ditelusuri ke temuan terkait. Tugas itu membandingkan konfigurasi saat ini dengan alternatif berdasarkan waktu respons, throughput, dan biaya per sejuta token, menggunakan komputasi terpisah; lingkungan produksi tidak berubah sampai pengguna menerapkan hasilnya.
AWS menyarankan agar konfigurasi yang dipilih diterapkan terlebih dahulu pada satu varian produksi, sementara konfigurasi yang sudah ada tetap tersedia untuk pemulihan. Menunda atau mengabaikan temuan juga merupakan tindakan yang wajar, dan notifikasi tetap tersimpan dalam riwayat peristiwa AWS Health.
Biaya dan Pengaturan untuk Tidak Ikut Serta
Pemantauan ini tidak menimbulkan biaya GPU tambahan. Pengujian tolok ukur menggunakan tarif standar SageMaker AI atau reservasi machine learning yang sudah ada. Untuk menindaklanjuti temuan, diperlukan domain SageMaker Studio, izin AWS Identity and Access Management untuk menjalankan tugas rekomendasi dan memperbarui endpoint, serta kuota instans pengujian yang memadai.
Pelanggan dapat mengelola pengiriman melalui AWS User Notifications dan, jika ingin, menjadwalkan rekomendasi berulang, misalnya pelaksanaan bulanan. Mengatur OPT_OUT_TRACKING variabel lingkungan pada kontainer model akan menghentikan pengumpulan metrik mesin, metrik GPU, dan detail konfigurasi saat startup untuk endpoint tersebut, serta mencegah pengiriman notifikasinya.
Dukungan terhadap suatu optimasi tidak menjamin adanya manfaat. AWS menyatakan bahwa hasil speculative decoding bergantung pada tingkat konkurensi serta panjang prompt dan respons, dan hasilnya dapat berbeda antara lalu lintas pada jam sibuk dan di luar jam sibuk. Perbedaan itu menjelaskan fungsi praktis fitur ini: telemetri bawaan memberikan peringatan, sedangkan pengujian tolok ukur menentukan apakah penghematan atau peningkatan kecepatan yang mungkin diperoleh benar-benar terjadi pada lalu lintas yang paling penting.












