Model dan platform AI
Amazon SageMaker AI Menambahkan Router Failover Regional yang Kini Tersedia Umum

Poin utamaRouter ini memindahkan rekayasa failover ke SageMaker AI tetapi pelanggan tetap harus…
Lihat selengkapnya
- Router ini memindahkan rekayasa failover ke SageMaker AI tetapi pelanggan tetap harus membayar kapasitas cadangan di tempat lain.
- Skor kesehatan mengabaikan latensi model sehingga endpoint yang mengembalikan respons berhasil tetap menerima lalu lintas meskipun lambat.
- Pelanggan tidak dapat menetapkan ambang bobot atau waktu failover karena router mengendalikan semua keputusan perutean secara otomatis.
Amazon Web Services menyediakan perutean inferensi lintas-Region secara umum di Amazon SageMaker AI pada 19 November 2026, sehingga aplikasi dapat memanggil satu router untuk mengakses sumber daya penyajian model yang sudah ada di berbagai Region dan akun AWS saat kapasitas lokal tidak mencukupi.
Endpoint SageMaker AI berjalan di satu Region dan satu akun. Jika penskalaan otomatis tidak dapat menambahkan jenis instans yang dibutuhkan, permintaan dapat terkena pembatasan laju dan kehabisan waktu, meskipun model yang sama memiliki kapasitas cadangan di tempat lain. Sebelumnya, pelanggan yang menggunakan endpoint terkelola harus membangun sendiri perutean lintas-Region, termasuk deteksi kegagalan, percobaan ulang yang aman, penanganan pemulihan, dan akses lintas akun.
Router inferensi Regional yang baru menggunakan target perutean bernama untuk setiap model logis. Sebuah target dapat menggabungkan endpoint waktu nyata dan komponen inferensi di berbagai Region dan akun, atau hanya berisi endpoint asinkron. Aplikasi memanggil target melalui router. Model, konfigurasi endpoint, kumpulan instans, kontainer, dan penskalaan otomatis tetap tidak berubah, sedangkan panggilan langsung InvokeEndpoint tetap berfungsi. Router tidak membuat kapasitas, menerapkan model, atau menskalakan endpoint, sehingga setiap tujuan harus sudah berjalan di Region-nya.
Sinyal Kesehatan Mengarahkan Failover
Router memprioritaskan tujuan yang sehat di Region-nya sendiri dan membagi permintaan secara merata ke beberapa tujuan lokal yang sehat. Skor kesehatannya didasarkan pada permintaan terbaru yang diukur di Region setiap tujuan: kesalahan server, pembatasan laju, dan kehabisan waktu menurunkan skor, kesalahan platform paling besar menurunkannya, sedangkan kegagalan yang disebabkan permintaan, seperti masukan tidak valid, tidak memengaruhinya. Latensi model tidak diperhitungkan, sehingga endpoint yang terus memberikan respons berhasil akan tetap menerima lalu lintas. SageMaker AI memublikasikan healthy, overloaded dan degraded status ke CloudWatch; tujuan yang kelebihan beban kehilangan sebagian lalu lintasnya, sedangkan tujuan yang mengalami penurunan kinerja hanya mempertahankan porsi kecil lalu lintas agar router dapat mendeteksi pemulihan.
AWS menyatakan bahwa lalu lintas mulai dialihkan dalam waktu sekitar satu menit setelah terjadi kesalahan berkelanjutan, atau lebih lambat untuk tujuan dengan lalu lintas rendah, dan kembali dialihkan selama beberapa menit setelah pemulihan. Pelanggan tidak dapat menetapkan bobot, urutan tujuan cadangan, ambang batas, atau waktu failover. Jika informasi kesehatan tujuan jarak jauh menjadi usang, router mempertahankan lalu lintas di Region-nya sendiri.
Perilaku percobaan ulang lebih terbatas untuk inferensi waktu nyata. Router melakukan satu kali percobaan kedua ke tujuan lain hanya jika model tidak dijalankan, termasuk setelah pembatasan laju, kesalahan 503, model yang belum siap, penolakan karena batas lalu lintas, atau penolakan akses ke tujuan. Router tidak pernah mencoba ulang permintaan yang kehabisan waktu, kesalahan 500, atau kesalahan model. Permintaan asinkron dicoba satu kali di setiap tujuan yang memenuhi syarat, dengan tujuan lokal terlebih dahulu, sampai ada tujuan yang menerimanya.
Setiap respons waktu nyata mencantumkan tujuan yang melayani permintaan dalam InvokedRoutedResourceArn dan menyertakan RoutingReason dari local-preferred, capacity-available, failover atau only-healthy. Metrik OpenTelemetry di CloudWatch menambahkan data per tujuan tentang permintaan dan kesalahan, durasi tujuan, overhead jaringan router dan lintas-Region, serta kesehatan. Respons asinkron tidak mencantumkan tujuan yang melayani permintaan, tetapi metrik CloudWatch menunjukkan lokasi penempatan permintaan.
Kapasitas dan Kontrol Akses Tetap Menjadi Tanggung Jawab Pemilik Endpoint
Limpahan lalu lintas dapat menyebabkan endpoint penerima mengalami pembatasan laju. Secara default, endpoint waktu nyata menerima lalu lintas lintas-Region dalam jumlah berapa pun. Batas opsional memungkinkan pemiliknya menetapkan laju pemanggilan per instans yang telah diuji bebannya, serta persentase maksimum kapasitas yang tersedia untuk Region lain. Batas yang dihasilkan mengikuti jumlah instans yang beroperasi, termasuk perubahan akibat penskalaan otomatis. Dalam contoh AWS, laju 50 pemanggilan per detik per instans, batas 20%, dan empat instans memungkinkan 40 permintaan lintas-Region per detik; jumlah ini naik menjadi 60 saat dua instans ditambahkan.
Hanya permintaan dari Region lain yang diperhitungkan dalam batas tersebut, dan mekanisme ini tidak pernah membatasi laju panggilan dari Region endpoint itu sendiri. Permintaan berlebih ditolak sebelum model dijalankan dan dicoba ulang satu kali di tempat lain; jika tidak ada tujuan yang dapat menerimanya, aplikasi menerima kesalahan pembatasan laju. Semua komponen inferensi pada suatu endpoint berbagi batas tersebut.
Untuk tujuan lintas akun, kedua akun harus mengizinkan permintaan. Kebijakan endpoint dapat membatasi akses ke satu router bernama, dan router tidak memberikan akses kepada pemanggil ke endpoint yang tidak dapat dipanggilnya secara langsung.
Batas Penerapan dan Harga
Layanan ini tersedia secara umum di sebagian besar Region AWS komersial, kecuali me-south-1 dan me-central-1, untuk inferensi waktu nyata dan asinkron. Layanan ini tidak mendukung streaming respons. Permintaan waktu nyata memiliki waktu sekitar satu menit untuk menerima respons dari tujuan, payload waktu nyata dapat berukuran hingga 6 MB, dan setiap router mendukung hingga 20 target perutean dengan maksimal 10 tujuan per target.
Router itu sendiri bersifat Regional, sehingga AWS menyarankan pembuatan router di dua Region dan pengalihan di sisi klien di antara keduanya demi ketahanan titik masuk. Batas residensi data juga perlu dikonfigurasi secara eksplisit karena permintaan dapat diproses di Region router atau di Region tujuan mana pun yang terdaftar.
Tidak ada biaya perutean tambahan. Pelanggan membayar tarif standar endpoint dan komponen inferensi SageMaker AI, baik permintaan diterima secara langsung maupun melalui router, serta tarif standar CloudWatch untuk metrik dan kueri router.
Peluncuran ini memindahkan rekayasa failover ke SageMaker AI, sementara kompromi utama terkait keekonomian komputasi tetap menjadi tanggung jawab pelanggan: layanan yang berlanjut saat terjadi kekurangan kapasitas di satu Wilayah tetap bergantung pada pembayaran dan penempatan kapasitas inferensi yang dapat digunakan di Wilayah lain.












