Model dan platform AI
AWS Merutekan Inferensi HyperPod Lintas Wilayah dari Satu Titik Akhir

Poin utamaGateway global menambahkan tingkat pemilihan klaster di atas perutean Inference Gateway…
Lihat selengkapnya
- Gateway global menambahkan tingkat pemilihan klaster di atas perutean Inference Gateway tingkat pod yang sudah ada.
- Operator menyetel empat sinyal berbobot termasuk RegionProximity pada 0,40 untuk menyeimbangkan latensi terhadap ketahanan.
- AWS menyatakan gateway tidak mencatat atau menyimpan prompt atau completion dan hanya merutekan melalui PrivateLink.
Pada 20 November 2026, AWS memperkenalkan Amazon SageMaker HyperPod Global Inference Gateway, yang memberi pelanggan satu titik akhir terkelola untuk permintaan inferensi di berbagai klaster HyperPod terdaftar, baik dalam satu Wilayah AWS maupun di beberapa Wilayah. Layanan ini memilih klaster berdasarkan sinyal kapasitas, antrean, kedekatan, dan kesalahan, serta melakukan pengalihan otomatis jika klaster tidak lagi tersedia.
Peluncuran ini menambahkan lapisan perutean kedua di atas SageMaker HyperPod Inference Gateway yang sudah ada. Gateway tingkat klaster tersebut tetap memilih pod model individual berdasarkan sinyal, termasuk penggunaan tembolok key-value (KV) dan panjang antrean; lapisan global yang baru memilih klaster terlebih dahulu tanpa mengubah pemilihan pod.
AWS menangani masalah pemanfaatan kapasitas: permintaan dapat mengantre di klaster yang sudah penuh, sementara GPU yang telah disediakan menganggur di tempat lain. Dalam contoh AWS, empat model dilayani di lima klaster yang tersebar di dua Wilayah; jika setiap model dilayani secara terpisah, klien harus memantau 20 titik akhir. Gateway tingkat klaster mengurangi jumlahnya menjadi lima, sedangkan gateway global menyediakan satu titik akhir. Lapisan terkelola ini meniadakan kebutuhan untuk membangun dan memelihara penyeimbang beban, DNS, serta jaringan lintas Wilayah untuk perutean ini, dan memungkinkan lalu lintas puncak dialihkan ke klaster yang memiliki kapasitas tersedia.
Pemilihan Klaster yang Dapat Dikonfigurasi
Operator memublikasikan setiap klaster yang berpartisipasi dengan mengaktifkan spec.globalRouting di sistem yang sudah ada InferenceGatewayConfig, lalu memanggil CreateGlobalInferenceGateway dengan klaster yang akan dikelompokkan. Publikasi membuat Network Load Balancer, layanan titik akhir virtual private cloud (VPC), dan sumber daya sertifikat di akun pelanggan. Klaster yang belum dipublikasikan tidak dapat berhasil ditambahkan.
Klien mengirim permintaan yang kompatibel dengan OpenAI dan ditandatangani menggunakan AWS Signature Version 4 (SigV4) ke titik akhir regional. Gateway mengautentikasi pemanggil dan memilih klaster yang sehat; AWS PrivateLink membawa permintaan di dalam atau melintasi Wilayah, lalu Inference Gateway milik klaster memilih pod model. SageMaker mengoperasikan armada perutean, titik akhir privat, validasi sertifikat, pemeriksaan kesehatan, autentikasi, dan pembatasan laju; publisher terkelola layanan di setiap klaster menyediakan metrik beban.
Untuk setiap permintaan, gateway memberi skor pada klaster yang sehat berdasarkan empat sinyal yang dapat dikonfigurasi:
| Sinyal | Hal yang diukur | Bobot default |
|---|---|---|
KVHeadroom |
Kapasitas tembolok KV dan memori GPU yang tersedia di klaster | 0.20 |
QueueDepth |
Tingkat kepadatan beban klaster | 0.25 |
RegionProximity |
Jarak antara klaster dan Wilayah tempat gateway berada | 0.40 |
ErrorRate |
Permintaan gagal yang terjadi baru-baru ini di klaster | 0.15 |
Pelanggan yang mengubah nilai default harus menetapkan bobot untuk keempat sinyal, menggunakan nilai dari 0.0 hingga 1.0 dengan jumlah total 1.0; sinyal dapat dinonaktifkan dengan menetapkan nilainya ke nol. UpdateGlobalInferenceGateway mengubah pembobotan untuk permintaan baru tanpa perlu menyediakan ulang sumber daya, sementara permintaan yang sedang berlangsung tetap diselesaikan dengan pengaturan lama. AWS menyatakan bahwa beban kerja yang lebih mengutamakan ketahanan daripada kedekatan dapat meningkatkan ErrorRate dan menurunkan RegionProximity.
Pengalihan Otomatis dan Privasi
Gateway memeriksa kesehatan setiap klaster dan, setelah terjadi kegagalan, mengalihkan lalu lintas ke klaster terbaik berikutnya tanpa memerlukan perubahan pada klien; klaster yang pulih kemudian dimasukkan kembali secara bertahap. Permintaan yang gagal dicoba ulang satu kali di klaster lain, kecuali jika pengaliran data sudah dimulai; jika tidak ada klaster sehat yang tersisa, gateway mengembalikan HTTP 503. Menambahkan klaster yang sehat tidak mengubah titik akhir atau mengganggu klaster lain, sedangkan menghapus klaster akan menghentikan permintaan baru tetapi membiarkan pekerjaan yang sedang berlangsung hingga selesai.
IAM mengatur pemanggilan standar dan pemanggilan streaming secara terpisah. Jika digunakan, JSON Web Token milik pelanggan dikirim di dalam tanda tangan SigV4. Permintaan mencapai klaster hanya melalui AWS PrivateLink, dan AWS menyatakan bahwa gateway tidak mencatat atau menyimpan prompt maupun hasil penyelesaian. Menghapus gateway global menghentikan titik akhirnya, tetapi titik akhir per klaster tetap melayani permintaan.
Wakil Presiden Platform AI Bagelcode, Jinhyung Park, mengatakan dalam pengumuman AWS bahwa selama uji beta, permintaan dirutekan melalui gateway di antara dua Wilayah dan tetap dilayani ketika salah satu klaster tidak lagi dapat melayani model. Dengan demikian, tim platform perusahaan yang kecil itu memperoleh kemampuan pengalihan otomatis lintas Wilayah tanpa harus membangun atau memelihara lapisan peruteannya sendiri.
Ketersediaan dan Migrasi
Layanan ini tersedia di 13 Wilayah: AS Timur (Virginia Utara dan Ohio), AS Barat (California Utara dan Oregon), Amerika Selatan (São Paulo), Eropa (Frankfurt, Irlandia, London, dan Stockholm), serta Asia Pasifik (Tokyo, Mumbai, Singapura, dan Sydney).
AWS menyarankan pengguna satu klaster untuk tetap menggunakan titik akhir Inference Gateway klaster tersebut dan beralih ke layanan global saat menambahkan klaster kedua. Titik akhir per klaster yang sudah ada tetap melayani permintaan selama migrasi klien, dan gateway yang hanya berisi klaster di satu Wilayah dapat mempertahankan beban kerja di Wilayah itu. Klaster yang sudah dipublikasikan tetapi tidak dimasukkan ke gateway mana pun tidak menerima lalu lintas, meskipun Network Load Balancer-nya tetap berjalan dan menimbulkan biaya.
Dengan menyatukan sinyal kedekatan, kapasitas, dan kegagalan dalam satu kebijakan, layanan ini menjadikan pemanfaatan kapasitas GPU yang sebelumnya menganggur sebagai keputusan konfigurasi, bukan proyek jaringan terpisah.












