Yapay zeka modelleri ve platformları
Amazon SageMaker AI, Bölgesel Devretme Yönlendiricisini Genel Kullanıma Sunuyor

Öne çıkan noktalarYönlendirici, yük devretme mühendisliğini SageMaker AI'ya taşır ancak müşteriler yine…
Daha fazla göster
- Yönlendirici, yük devretme mühendisliğini SageMaker AI'ya taşır ancak müşteriler yine de başka bir yerde yedek kapasite için ödeme yapmak zorundadır.
- Sağlık puanları model gecikmesini yok sayar, bu nedenle başarılı yanıt döndüren uç noktalar yavaşlığa rağmen trafiğini korur.
- Müşteriler ağırlık eşiklerini veya yük devretme zamanlamasını ayarlayamaz çünkü yönlendirici tüm yönlendirme kararlarını otomatik olarak kontrol eder.
Amazon Web Services, 19 Kasım 2026’da Amazon SageMaker AI‘da Bölgeler arası çıkarım yönlendirmesini genel kullanıma sundu; böylece yerel kapasite yetersiz kaldığında uygulamalar, AWS Bölgeleri ve hesaplarındaki mevcut model sunma kaynaklarına tek bir yönlendirici aracılığıyla erişebiliyor.
Bir SageMaker AI uç noktası tek bir Bölgede ve tek bir hesapta çalışır. Otomatik ölçeklendirme gerekli bulut sunucusu türünü ekleyemediğinde, aynı model başka bir yerde yedek kapasiteye sahip olsa bile istekler hız sınırına takılabilir ve zaman aşımına uğrayabilir. Yönetilen uç noktaları kullanan müşteriler daha önce hata tespiti, güvenli yeniden denemeler, kurtarma işlemlerinin yönetimi ve hesaplar arası erişim dahil olmak üzere Bölgeler arası yönlendirmeyi kendileri oluşturmak zorundaydı.
Yeni Bölgesel çıkarım yönlendiricisi, her mantıksal model için adlandırılmış bir yönlendirme hedefi kullanır. Bir hedef, Bölgeler ve hesaplar genelindeki gerçek zamanlı uç noktaları ve çıkarım bileşenlerini bir arada barındırabilir ya da yalnızca eşzamansız uç noktalardan oluşabilir. Uygulama, hedefi yönlendirici üzerinden çağırır. Modeller, uç nokta yapılandırmaları, bulut sunucusu havuzları, kapsayıcılar ve otomatik ölçeklendirme değişmeden kalır; doğrudan InvokeEndpoint çağrılar çalışmaya devam eder. Yönlendirici kapasite oluşturmaz, model dağıtmaz veya uç noktaları ölçeklendirmez; bu nedenle her hedefin kendi Bölgesinde zaten çalışıyor olması gerekir.
Sağlık Sinyalleri Yük Devretmeyi Belirliyor
Yönlendirici, kendi Bölgesindeki sağlıklı hedefleri tercih eder ve istekleri birden fazla sağlıklı yerel hedef arasında eşit olarak dağıtır. Sağlık puanı, her hedefin Bölgesinde ölçülen son istekleri temel alır: sunucu hataları, istek kısıtlamaları ve zaman aşımları puanı düşürür; platform hataları puanı en fazla düşüren etkendir; geçersiz girdi gibi istekten kaynaklanan hatalar ise puanı düşürmez. Model gecikmesi hesaba katılmaz; dolayısıyla başarılı yanıtlar vermeyi sürdüren bir uç nokta trafiğini korur. SageMaker AI yayımlar healthy, overloaded ve degraded durumları CloudWatch’a bildirir; aşırı yüklenen hedeflerin trafiği azaltılırken, performansı düşen hedeflere yalnızca az miktarda trafik gönderilir. Böylece yönlendirici kurtarmayı tespit edebilir.
AWS’ye göre, hatalar devam ettiğinde trafik yaklaşık bir dakika içinde başka hedeflere yönelmeye başlar; trafiği az olan hedeflerde bu daha uzun sürebilir. Kurtarma sonrasında trafik birkaç dakika içinde geri döner. Müşteriler ağırlıkları, yedek hedef sırasını, eşikleri veya yük devretme zamanlamasını belirleyemez. Uzak hedeflere ilişkin sağlık bilgileri güncelliğini yitirirse yönlendirici trafiği kendi Bölgesinde tutar.
Gerçek zamanlı çıkarımda yeniden deneme davranışı daha sınırlıdır. Yönlendirici, modelin çalıştırılmadığı durumlarda farklı bir hedefte yalnızca bir kez daha dener. Bu durumlar arasında istek kısıtlaması, 503 hatası, hazır olmayan model, trafik sınırı nedeniyle reddedilme veya hedefe erişimin engellenmesi yer alır. Zaman aşımlarında, 500 hatalarında veya model hatalarında yeniden deneme yapmaz. Eşzamansız istekler, uygun her hedefte bir kez denenir; hedeflerden biri isteği kabul edene kadar önce yerel hedefler denenir.
Her gerçek zamanlı yanıt, isteği sunan hedefi … içinde belirtir InvokedRoutedResourceArn ve bir RoutingReason …-ın/…-in local-preferred, capacity-available, failover ya da only-healthy. CloudWatch’taki OpenTelemetry ölçümleri, hedef başına istek ve hata sayılarını, hedef süresini, yönlendirici ve Bölgeler arası ağ ek yükünü ve sağlık durumunu da gösterir. Eşzamansız yanıtlar hedefin adını belirtmez; ancak CloudWatch ölçümleri isteklerin nereye yönlendirildiğini gösterir.
Kapasite ve Erişim Denetimleri Uç Nokta Sahiplerinin Sorumluluğunda
Taşan trafik, isteği alan uç noktanın istekleri kısıtlamasına yol açabilir. Varsayılan olarak gerçek zamanlı bir uç nokta, Bölgeler arası her miktarda trafiği kabul eder. İsteğe bağlı bir sınır, sahibinin yük testinden geçirilmiş bulut sunucusu başına çağrı hızını ve diğer Bölgelere ayrılabilecek en yüksek yüzdeyi belirlemesine olanak tanır. İzin verilen trafik miktarı, otomatik ölçeklendirme değişiklikleri de dahil olmak üzere hizmetteki bulut sunucusu sayısına göre belirlenir. AWS’nin örneğinde, bulut sunucusu başına saniyede 50 çağrı, %20’lik sınır ve dört bulut sunucusu, saniyede 40 Bölgeler arası isteğe izin verir; iki bulut sunucusu eklendiğinde bu sayı saniyede 60’a çıkar.
Bu sınıra yalnızca diğer Bölgelerden gelen istekler dahil edilir; uç noktanın kendi Bölgesinden gelen çağrılar bu mekanizma nedeniyle hiçbir zaman kısıtlanmaz. Fazla istekler model çalıştırılmadan önce reddedilir ve başka bir yerde bir kez daha denenir. İstekleri kabul edebilecek hedef yoksa uygulamaya bir istek kısıtlama hatası döndürülür. Bir uç noktadaki tüm çıkarım bileşenleri aynı sınırı paylaşır.
Hesaplar arası hedeflerde her iki hesabın da isteklere izin vermesi gerekir. Uç nokta ilkesi erişimi adı belirtilen tek bir yönlendiriciyle sınırlandırabilir; yönlendirici, çağırana doğrudan çağrı yapamayacağı bir uç noktaya erişim izni vermez.
Dağıtım Sınırları ve Fiyatlandırma
Hizmet, gerçek zamanlı ve eşzamansız çıkarım için me-south-1 ve me-central-1 dışındaki çoğu ticari AWS Bölgesinde genel kullanıma açıktır. Yanıt akışını desteklemez. Gerçek zamanlı isteklerin hedef yanıtını alması için yaklaşık bir dakikası vardır; gerçek zamanlı yükler en fazla 6 MB olabilir ve her yönlendirici en fazla 20 yönlendirme hedefini, hedef başına da en fazla 10 hedefi destekler.
Yönlendiricinin kendisi Bölgeseldir. Bu nedenle AWS, giriş noktası dayanıklılığını artırmak için iki Bölgede yönlendirici oluşturulmasını ve istemci tarafında bunlar arasında geçiş yapılmasını önerir. Bir istek yönlendiricinin bulunduğu Bölgede veya kayıtlı hedeflerden herhangi birinin Bölgesinde işlenebileceğinden, veri yerleşimi sınırlarının da açıkça yapılandırılması gerekir.
Ek bir yönlendirme ücreti alınmaz. İstekler doğrudan ya da bir yönlendirici üzerinden ulaşsın, müşteriler SageMaker AI uç noktaları ve çıkarım bileşenleri için standart ücretleri, ayrıca yönlendirici metrikleri ve sorguları için standart CloudWatch ücretlerini öder.
Bu lansman, yük devretme mühendisliğini SageMaker AI’ya taşıyor ve temel hesaplama ekonomisi ödünleşimini müşterilere bırakıyor: Bir Bölgedeki kapasite açığı sırasında hizmetin kesintisiz sürmesi, başka bir Bölgede kullanılabilir çıkarım kapasitesi için ödeme yapmaya ve bu kapasiteyi hazır bulundurmaya bağlı olmaya devam ediyor.












