Yapay zeka modelleri ve platformları

AWS, HyperPod çıkarımını bölgeler arasında tek bir uç noktadan yönlendiriyor

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarKüresel ağ geçidi, mevcut pod düzeyindeki Inference Gateway yönlendirmesinin üzerine…
Daha fazla göster
  • Küresel ağ geçidi, mevcut pod düzeyindeki Inference Gateway yönlendirmesinin üzerine bir küme seçimi katmanı ekler.
  • Operatörler, gecikmeyi dayanıklılığa karşı dengelemek için RegionProximity dahil olmak üzere 0.40 ağırlıklı dört sinyali ayarlar.
  • AWS, ağ geçidinin istemleri veya tamamlamaları günlüğe kaydetmediğini ya da saklamadığını ve yalnızca PrivateLink üzerinden yönlendirme yaptığını belirtir.

AWS, 20 Kasım 2026’da Amazon SageMaker HyperPod Küresel Çıkarım Ağ Geçidi‘ni kullanıma sundu. Hizmet, müşterilere tek bir AWS Bölgesi’ndeki veya birden fazla Bölge’deki kayıtlı HyperPod kümelerine gelen çıkarım istekleri için yönetilen tek bir uç nokta sağlıyor. Küme kullanılamaz hâle geldiğinde otomatik olarak başka kümeye geçiş yapan hizmet, kapasite, kuyruk, yakınlık ve hata sinyallerine göre küme seçiyor.

Bu lansman, mevcut SageMaker HyperPod Çıkarım Ağ Geçidi‘nin üzerine ikinci bir yönlendirme katmanı ekliyor. Küme düzeyindeki bu ağ geçidi, anahtar-değer (KV) önbelleği kullanımı ve kuyruk derinliği gibi sinyalleri kullanarak tek tek model pod’larını seçmeye devam ediyor. Yeni küresel katman ise pod seçimini değiştirmeden önce kümeyi seçiyor.

AWS, kapasite kullanımına ilişkin bir sorunu çözmeyi hedefliyor: Bir küme aşırı yüklenmişken istekler kuyrukta bekleyebilir, o sırada başka bir yerde önceden sağlanmış GPU’lar boşta kalabilir. AWS’nin iki Bölge’deki beş kümede sunulan dört modeli içeren örneğinde, modelleri ayrı ayrı sunmak istemci tarafında 20 uç noktanın izlenmesini gerektiriyor. Küme düzeyindeki ağ geçitleri bu sayıyı beşe, küresel ağ geçidi ise bire indiriyor. Yönetilen katman, bu yönlendirme için yük dengeleyiciler, DNS ve Bölgeler arası ağ altyapısı kurma ve sürdürme gereksinimini ortadan kaldırıyor; ayrıca yoğun saatlerdeki trafiğin kapasitesi olan kümelere aktarılmasını sağlıyor.

Yapılandırılabilir Küme Seçimi

Bir operatör, katılan her kümeyi şu seçeneği etkinleştirerek yayımlar: spec.globalRouting mevcut … içinde InferenceGatewayConfig, ardından şu işlevi çağırır: CreateGlobalInferenceGateway gruplanacak kümelerle birlikte. Yayımlama işlemi, müşterinin hesabında bir Network Load Balancer, bir sanal özel bulut (VPC) uç nokta hizmeti ve sertifika kaynakları oluşturur. Yayımlanmamış bir küme başarıyla eklenemez.

İstemciler, AWS Signature Version 4 (SigV4) ile imzalanmış OpenAI uyumlu istekleri bölgesel uç noktaya gönderir. Ağ geçidi, isteği yapan kişinin kimliğini doğrular ve sağlıklı bir küme seçer; AWS PrivateLink isteği aynı Bölge içinde veya Bölgeler arasında taşır, ardından kümenin Inference Gateway’i model pod’unu seçer. SageMaker; yönlendirme filosunu, özel uç noktaları, sertifika doğrulamasını, sağlık denetimlerini, kimlik doğrulamayı ve hız sınırlamasını yönetir. Her kümedeki hizmet tarafından yönetilen bir yayımlayıcı ise yük ölçümlerini sağlar.

Ağ geçidi, her istek için sağlıklı kümeleri yapılandırılabilir dört sinyale göre puanlar:

Sinyal Ölçtüğü değer Varsayılan ağırlık
KVHeadroom Kümedeki kullanılabilir KV önbelleği ve GPU belleği 0.20
QueueDepth Kümenin ne ölçüde kuyrukta iş biriktirdiği 0.25
RegionProximity Küme ile ağ geçidinin bulunduğu Bölge arasındaki mesafe 0.40
ErrorRate Kümede yakın zamanda başarısız olan istekler 0.15

Varsayılanları değiştiren müşterilerin dört ağırlığın tümünü belirlemesi gerekir. Ağırlıklar 0,0 ile 1,0 arasında olmalı ve toplamları 1,0 olmalıdır; bir sinyal 0 verilerek devre dışı bırakılabilir. UpdateGlobalInferenceGateway Yeni istekler için ağırlıklandırmayı yeniden kaynak sağlamaya gerek kalmadan değiştirir; devam eden istekler eski ayarlarla tamamlanır. AWS, yakınlıktan çok dayanıklılığa öncelik veren iş yüklerinde … değerinin artırılabileceğini söylüyor. ErrorRate … değerinin düşürülmesini RegionProximity.

Yedekleme ve Gizlilik

Ağ geçidi her kümeyi sağlık denetiminden geçirir ve bir arıza sonrasında, istemcilerde değişiklik yapmayı gerektirmeden trafiği en iyi sonraki kümeye yönlendirir; yeniden çalışır duruma gelen kümeyi de kademeli olarak tekrar devreye alır. Akış başlatılmadığı sürece başarısız bir istek başka bir kümede bir kez yeniden denenir. Sağlıklı küme kalmazsa ağ geçidi HTTP 503 yanıtı verir. Sağlıklı bir küme eklemek uç noktayı değiştirmez veya diğer kümeleri aksatmaz; bir kümeyi kaldırmak ise yeni istekleri durdurur, ancak devam eden işlerin tamamlanmasına izin verir.

IAM, standart ve akışlı çağrıları ayrı ayrı denetler. Kullanıldığında müşteriye ait JSON Web Token’lar SigV4 imzasının içinde taşınır. İstekler kümelere yalnızca AWS PrivateLink üzerinden ulaşır ve AWS, ağ geçidinin istemleri veya tamamlanmış yanıtları kaydetmediğini ya da depolamadığını belirtiyor. Küresel ağ geçidinin silinmesi uç noktasını durdurur, ancak küme başına uç noktalar hizmet vermeye devam eder.

Bagelcode’un Yapay Zekâ Platformu Başkan Yardımcısı Jinhyung Park, AWS’nin duyurusunda, beta testlerinde istekleri ağ geçidi üzerinden iki Bölge arasında yönlendirdiklerini ve bir küme modeli sunamaz hâle geldiğinde de istekleri karşılamayı sürdürdüklerini söyledi. Böylece şirketin küçük platform ekibi, kendi yönlendirme katmanını kurup sürdürmeden Bölgeler arası yedekleme olanağı elde etti.

Kullanılabilirlik ve Geçiş

Hizmet 13 Bölgede kullanılabiliyor: ABD Doğu (Kuzey Virginia ve Ohio), ABD Batı (Kuzey Kaliforniya ve Oregon), Güney Amerika (São Paulo), Avrupa (Frankfurt, İrlanda, Londra ve Stockholm) ve Asya Pasifik (Tokyo, Mumbai, Singapur ve Sidney).

AWS, tek küme kullanan müşterilere kümenin Inference Gateway uç noktasını kullanmaya devam etmelerini, ikinci bir küme eklediklerinde ise küresel hizmete geçmelerini öneriyor. İstemciler geçiş yaparken küme başına mevcut uç noktalar hizmet vermeyi sürdürür; yalnızca aynı Bölge’deki kümeleri içeren bir ağ geçidi de iş yükünü o Bölgede tutabilir. Yayımlanmış bir küme herhangi bir ağ geçidine eklenmezse, Network Load Balancer çalışmaya ve ücret oluşturmaya devam etse bile kümeye trafik ulaşmaz.

Yakınlık, kapasite ve arıza sinyallerini tek bir politikada bir araya getiren hizmet, normalde atıl kalacak GPU kapasitesinin kullanımını ayrı bir ağ projesi olmaktan çıkarıp bir yapılandırma kararı hâline getiriyor.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.