AWS, SageMaker Inference Uç Noktalarına NVIDIA GPU Bölümlendirmesi Ekliyor

Amazon Web Services (AWS), 6 Kasım 2026’da Amazon SageMaker Inference için NVIDIA Multi-Instance GPU desteğini duyurdu. Bu özellik, gerçek zamanlı uç noktalarda her dağıtıma tam bir GPU tahsis etmek yerine, donanım düzeyinde yalıtılmış birden fazla modelin tek bir hızlandırıcıyı paylaşmasını sağlıyor.

Bu özellik, GPU’nun tamamının tahsis edilmesinden kaynaklanan iki kısıtı gideriyor. Bir örneğin barındırabileceği model sayısını hızlandırıcı sayısı sınırlandırıyor; her modelin ne kadar az bellek veya işlem gücü kullandığı fark etmiyor. Ayrıca daha yeni bir GPU’yu değerlendiren müşterilerin aygıtın tamamını tahsis etmesi gerekiyor. Multi-Instance GPU (MIG) ise her bölüme sabit sayıda işlem birimi ve ayrılmış bir bellek bloğu veriyor; yalıtım donanım düzeyinde sağlanıyor. Her model bellekte kalıcı olarak bulunduğundan bu düzen, çok modelli bir uç noktanın ilk kullanımda modeli paylaşılan aygıtına yüklerken oluşan gecikmeyi de ortadan kaldırıyor.

Bölümlendirme, SageMaker’ın bir uç noktaya birden çok model dağıtmak ve her birine verilecek işlem gücünü belirlemek için kullandığı çıkarım bileşenlerinden yararlanan gerçek zamanlı uç noktalarla sınırlı. Tek modelli uç noktalar, sunucusuz uç noktalar ve heterojen örnek havuzları bölümlendirilemiyor. Asenkron iş yükleri de bu özelliğin kapsamı dışında; çünkü asenkron çağrılar bir çıkarım bileşenini hedefleyemiyor.

Salesforce, gereksinimlerin belirlenmesine ve ilk uygulamanın doğrulanmasına yardımcı oldu. Salesforce’ta yazılım mühendisliği mimarı olan Richard Chang, şirketin MIG’nin öngörülebilir performansı ve yalıtımı korurken iş yüklerini güvenli biçimde birleştirmesini, GPU kullanımını artırmasını ve çıkarım maliyetlerini düşürmesini beklediğini söyledi. Salesforce, yazılımı temsili üretim iş yükleriyle doğrulamaya hazırlanıyor; dolayısıyla bu faydalar, üretimde elde edilmiş sonuçlar değil, beklentiler.

Bölümlendirmeyi İki API Alanı Kontrol Ediyor

SageMaker AI geliştirici belgeleri iki isteğe bağlı alan tanımlıyor: AcceleratorPartitionLayouts üretim varyantında bölümlendirmeyi belirtir ve AcceleratorPartitionType bir çıkarım bileşeninin kullanacağı profili seçer. Yeni API işlemleri, kaynak türleri veya AWS Identity and Access Management eylemleri yok; her iki alanın da belirtilmemesi, uç noktanın mevcut davranışını koruyor.

Seçilen düzen, varyanttaki tüm örneklerdeki bütün hızlandırıcılara aynı şekilde uygulanıyor. AWS’nin örneğinde, sekiz A100’ün her biri bir örnekte ml.p4d.24xlarge şu şekilde mig-4g.20gb, mig-2g.10gb ve mig-1g.5gb bölüme ayrılıyor; böylece uç nokta genelinde 24 bölüm elde ediliyor. Her çıkarım bileşeni kopyası, kendisi için istenen tek bir bölümü kullanırken InvokeEndpoint bölüm tanımlayıcısı olmadan, modelleri bileşen adlarıyla hedeflemeye devam ediyor. AWS, testlerinde hızlandırıcıların bölümlendirilmesinin sağlama süresine yaklaşık 17 saniye eklediğini belirtti.

Yalıtım GPU işlem gücünü ve belleğini kapsıyor, ana makinenin tamamını değil. Aynı örnekteki modeller ana makinenin CPU’sunu, belleğini, depolama alanını, ağını ve uç nokta yönlendirmesini paylaşmaya devam ediyor. Düzen içinde bulunmayan bir profil isteyen bileşen, GPU’nun tamamı kendisine verilmek yerine reddediliyor. Çalışan bir uç noktanın düzenini değiştirmek için yeni bir uç nokta oluşturulması ve trafiğin taşınması gerekiyor; bir bileşeni başka bir profile geçirmek içinse yeni bir bileşen oluşturulması gerekiyor.

AWS, H100’ün Bir Bölümünü A100’ün Tamamıyla Karşılaştırdı

AWS, bir mig-3g.40gb AWS, üretimdeki SageMaker gerçek zamanlı uç noktalarında Llama-3.1-8B-Instruct kullanarak H100 GPU’sunun bir bölümünü tam bir A100-40GB GPU’suyla karşılaştırdı. Her iki tarafta da birer model kopyası, aynı konteynerler, belirteçleyiciler ve istemci yapılandırmaları kullanıldı; genai-bench, eşzamanlılık düzeyleri 2 ile 512 arasında değişirken beş trafik profili uyguladı. NVIDIA’nın profil kılavuzu, test edilen H100 profiline yedi akış çoklu işlemci payının üçünü ve sekiz bellek biriminin dördünü tahsis ediyor. İki yapılandırmanın bellek kapasiteleri birbirine yakın, ancak işlem kaynakları için ayrılan paylar farklı.

AWS’nin bildirdiğine göre testlerde, her senaryonun maliyet avantajının en yüksek olduğu yükte H100 bölümü saniyede %53 ila %89 daha fazla çıktı belirteci üretti. Belirteçler arası gecikme %8,9 ila %42,1, ilk belirtece kadar geçen süre ise %5,6 ila %47,5 daha düşüktü. 6.000 ve 8.000 belirteçlik iş yüklerinde en yüksek eşzamanlılık düzeyinde A100, isteklerin üçte biri ila yarısında hizmet süresi sınırını kaçırırken bölüm hiçbir istekte sınırı kaçırmadı.

Evrensel bir sonuç olarak değil, her durum için ayrı bir karşılaştırma olarak sunulan AWS maliyet analizine göre trafik, iş yüküne özgü başa baş noktasını aştığında milyon çıktı belirteci başına maliyet %18 ila %34 daha düşük oldu. Bu nokta, 100 belirteçlik istemlerde 64, 8.000 belirteçlik istemlerde ise 4 eşzamanlılık düzeyindeydi. Bu düzeyin altında A100’ün tamamı daha ucuz kaldı; dolayısıyla kısa girdili veya düşük eşzamanlılıklı iş yükleri, eski GPU’nun tamamına daha uygun olabilir. Birim maliyet karşılaştırmasında, isteğe bağlı örnek fiyatları her örnekte test edilen birim sayısına bölündü.

Desteklenen Donanım ve Çalışma Sınırları

Lansman, bölüm sayıları ve profilleri hızlandırıcıya göre belirlenen dört örnek ailesini kapsıyor:

GPU bölümleme; bölgesel sunucu bulut sunucusu kullanılabilirliğine ve uç nokta kotasına bağlı olarak ABD Doğu (Kuzey Virginia), ABD Doğu (Ohio), ABD Batı (Oregon), Asya Pasifik (Singapur), Asya Pasifik (Tokyo), Avrupa (Frankfurt) ve Avrupa (İrlanda) bölgelerinde kullanılabilir. Hiçbir bölüm birden fazla hızlandırıcıya yayılmaz; bu nedenle tam bir GPU veya birden fazla GPU gerektiren modeller için hâlâ bütün GPU’ların kullanılması gerekir.

Müşteriler tam GPU bulut sunucusunun ücretini ödemeye devam eder; bölümleme, kullanılabilir kapasiteyi artırabilir ancak saatlik ücreti düşürmez. Bölümlenmiş uç noktalar ve bunların çıkarım bileşenleri, çağrı ve gecikme ölçümleri kullanılabilir durumda olsa da GPU, CPU veya bellek kullanım ölçümlerini CloudWatch’a yayımlamaz. P4d’de, mig-1g.10gb profil için NVIDIA’nın R525 sürücüsü veya daha yenisi gerekir. AWS, varsayılan imaj bu sürücüyü sağlamadığından müşterileri daha yeni bir çıkarım AMI’si kullanmaya yönlendirir.

Kapasite planlaması açısından bu lansman, desteklenen her hızlandırıcıyı birkaç sabit GPU boyutuna dönüştürüyor; ancak donanım yalıtımına sahip daha yoğun dağıtımların karşılığında tam bulut sunucusu ücreti, yerinde değiştirilemeyen yerleşim düzenleri ve kullanım telemetrisinde azalma söz konusu. AWS’nin kıyaslama testi, gerçek trafiği ölçmenin değerini gösteriyor: Bu testlerde H100 bölümü, daha yoğun ve uzun bağlamlı iş yüklerinde performans ve maliyet avantajı sağlarken, başa baş sonuçları daha hafif iş yüklerinde bütün bir A100’ün daha ucuz olduğunu ortaya koydu.