Yapay zeka modelleri ve platformları
AWS, SageMaker HyperPod Inference’a Yönetilen NVIDIA Dynamo Ekliyor

Öne çıkan noktalarDynamo'nun ayrıştırılmış topolojisi, prefill ve decode havuzlarının her ikisi de tam…
Daha fazla göster
- Dynamo'nun ayrıştırılmış topolojisi, prefill ve decode havuzlarının her ikisi de tam model ağırlıklarını yüklerken bağımsız olarak ölçeklenmesini sağlar.
- AWS'nin 2,05 katlık verim artışı, kısıtsız maksimumlar yerine farklı eşzamanlılık düzeylerindeki gecikme kısıtlı sonuçları karşılaştırır.
- Yönetilen HyperPod koordinasyon ve kurtarmayı otomatikleştirir ancak topoloji ve GPU tahsisi ödünleşimlerini ölçülen iş yükü davranışına bırakır.
Amazon Web Services, 17 Kasım 2026’da Amazon SageMaker HyperPod Inference’ın artık yönetilen çok düğümlü ve ayrıştırılmış model sunumu için NVIDIA Dynamo’yu desteklediğini ve AWS’nin gecikme hedefleri kapsamında GPU başına uygunluk koşullarını karşılayan en yüksek toplu çıktı belirteci verim hızının 2,05 katına ulaşıldığını gösteren kıyaslama sonuçlarını duyurdu.
Bu ekleme, büyük dil modellerinin sunumundaki iki kısıtı ele alıyor: model ağırlıklarını ve yeniden kullanılabilir anahtar-değer (KV) önbelleğini GPU belleğine sığdırmak ve her ikisi de aynı GPU’ları kullanırken uzun istemlerin işlenmesinin belirteç üretimini yavaşlatmasını önlemek. AWS, bellek baskısını, 8 bit kayan nokta (FP8) ağırlıkları tek başına bile tek bir ml.p5.48xlarge örnekteki 640 GB GPU belleğini, KV önbelleği ve çalışma zamanı ek yükü hesaba katılmadan önce aşan GLM-5.3’ü örnek göstererek açıklıyor.
HyperPod, çerçevenin çevresindeki yönetilen altyapıyı sağlar: Elastic Fabric Adapter (EFA) ağı, eşgüdümlü GPU zamanlaması, düğümlerin, GPU’ların ve EFA’nın durum izlemesi ve düğüm değişimi. Orkestrasyon bileşenleri etkilenen çalışanları yeniden oluştururken bu değişimi HyperPod yönetir.
Ayrıştırılmış Sunum ve KV Farkındalıklı Yönlendirme
Dynamo, vLLM, SGLang ve TensorRT-LLM ile çalışan, açık kaynaklı bir dağıtık çıkarım çerçevesidir. Ayrıştırılmış topolojisi, istekleri istemleri işleyen ön doldurma çalışanlarına ve belirteçleri üreten kod çözme çalışanlarına yönlendirmek için bir ön uç kullanır. Bu havuzlar birbirinden bağımsız olarak ölçeklendirilebilir ve ayarlanabilir; ancak her ikisi de model ağırlıklarının tamamını yükler. KV önbelleği, EFA üzerinden bu havuzlar arasında taşınır.
Birleştirilmiş sunumda her iki aşama da aynı çalışanda yürütülür. Her iki topolojide de çalışanlar tek bir örnekte çalışabilir veya modeli GPU’lara bölmek için tensör ve işlem hattı paralelliği kullanarak birden çok örneğe yayılabilir. Dynamo’nun KV farkındalıklı yönlendiricisi, yeniden kullanılabilir önek önbelleğini ve etkin çalışan yükünü dikkate alır. AWS’ye göre öneklerin yeniden kullanılması, istemlerin yeniden hesaplanmasını azaltabilir ve ilk belirtece kadar geçen süreyi iyileştirebilir; yük farkındalığı ise tek tek çalışanların aşırı yüklenmesini önlemeye yardımcı olur.
Gecikme Kısıtları Altında Kıyaslamalar
Qwen3-235B-A22B-FP8 karşılaştırmasında Dynamo ve TensorRT-LLM, iki p5en.48xlarge örnekte, toplam 16 H200 GPU üzerinde kullanıldı. AIPerf, 4.000 giriş belirteci ve 200 çıkış belirteci içeren istekler oluşturdu. AWS, yalnızca ilk belirtece kadar geçen sürenin 90. yüzdelik dilimde bir saniyenin altında, üretim hızının ise kullanıcı başına saniyede en az 50 belirteç olduğu ölçüm noktalarını değerlendirmeye aldı.
AWS, ayrıştırılmış sunumun 80 eşzamanlılık düzeyinde GPU başına saniyede 207 çıkış belirtecine ulaştığını; uygun bulunan en yüksek birleştirilmiş sonucun ise 32 eşzamanlılık düzeyinde 101 olduğunu bildirdi. Dolayısıyla karşılaştırma, her iki topolojinin kısıtsız aktarım hızı üst sınırını değil, farklı eşzamanlılık düzeylerinde gecikme kısıtlarına tabi aktarım hızını ele alıyor.
Ayrı bir Qwen3.5-397B-A17B-FP8 testi, Dynamo ve vLLM kullanarak tek bir p5en.48xlarge örnekteki sekiz H200 GPU’yu, her biri iki örnekten birinde bulunan dört GPU’lu yapılandırmayla karşılaştırdı; model, paralellik ve iş yükü yapılandırması aynı tutuldu. AWS, yüksek önek yeniden kullanımıyla 32 eşzamanlılık düzeyinde iki düğümlü kurulum için GPU başına saniyede 126,4 çıkış belirteci, yani tek düğümlü aktarım hızının %99,1’i değerini bildirdi. Model tek bir örneğe sığıyor ve uygulamada normalde bölünmüyor; bu nedenle test, düğüm sınırını aşmanın aktarım hızı üzerindeki etkisini ölçmek için kontrollü bir başlangıç noktası oluşturdu.
Yönetilen Yapılandırma ve Kaynak Planlaması
Kullanıcıların iki yapılandırma seçeneği vardır. Mevcut Dynamo kullanıcıları bir DynamoGraphDeployment sunum grafiğini açıklayan bildirim dosyasını sağlayabilir; depolama, ağ, pod yerleşimi, uç noktalar, TLS, kayıt ve otomatik ölçeklendirme işlemlerini kendileri yönetebilir. Diğer InferenceEndpointConfig yol, … kullanır dynamoSpec yönetilen uç nokta kurulumu ve her iki sunum topolojisi için Kubernetes Olay Tabanlı Otomatik Ölçeklendirme (KEDA) kullanır. Varsayılan olarak vLLM’yi kullanır, KV farkındalıklı yönlendirme ve çoğaltma sayıları için varsayılan ayarlar sunar ve SageMaker uç noktaları üzerinden OpenAI uyumlu bir arayüzü destekler.
Eklenti, Dynamo’nun özel kaynak tanımlarını ve sunum ile zamanlama bileşenlerini yükler; çalışma zamanı ortamını ise AWS Deep Learning Containers sağlar. Yönetilen seçenekte HyperPod Inference Operator, ağırlıkları Amazon S3 veya FSx’ten hazırlar ve DynamoGraphDeploymentdosyasını oluşturur. Grove, ilişkili pod gruplarını koordine ederken KAI Scheduler, çok düğümlü her çalışanın podlarının birlikte yerleştirilmesi için grup zamanlaması kullanır. Desteklenen bir Dynamo sürümüne geçmek için eklentinin güncellenmesi gerekir.
AWS’nin GLM-5.3 örneği, GPU tahsisi seçimini somutlaştırıyor. Birleştirilmiş yapılandırması, iki ml.p5.48xlarge örneğe yayılan, 16 yönlü tensör paralelliği kullanan tek bir model çalışanı çoğaltması ve iki ön uç çoğaltması çalıştırıyor. Ayrıştırılmış yapılandırmada, her biri iki örneğe yayılan bir ön doldurma çoğaltması ve iki kod çözme çoğaltması bulunuyor; toplamda altı örnek kullanılıyor. Ayrı çoğaltma sayıları, tek bir birleşik havuzu ölçeklendirmek yerine bir dağıtımın istem işleme ve belirteç üretimi için farklı miktarlarda kapasite ayırabileceğini gösteriyor.
AWS, kıyaslama yapmadan önce EFA iletişiminin doğrulanmasını, temsili istem uzunluklarının, çıktı uzunluklarının ve önek yeniden kullanımının test edilmesini, eşzamanlılık düzeyinin hizmet düzeyi hedeflerine göre farklı değerlerde denenmesini ve motor ayarları değiştirilmeden önce ölçülen darboğazlara göre topolojinin ve çalışan tahsisinin ayarlanmasını öneriyor.
HyperPod artık koordinasyon ve kurtarma işlerinin daha büyük bir bölümünü üstleniyor; ancak kıyaslama koşulları ve dağıtım örnekleri, yönetilen işletimin çıkarım hizmeti sunumundaki ödünleşimleri ortadan kaldırmadığını gösteriyor. Yararlı yapılandırma hâlâ ölçülen istem ve üretim davranışına, GPU’ların çalışan havuzları arasında nasıl tahsis edildiğine ve iş yükünün gecikme ile maliyet önceliklerine bağlı.












