Model dan platform AI
AWS Menambahkan NVIDIA Dynamo Terkelola ke Inferensi SageMaker HyperPod

Poin utamaTopologi terdisagregasi Dynamo memungkinkan kumpulan prefill dan decode untuk…
Lihat selengkapnya
- Topologi terdisagregasi Dynamo memungkinkan kumpulan prefill dan decode untuk diskalakan secara independen sementara keduanya tetap memuat bobot model penuh.
- Peningkatan throughput 2,05 kali dari AWS membandingkan hasil yang dibatasi latensi pada tingkat konkurensi yang berbeda, bukan nilai maksimum tanpa batas.
- HyperPod terkelola mengotomatiskan koordinasi dan pemulihan tetapi menyerahkan trade-off topologi dan alokasi GPU pada perilaku beban kerja yang terukur.
Amazon Web Services mengumumkan pada 17 November 2026 bahwa Amazon SageMaker HyperPod Inference kini mendukung NVIDIA Dynamo untuk penyajian model terkelola multi-node dan terdisagregasi, sekaligus merilis hasil tolok ukur yang menunjukkan throughput token keluaran agregat per GPU sebesar 2,05 kali hasil tertinggi yang memenuhi syarat berdasarkan target latensi AWS.
Penambahan ini mengatasi dua kendala dalam penyajian model bahasa besar: menempatkan bobot model dan cache key-value (KV) yang dapat digunakan kembali di memori GPU, serta mencegah pemrosesan prompt panjang memperlambat pembuatan token saat keduanya menggunakan GPU yang sama. AWS menggambarkan tekanan pada memori ini dengan GLM-5.3, yang bobot floating-point 8-bit (FP8)-nya saja melebihi kapasitas memori GPU sebesar 640 GB pada satu ml.p5.48xlarge instans, bahkan sebelum cache KV dan overhead runtime diperhitungkan.
HyperPod menyediakan infrastruktur terkelola yang mendukung framework tersebut: jaringan Elastic Fabric Adapter (EFA), penjadwalan GPU yang terkoordinasi, pemantauan kesehatan node, GPU, dan EFA, serta penggantian node. HyperPod mengelola penggantian tersebut, sementara komponen orkestrasi membuat ulang pekerja yang terdampak.
Penyajian Terdisagregasi dan Perutean yang Memperhitungkan KV
Dynamo adalah framework inferensi terdistribusi sumber terbuka yang kompatibel dengan vLLM, SGLang, dan TensorRT-LLM. Topologi terdisagregasinya menggunakan frontend untuk merutekan permintaan ke pekerja prapengisian, yang memproses prompt, dan pekerja dekode, yang menghasilkan token. Kedua kelompok pekerja ini dapat diskalakan dan disetel secara terpisah, tetapi masing-masing memuat seluruh bobot model; cache KV berpindah di antara keduanya melalui EFA.
Penyajian agregat menjalankan kedua tahap pada pekerja yang sama. Pada kedua topologi, pekerja dapat berjalan pada satu instans atau tersebar di beberapa instans dengan paralelisme tensor dan pipeline untuk membagi model ke sejumlah GPU. Perute Dynamo yang memperhitungkan KV mempertimbangkan cache awalan yang dapat digunakan kembali dan beban pekerja yang sedang aktif. AWS menyatakan bahwa penggunaan ulang awalan dapat mengurangi penghitungan ulang prompt dan mempercepat waktu hingga token pertama, sementara pemantauan beban membantu mencegah kelebihan beban pada masing-masing pekerja.
Tolok Ukur dengan Batasan Latensi
Perbandingan Qwen3-235B-A22B-FP8 menggunakan Dynamo dan TensorRT-LLM pada dua p5en.48xlarge instans, dengan total 16 GPU H200. AIPerf menghasilkan permintaan yang berisi 4.000 token masukan dan 200 token keluaran. AWS hanya menyertakan hasil pengukuran dengan waktu hingga token pertama pada persentil ke-90 di bawah satu detik dan kecepatan pembuatan median sedikitnya 50 token per detik per pengguna.
AWS melaporkan bahwa penyajian terdisagregasi mencapai 207 token keluaran per detik per GPU pada konkurensi 80, dibandingkan dengan 101 pada konkurensi 32 untuk hasil penyajian agregat tertinggi yang memenuhi syarat. Karena itu, perbandingan ini mengukur throughput dengan batasan latensi pada tingkat konkurensi yang berbeda, bukan throughput maksimum tanpa batas untuk salah satu topologi.
Pengujian terpisah terhadap Qwen3.5-397B-A17B-FP8 menggunakan Dynamo dan vLLM untuk membandingkan delapan GPU H200 pada satu p5en.48xlarge instans dengan empat GPU pada masing-masing dari dua instans, sementara model, paralelisme, dan konfigurasi beban kerja tetap sama. AWS melaporkan bahwa konfigurasi dua node menghasilkan 126,4 token keluaran per detik per GPU, atau 99,1% dari throughput satu node, pada konkurensi 32 dengan penggunaan ulang awalan yang tinggi. Model tersebut muat pada satu instans dan biasanya tidak akan dibagi dalam praktik, sehingga pengujian ini menjadi tolok ukur terkendali untuk mengukur dampak perpindahan antar-node terhadap throughput.
Konfigurasi Terkelola dan Perencanaan Sumber Daya
Pengguna memiliki dua jalur konfigurasi. Pengguna Dynamo yang sudah ada dapat membawa sebuah DynamoGraphDeployment manifest yang menjelaskan graf penyajian, lalu mengelola sendiri penyimpanan, jaringan, penempatan pod, endpoint, TLS, registrasi, dan penskalaan otomatis. Jalur InferenceEndpointConfig ini menggunakan dynamoSpec untuk menyiapkan endpoint terkelola dan Kubernetes Event-driven Autoscaling (KEDA) pada kedua topologi penyajian. Konfigurasi ini menggunakan vLLM secara default, menyediakan pengaturan bawaan untuk perutean yang memperhitungkan KV dan jumlah replika, serta mendukung antarmuka yang kompatibel dengan OpenAI melalui endpoint SageMaker.
Add-on ini memasang definisi sumber daya kustom Dynamo serta komponen penyajian dan penjadwalannya, sementara AWS Deep Learning Containers menyediakan runtime. Pada jalur terkelola, HyperPod Inference Operator menyiapkan bobot dari Amazon S3 atau FSx dan membuat DynamoGraphDeployment. Grove mengoordinasikan kelompok pod terkait, sementara KAI Scheduler menggunakan penjadwalan gang agar pod milik setiap pekerja multi-node ditempatkan bersama. Untuk menggunakan rilis Dynamo yang didukung, add-on harus diperbarui.
Contoh GLM-5.3 dari AWS memperjelas pilihan alokasi GPU. Konfigurasi agregatnya menjalankan satu replika pekerja model di dua ml.p5.48xlarge instans dengan paralelisme tensor 16 arah dan dua replika frontend. Varian terdisagregasi mengonfigurasi satu replika prapengisian dan dua replika dekode, yang masing-masing mencakup dua instans, sehingga totalnya enam instans. Jumlah replika yang berbeda ini menunjukkan bagaimana suatu penerapan dapat mengalokasikan kapasitas dalam jumlah berbeda untuk pemrosesan prompt dan pembuatan token, alih-alih menskalakan satu kelompok gabungan.
AWS menyarankan untuk memverifikasi komunikasi EFA sebelum melakukan tolok ukur, menguji panjang prompt, panjang keluaran, dan penggunaan ulang prefiks yang representatif, menguji berbagai tingkat konkurensi berdasarkan sasaran tingkat layanan, serta menyesuaikan topologi dan alokasi pekerja berdasarkan hambatan yang terukur sebelum mengubah pengaturan mesin.
HyperPod kini menangani lebih banyak pekerjaan koordinasi dan pemulihan, tetapi kondisi tolok ukur dan contoh penerapan menunjukkan bahwa pengelolaan layanan tidak menghilangkan kompromi dalam penyajian. Konfigurasi yang tepat tetap bergantung pada perilaku prompt dan generasi yang terukur, alokasi GPU di antara kumpulan pekerja, serta prioritas latensi dan biaya beban kerja.












