AWS Menambahkan Partisi GPU NVIDIA ke Endpoint Inferensi SageMaker

Amazon Web Services (AWS) mengumumkan dukungan NVIDIA Multi-Instance GPU untuk Amazon SageMaker Inference pada 6 November 2026, sehingga beberapa model yang diisolasi di tingkat perangkat keras dapat berbagi satu akselerator pada endpoint waktu nyata, alih-alih mengalokasikan satu GPU penuh untuk setiap penerapan.

Fitur ini mengatasi dua kendala alokasi GPU utuh. Jumlah akselerator membatasi banyaknya model yang dapat dihosting pada sebuah instans, terlepas dari sedikitnya memori atau daya komputasi yang digunakan setiap model, dan pelanggan yang mempertimbangkan GPU generasi lebih baru harus mengalokasikan seluruh perangkat. Multi-Instance GPU (MIG) memberikan porsi tetap unit komputasi dan blok memori khusus kepada setiap partisi, dengan isolasi yang ditegakkan oleh perangkat keras. Karena setiap model tetap berada di memori, pengaturan ini juga menghindari jeda yang terjadi saat endpoint multi-model memuat model ke perangkat bersama untuk pertama kali digunakan.

Partisi hanya tersedia untuk endpoint waktu nyata yang menggunakan komponen inferensi, yaitu mekanisme SageMaker untuk menerapkan beberapa model ke satu endpoint dan menetapkan kapasitas komputasi yang diterima masing-masing model. Endpoint model tunggal, endpoint nirserver, dan kumpulan instans heterogen tidak dapat dipartisi. Beban kerja asinkron juga berada di luar cakupan fitur ini karena pemanggilan asinkron tidak dapat mengakses komponen inferensi.

Salesforce turut membantu menetapkan persyaratan dan memvalidasi implementasi awal. Richard Chang, arsitek rekayasa perangkat lunak di Salesforce, mengatakan bahwa perusahaan memperkirakan MIG dapat mengonsolidasikan beban kerja dengan aman, meningkatkan pemanfaatan GPU, dan mengurangi biaya inferensi, sekaligus mempertahankan kinerja dan isolasi yang konsisten. Salesforce sedang bersiap memvalidasi perangkat lunak tersebut dengan beban kerja produksi yang representatif, sehingga manfaat itu masih berupa perkiraan, bukan hasil produksi yang telah dilaporkan.

Dua Kolom API Mengendalikan Partisi

Dokumentasi pengembang SageMaker AI menjelaskan dua kolom opsional: AcceleratorPartitionLayouts menetapkan partisi pada varian produksi, dan AcceleratorPartitionType memilih profil yang digunakan oleh komponen inferensi. Tidak ada operasi API, jenis sumber daya, atau tindakan AWS Identity and Access Management yang baru, dan jika kedua kolom tidak diisi, perilaku endpoint yang ada tetap dipertahankan.

Tata letak yang dipilih diterapkan secara seragam ke setiap akselerator pada setiap instans dalam varian tersebut. Contoh AWS membagi masing-masing dari delapan A100 pada sebuah ml.p4d.24xlarge menjadi mig-4g.20gb, mig-2g.10gb dan mig-1g.5gb partisi, sehingga menghasilkan 24 partisi di seluruh endpoint. Setiap salinan komponen inferensi menempati satu partisi yang diminta, sementara InvokeEndpoint tetap mengakses model berdasarkan nama komponen tanpa pengenal partisi. Dalam pengujiannya, AWS menyatakan bahwa pembagian akselerator menambah waktu penyediaan sekitar 17 detik.

Isolasi mencakup komputasi dan memori GPU, bukan seluruh host. Model pada satu instans tetap berbagi CPU host, memori host, penyimpanan, jaringan, dan perutean endpoint. Komponen yang meminta profil yang tidak tersedia dalam tata letak akan ditolak, alih-alih diberi satu GPU utuh. Mengubah tata letak endpoint yang sedang berjalan mengharuskan pembuatan endpoint baru dan pemindahan lalu lintas; memindahkan komponen ke profil lain mengharuskan pembuatan komponen baru.

AWS Menguji Partisi H100 terhadap A100 Utuh

AWS membandingkan satu mig-3g.40gb partisi H100 dengan satu A100-40GB utuh, menggunakan Llama-3.1-8B-Instruct pada endpoint waktu nyata SageMaker produksi. Kedua konfigurasi menggunakan satu replika model, kontainer, tokenizer, dan konfigurasi klien yang identik, dengan genai-bench menjalankan lima pola lalu lintas pada tingkat konkurensi 2 hingga 512. Panduan profil NVIDIA menetapkan tiga dari tujuh porsi multiprosesor streaming dan empat dari delapan unit memori untuk profil H100 yang diuji. Kedua konfigurasi memiliki kapasitas memori yang sebanding, tetapi alokasi komputasinya berbeda.

Dalam rangkaian pengujian, AWS melaporkan bahwa partisi H100 menghasilkan 53% hingga 89% lebih banyak token keluaran per detik dibandingkan A100 pada beban ketika manfaat biaya untuk setiap skenario mencapai nilai tertinggi. Latensi antartoken 8,9% hingga 42,1% lebih rendah, sedangkan waktu hingga token pertama 5,6% hingga 47,5% lebih rendah. Pada tingkat konkurensi tertinggi untuk beban kerja 6.000 token dan 8.000 token, A100 tidak memenuhi tenggat penyajian untuk sepertiga hingga setengah permintaan, sementara partisi tersebut tidak gagal memenuhi tenggat untuk satu pun permintaan.

Analisis biaya AWS, yang disajikan sebagai perbandingan untuk setiap kasus alih-alih kesimpulan universal, menemukan biaya per satu juta token keluaran 18% hingga 34% lebih rendah setelah lalu lintas melewati titik impas yang berbeda untuk setiap beban kerja. Titik tersebut tercapai pada konkurensi 64 untuk perintah 100 token dan konkurensi 4 untuk perintah 8.000 token. Di bawah titik itu, A100 utuh tetap lebih murah, sehingga GPU utuh generasi lama berpotensi lebih cocok untuk beban kerja dengan masukan pendek atau konkurensi rendah. Perbandingan biaya per unit membagi harga instans sesuai permintaan dengan jumlah unit yang diuji pada setiap instans.

Perangkat Keras yang Didukung dan Batas Operasional

Peluncuran ini mencakup empat keluarga instans, dengan jumlah dan profil partisi yang ditentukan oleh akselerator:

Partisi GPU tersedia di US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt), dan Europe (Ireland), bergantung pada ketersediaan instans regional dan kuota endpoint. Tidak ada partisi yang mencakup beberapa akselerator, sehingga model yang memerlukan satu GPU penuh atau beberapa GPU tetap membutuhkan perangkat utuh.

Pelanggan tetap membayar harga penuh untuk instans GPU; partisi dapat meningkatkan kapasitas yang dapat digunakan, tetapi tidak menurunkan harga per jamnya. Endpoint yang dipartisi beserta komponen inferensinya juga tidak mengirimkan metrik pemanfaatan GPU, CPU, atau memori ke CloudWatch, meskipun metrik pemanggilan dan latensi tetap tersedia. Pada P4d, profil mig-1g.10gb memerlukan driver NVIDIA R525 atau yang lebih baru, dan AWS mengarahkan pelanggan untuk menggunakan AMI inferensi yang lebih baru karena citra default tidak menyediakannya.

Untuk perencanaan kapasitas, peluncuran ini mengubah setiap akselerator yang didukung menjadi beberapa ukuran GPU tetap. Namun, penerapan dengan isolasi perangkat keras yang lebih padat disertai penagihan instans penuh, tata letak yang tidak dapat diubah di tempat, dan telemetri pemanfaatan yang lebih terbatas. Tolok ukur AWS menunjukkan pentingnya mengukur lalu lintas aktual: dalam pengujian tersebut, partisi H100 memberikan keunggulan kinerja dan biaya pada kondisi beban kerja konteks panjang yang lebih berat, sedangkan hasil titik impas menunjukkan bahwa A100 utuh lebih murah untuk beban kerja yang lebih ringan.