Model dan platform AI

AWS Menambahkan Ekstensi Klaster Terkelola ke SageMaker HyperPod Slurm

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaEkstensi klaster mengubah perangkat lunak node menjadi status yang dideklarasikan yang…
Lihat selengkapnya
  • Ekstensi klaster mengubah perangkat lunak node menjadi status yang dideklarasikan yang terus divalidasi dan direkonsiliasi oleh HyperPod.
  • Administrator dapat memperbarui pengaturan atau versi ekstensi tanpa mengganti node atau menjalankan ulang skrip siklus hidup.
  • Memigrasikan klaster yang ada memerlukan penghapusan manual agen yang dipasang oleh skrip selama jendela pemeliharaan.

Amazon Web Services meluncurkan ekstensi klaster terkelola untuk Amazon SageMaker HyperPod Slurm pada 20 November 2026. Ekstensi ini menghadirkan konfigurasi deklaratif untuk perangkat lunak pada node yang sedang berjalan melalui API atau konsol SageMaker AI. Dua ekstensi pertama mencakup observabilitas dan manajemen pengguna, termasuk integrasi direktori.

Peluncuran ini menangani bagian dari klaster pelatihan AI bersama yang berubah setelah penyediaan. Pada 2026, HyperPod telah menambahkan konfigurasi Slurm berbasis API, penyiapan node berbasis AMI, penyediaan berkelanjutan, pengelolaan topologi otomatis, dan pemeriksaan kesehatan mendalam. Fitur-fitur tersebut mengelola definisi, kapasitas, tata letak jaringan, dan kesehatan perangkat keras klaster; ekstensi klaster menerapkan pendekatan yang sama pada perangkat lunak node yang berubah seiring perkembangan tim riset, kebutuhan pemantauan, dan versi paket.

Keadaan yang Diinginkan untuk Perangkat Lunak Node

Administrator dapat memasang, mengonfigurasi, memperbarui, dan menghapus paket yang dikelola AWS melalui konsol, AWS CLI, atau SDK. HyperPod memvalidasi pengaturan berdasarkan skema versi ekstensi yang dipilih sebelum peluncuran, lalu mencatat versi dan pengaturan yang diminta sebagai keadaan yang diinginkan. Selanjutnya, agen node hanya menerapkan komponen yang diperlukan untuk peran setiap node, termasuk pada node yang ditambahkan melalui penskalaan atau penggantian.

Pembaruan hanya mengirimkan pengaturan yang diubah. HyperPod menggabungkannya ke dalam konfigurasi tersimpan dan hanya memulai ulang komponen yang terdampak, tanpa mengganti node atau menjalankan ulang skrip siklus hidup. Versi ekstensi baru juga dapat dipasang tanpa memperbarui AMI. HyperPod memeriksa pengaturan tersimpan berdasarkan skema versi baru sebelum peluncuran, dan peningkatan versi hanya dapat dilakukan ke versi yang lebih baru.

Setiap ekstensi melaporkan status Creating atau Updating selama peluncuran, Active ketika setiap node menjalankan konfigurasi yang diminta tanpa masalah yang dilaporkan, dan Degraded ketika node gagal atau melaporkan masalah. DescribeClusterExtension mengelompokkan masalah kesehatan di tingkat node berdasarkan penyebab, disertai kode, pesan, dan jumlah node yang terdampak. HyperPod mencoba kembali kegagalan internal; administrator dapat memperbaiki penyebab lainnya dan mencoba kembali pada node yang terdampak melalui panggilan pembaruan tanpa perubahan konfigurasi.

Observabilitas dan Manajemen Pengguna

Ekstensi sagemaker-observability mengumpulkan metrik node, GPU, Elastic Fabric Adapter, tugas Slurm, dan klaster Slurm, lalu mengirimkannya ke Amazon CloudWatch atau Amazon Managed Service for Prometheus. Kategori, tingkat, dan interval pengumpulan metrik dapat dikonfigurasi, sementara node hanya menjalankan komponen yang relevan dengan perannya, seperti pengekspor DCGM dan EFA pada node GPU serta metrik klaster Slurm pada pengendali.

Ruang kerja Amazon Managed Grafana opsional menyediakan dasbor Clusters dan Jobs yang telah dibuat sebelumnya. Dasbor tersebut menghubungkan kesehatan seluruh klaster dan status Slurm dengan metrik infrastruktur per node serta penggunaan sumber daya untuk setiap tugas, termasuk CPU, memori, pemanfaatan GPU, I/O disk, dan data NCCL.

Ekstensi sagemaker-user-management membuat pengguna dan grup Linux dengan ID yang konsisten di seluruh node, mengatur akses SSH dan sudo tanpa kata sandi berdasarkan jenis node, serta mendaftarkan pengguna ke pencatatan akuntansi Slurm. Akun dapat ditetapkan secara lokal, diambil dari Active Directory melalui LDAPS, atau menggunakan keduanya, termasuk koneksi ke AWS Directory Service for Microsoft Active Directory. Node baru dan node pengganti menerima konfigurasi yang sama, dan administrator dapat meninjau akses melalui API tanpa masuk ke setiap node.

Migrasi, Izin, dan Biaya

Ekstensi klaster memerlukan klaster HyperPod Slurm yang menggunakan AMI HyperPod 2 November 2026 atau versi yang lebih baru, dengan penyediaan berkelanjutan diaktifkan. Karena ekstensi menjalankan perangkat lunak sebagai root, AWS menganggap izin membuat, memperbarui, dan menghapus sebagai izin administrator serta menyarankan agar izin tersebut tidak diberikan kepada peran eksekusi klaster. Peran itu tetap memerlukan akses ke tujuan metrik dan rahasia Active Directory, sementara manajemen pengguna memerlukan sistem berkas bersama untuk direktori beranda. ARN ekstensi yang terpisah memungkinkan tim platform dan pemantauan mengelola ekstensi yang berbeda.

Klaster yang sudah ada dapat dimigrasikan satu kemampuan pada satu waktu, sementara skrip dan ekstensi berjalan berdampingan. Proses ini mengharuskan pembaruan perangkat lunak klaster, penonaktifan kemampuan tersebut dalam skrip siklus hidup, penghapusan manual agen yang dipasang melalui skrip selama jendela pemeliharaan, dan pembuatan ekstensi pada klaster yang bersih. Setiap komponen harus memiliki satu pengelola: pengelolaan pengekspor, pengguna, atau layanan yang sama melalui kedua mekanisme dapat menyebabkan konflik pemasangan atau saat dijalankan. AMI khusus dan skrip siklus hidup tetap tersedia untuk perangkat lunak khusus organisasi, dan administrator tetap memiliki akses SSH serta akses konfigurasi langsung ke setiap node, termasuk pengendali.

Kedua ekstensi tersedia di semua Wilayah yang mendukung SageMaker HyperPod. Tidak ada biaya tambahan untuk ekstensi klaster, tetapi pelanggan tetap membayar sumber daya yang mendasarinya, seperti CloudWatch, Amazon Managed Service for Prometheus, dan AWS Secrets Manager.

Untuk klaster model fondasi bersama, dampak operasionalnya adalah perangkat lunak umum pada node menjadi bagian dari status klaster yang dinyatakan dan terus diperiksa, bukan sekadar kumpulan skrip penyediaan. Menghapus agen yang dipasang melalui skrip merupakan satu-satunya langkah migrasi manual yang berlaku di seluruh armada; setelah itu, penambahan kapasitas dan node pengganti akan mewarisi pengaturan ekstensi yang sama, sementara perangkat bantu khusus organisasi tetap berada dalam kendali tim klaster.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.