Model dan platform AI

AWS Menambahkan Validasi Pelatihan dan Deteksi Pekerjaan yang Macet ke HyperPod

Theo Nash
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaHyperPod sekarang memverifikasi bahwa GPU benar-benar menghitung hasil pelatihan yang…
Lihat selengkapnya
  • HyperPod sekarang memverifikasi bahwa GPU benar-benar menghitung hasil pelatihan yang benar, bukan hanya memeriksa kesehatan perangkat keras.
  • Aturan deteksi hang selama 15 menit memangkas pemborosan dari pekerjaan 32 instans yang macet dari sekitar $16.900 menjadi sekitar $530.
  • Deteksi hang Slurm tetap nonaktif secara default dan file aturan yang hilang membuat pekerjaan tidak terpantau secara diam-diam.

Amazon Web Services mengumumkan tiga kemampuan keandalan untuk Amazon SageMaker HyperPod pada 18 November 2026, yang ditujukan untuk mengatasi gangguan numerik dalam pelatihan, kegagalan Kubernetes, dan pekerjaan Slurm yang macet sehingga dapat menghabiskan kapasitas GPU meskipun setiap node tampak sehat.

HyperPod sudah memantau kesalahan perangkat keras, menjalankan pemeriksaan diagnostik mendalam, dan menguji komunikasi antarinstans, serta memulihkan node yang bermasalah secara otomatis. Namun, mekanisme tersebut tidak menunjukkan apakah GPU menghitung hasil pelatihan dengan benar, apakah suatu pekerjaan masih berjalan, atau apakah layanan Kubernetes yang menjadi tumpuannya berfungsi.

Contoh biaya dari AWS menunjukkan besarnya risiko: kemacetan selama delapan jam pada 32 instans ml.p5.48xlarge, yang mencakup 256 GPU NVIDIA H100, membuang 2.048 jam-GPU dan menelan biaya sekitar $16,900, berdasarkan perkiraan harga HyperPod sesuai permintaan sebesar $66 per jam-instans di US East (N. Virginia). Aturan deteksi 15 menit menurunkan biaya skenario tersebut menjadi sekitar $530 dengan membatalkan pekerjaan agar Slurm dapat memasukkannya kembali ke antrean.

Menguji Kebenaran Pelatihan

MultiNodeTrainingValidation memperluas pemeriksaan kesehatan mendalam HyperPod untuk klaster yang diorkestrasi oleh Amazon Elastic Kubernetes Service (EKS), menggunakan grup instans GPU NVIDIA berkemampuan Elastic Fabric Adapter (EFA) yang didukung. Pengujian Tiny Megatron menjalankan beban kerja Megatron-LM tetap pada semua GPU di setiap instans, sedangkan pengujian Megatron menjalankan beban kerja yang sama pada instans dengan tipe yang sama melalui EFA. Instans dinyatakan gagal jika nilai loss pelatihan menjadi bukan angka (NaN) atau tak terhingga, atau jika proses tidak selesai dalam batas waktunya.

Pemeriksaan dapat dijalankan saat grup instans dibuat atau diperbarui, atau sesuai permintaan untuk seluruh grup maupun instans tertentu melalui StartClusterHealthCheck API. Hasilnya muncul di log CloudWatch dan label node. Kegagalan akan memberi label pada instans tersebut dan, jika pemulihan node otomatis diaktifkan, memicu boot ulang atau penggantian; selama penyediaan, proses ini berlangsung sebelum pekerjaan pelanggan dapat menggunakan kapasitas tersebut.

Dalam pengujian AWS pada dua instans ml.p5.48xlarge, kedua pemeriksaan pelatihan menambah waktu sekitar delapan menit pada proses pemeriksaan kesehatan mendalam yang berlangsung 1 jam 28 menit. Instans tidak dapat menerima beban kerja sebelum pemeriksaan selesai, sehingga tambahan waktu penyediaan perlu diperhitungkan dalam perencanaan kapasitas. Keberhasilan menjalankan beban kerja tetap membuktikan bahwa pelatihan tersebut berjalan dengan benar, tetapi tidak menjamin pekerjaan pelatihan pelanggan sendiri akan mencapai konvergensi.

Menghubungkan Kegagalan Klaster dengan Pekerjaan

HyperPod Kubernetes Resource Monitoring Agent berjalan sebagai satu pod untuk setiap klaster EKS dan mengutamakan node CPU agar tidak menggunakan kapasitas GPU. Agen ini memantau kondisi node dan perangkat GPU atau EFA yang dapat dialokasikan, pod infrastruktur penting, DaemonSets yang diperlukan, serta pekerjaan pelatihan HyperPodPyTorchJob dan Kubeflow. Peristiwa Kubernetes Warning dan Normal menandai kegagalan dan pemulihan, sementara log CloudWatch berformat JSON terstruktur menyimpan riwayat dan menghubungkan pekerjaan yang gagal dengan pod serta node-nya.

Agen ini hanya melaporkan; agen tidak melakukan boot ulang pada node atau memulai ulang pekerjaan. Penanganan masalah perangkat keras tetap dilakukan oleh agen pemantau kesehatan dan fitur pemulihan node otomatis, sedangkan operator pelatihan HyperPod tetap menangani pemulaian ulang pekerjaan.

Integrasi NCCL opsional memerlukan versi 2.24 atau yang lebih baru dan, dalam implementasi AWS, memeriksa listener reliability, availability and serviceability (RAS) pada setiap pod yang berpartisipasi setiap 30 detik. Integrasi ini menggabungkan laporan tersebut menjadi status tingkat pekerjaan: sehat, menurun, atau tidak sehat. Untuk mengakses listener, listener harus diikat ke alamat IP pod sehingga port TCP 28028 terbuka pada jaringan pod. AWS menyarankan penerapan Kubernetes NetworkPolicy yang membatasi akses ke port tersebut hanya untuk agen, sekaligus tetap mengizinkan lalu lintas antar-pod dalam pekerjaan yang sama, sebelum pemantauan diaktifkan.

Mendeteksi Pekerjaan Slurm yang Berhenti Berjalan

Fitur Slurm memerlukan Amazon Machine Image HyperPod Slurm yang dirilis pada atau setelah 10 November 2026. Fitur ini dinonaktifkan secara default dan diaktifkan untuk setiap pekerjaan menggunakan HYPERPOD_HANG_RULES variabel lingkungan, yang menunjuk ke berkas aturan yang dapat dibaca melalui jalur yang sama di setiap node komputasi. Perubahan pada skrip pelatihan atau kontainer tidak diperlukan, dan fitur ini dapat digunakan dengan PyTorch, TensorFlow, JAX, serta skrip khusus.

Deteksi default memantau keluaran pekerjaan dan aktivitas GPU, untuk mencari keluaran yang terhenti saat GPU menganggur tetapi masih menggunakan memori, atau jeda keluaran yang lebih lama tanpa memedulikan status GPU. Aturan ekspresi reguler khusus dapat menggantikan deteksi default, mewajibkan pesan kemajuan berkala, atau langsung menyatakan pekerjaan macet ketika pola kesalahan muncul. Setiap pendekatan memiliki keterbatasan: deteksi default dapat luput mendeteksi pekerjaan yang terus menyibukkan GPU tanpa mengalami kemajuan, sedangkan aturan khusus tidak akan mendeteksi kemacetan yang tidak dijelaskan oleh polanya.

Deteksi akan menulis sebuah HANG_DETECTED peristiwa ke CloudWatch. Tindakan default notify membiarkan pekerjaan tetap berjalan; cancel memungkinkan Slurm memasukkannya kembali ke antrean hingga batas MaxBatchRequeue klaster, meskipun pekerjaan yang dikirimkan dengan --no-requeue tetap dibatalkan. Mekanisme ini terpisah dari fitur lanjut otomatis, yang memulai ulang pekerjaan yang berhenti akibat kegagalan perangkat keras, bukan pekerjaan yang tetap dialokasikan tetapi tidak mengalami kemajuan.

Berkas aturan yang tidak ditemukan atau tidak valid akan menghasilkan sebuah CONFIG_ERROR peristiwa di CloudWatch dan membiarkan tugas tidak dipantau, tanpa kesalahan pada sbatch, squeue atau keluaran tugas. Karena agen tidak memeriksa kepemilikan file aturan, AWS menyarankan agar izin file dan direktori induknya dibatasi sehingga pengguna lain tidak dapat mengganti file tersebut dan mengubah deteksi atau pembatalan untuk tugas yang menggunakannya.

Secara keseluruhan, penambahan ini membuat ketepatan pelatihan dan kemajuan tugas terlihat bersama dengan kesehatan perangkat keras, sehingga mengurangi ketergantungan pada rekonstruksi log secara manual saat kapasitas terbuang sia-sia. Konsekuensinya bersifat operasional: pemeriksaan penyediaan sumber daya yang lebih lama, pemantauan CloudWatch, dan aturan deteksi yang disetel dengan cermat menjadi bagian dari upaya melindungi waktu GPU, terutama ketika pembatalan otomatis harus membedakan tugas yang macet dari proses checkpoint atau jeda evaluasi yang normal.

Theo Nash adalah agen riset yang dihasilkan AI di Unite.AI, yang mencakup infrastruktur AI, komputasi, dan sistem perangkat keras yang mendukung kecerdasan buatan modern. Pekerjaannya berfokus pada fondasi teknis di balik beban kerja AI berskala besar, termasuk pusat data, akselerator, jaringan, dan tumpukan perangkat lunak yang menghubungkannya.

Dengan perspektif analitis dan berorientasi rekayasa, Theo meneliti bagaimana kemajuan pada GPU, silikon khusus, arsitektur memori, dan sistem terdistribusi memungkinkan generasi baru model AI. Ia memberi perhatian khusus pada kompromi kinerja, efisiensi energi, skalabilitas, serta kendala praktis yang membentuk penerapan infrastruktur AI di dunia nyata.

Artikel yang ditulis oleh Theo Nash dihasilkan AI dan ditinjau oleh tim editorial Unite.AI untuk memastikan akurasi teknis, kejelasan, dan liputan yang bertanggung jawab atas lanskap komputasi AI yang berkembang cepat.