Yapay zeka modelleri ve platformları

AWS, HyperPod’a Eğitim Doğrulama ve Takılı Kalan İşleri Tespit Etme Özellikleri Ekliyor

Theo Nash
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarHyperPod artık yalnızca donanım sağlığını kontrol etmek yerine GPU'ların gerçekten…
Daha fazla göster
  • HyperPod artık yalnızca donanım sağlığını kontrol etmek yerine GPU'ların gerçekten doğru eğitim sonuçları hesapladığını doğruluyor.
  • 15 dakikalık takılma algılama kuralı, takılan 32 örnekli bir işin israfını yaklaşık 16.900 dolardan yaklaşık 530 dolara düşürüyor.
  • Slurm takılma algılama varsayılan olarak kapalı kalıyor ve eksik bir kurallar dosyası işleri sessizce izlenmeden bırakıyor.

Amazon Web Services, 18 Kasım 2026’da Amazon SageMaker HyperPod için sayısal eğitim hatalarını, Kubernetes arızalarını ve tek tek düğümler hâlâ sağlıklı görünürken GPU kapasitesini tüketebilen takılı kalmış Slurm işlerini hedefleyen üç güvenilirlik özelliğini duyurdu.

HyperPod hâlihazırda donanım hatalarını izliyor, derinlemesine tanılama kontrolleri gerçekleştiriyor ve bulut sunucuları arasındaki iletişimi test ediyor; arızalı düğümler için otomatik kurtarma da sağlıyor. Ancak bu kontroller, GPU’ların eğitim sonuçlarını doğru hesaplayıp hesaplamadığını, bir işin ilerlemeyi sürdürüp sürdürmediğini veya işin bağlı olduğu Kubernetes hizmetlerinin çalışıp çalışmadığını göstermiyor.

AWS’nin maliyet örneği, söz konusu riskin boyutunu ortaya koyuyor: NVIDIA H100 GPU’lardan 256’sına karşılık gelen 32 ml.p5.48xlarge bulut sunucusunda sekiz saat boyunca takılı kalan bir iş, 2.048 GPU-saatini boşa harcıyor ve ABD Doğu (Kuzey Virginia) bölgesindeki HyperPod’un saat başına bulut sunucusu başına yaklaşık 66 ABD doları olan isteğe bağlı kullanım fiyatı üzerinden yaklaşık 16.900 dolara mal oluyor. 15 dakikalık bir algılama kuralı, işi iptal ederek Slurm’un yeniden kuyruğa almasını sağlıyor ve bu senaryodaki maliyeti yaklaşık 530 dolara indiriyor.

Eğitim Doğruluğunu Test Etme

MultiNodeTrainingValidation, Amazon Elastic Kubernetes Service (EKS) tarafından düzenlenen kümeler için HyperPod’un derinlemesine sağlık kontrollerini, desteklenen Elastic Fabric Adapter (EFA) özellikli NVIDIA GPU bulut sunucusu gruplarını kullanarak genişletiyor. Tiny Megatron testi, her bulut sunucusundaki tüm GPU’larda sabit bir Megatron-LM iş yükü çalıştırırken Megatron testi, aynı iş yükünü EFA üzerinden aynı türdeki bulut sunucuları arasında çalıştırıyor. Eğitim kaybı sayı olmayan (NaN) bir değere dönüşür veya sonsuz olursa ya da çalışma süresi sınırı içinde tamamlanmazsa bulut sunucusu başarısız sayılıyor.

Denetim, bir bulut sunucusu grubu oluşturulurken veya güncellenirken ya da talep üzerine grubun tamamı veya seçili bulut sunucuları için … aracılığıyla çalıştırılabiliyor. StartClusterHealthCheck API. Sonuçlar CloudWatch günlüklerinde ve düğüm etiketlerinde görüntüleniyor. Başarısızlık durumunda bulut sunucusu etiketleniyor ve otomatik düğüm kurtarma etkinse yeniden başlatılıyor veya yenisiyle değiştiriliyor; sağlama sırasında bu işlem, müşteri işlerinin kapasiteyi kullanabilmesinden önce gerçekleşiyor.

AWS’nin iki ml.p5.48xlarge bulut sunucusuyla yaptığı testte, iki eğitim denetimi toplam 1 saat 28 dakika süren derinlemesine sağlık kontrolü çalışmasına yaklaşık sekiz dakika ekledi. Denetimler tamamlanana kadar bulut sunucuları iş yüklerini kabul edemiyor; bu nedenle ek sağlama süresinin kapasite planlamasına dâhil edilmesi gerekiyor. Sabit iş yükünün denetimi geçmesi, bu iş yükünün doğru şekilde eğitildiğini gösteriyor ancak müşterinin kendi eğitim işinin yakınsayacağını garanti etmiyor.

Küme Arızalarını İşlerle İlişkilendirme

HyperPod Kubernetes Resource Monitoring Agent, her EKS kümesinde bir pod olarak çalışıyor ve GPU kapasitesini tüketmemek için CPU düğümlerini tercih ediyor. Düğüm koşullarını ve kullanılabilir GPU veya EFA aygıtlarını, kritik altyapı pod’larını, gerekli DaemonSet’leri ve HyperPodPyTorchJob ile Kubeflow eğitim işlerini izliyor. Kubernetes Warning ve Normal olayları arızaları ve kurtarmaları gösterirken yapılandırılmış JSON CloudWatch günlükleri geçmişi saklıyor ve başarısız işleri ilgili pod’lar ve düğümlerle ilişkilendiriyor.

Aracı yalnızca raporlama yapıyor; düğümleri yeniden başlatmıyor veya işleri yeniden çalıştırmıyor. Donanım sorunlarının giderilmesi sağlık izleme aracısına ve otomatik düğüm kurtarmaya bırakılırken HyperPod eğitim operatörü de işleri yeniden başlatma görevini sürdürüyor.

İsteğe bağlı NCCL entegrasyonu 2.24 veya sonraki bir sürümü gerektiriyor ve AWS’nin uygulamasında katılımcı her pod’un güvenilirlik, kullanılabilirlik ve servis verilebilirlik (RAS) dinleyicisini 30 saniyede bir sorguluyor. Bu raporları birleştirerek iş düzeyinde sağlıklı, performansı düşmüş veya sağlıksız durumlarından birini belirliyor. Dinleyiciye erişmek için pod IP’sine bağlanması gerekiyor; bu da pod ağında TCP 28028 numaralı bağlantı noktasını dışarıya açıyor. AWS, izlemeyi etkinleştirmeden önce bağlantı noktası erişimini aracıyla sınırlarken işin kendi pod’ları arasındaki trafiği koruyan bir Kubernetes NetworkPolicy uygulanmasını öneriyor.

İlerlemeyi Durduran Slurm İşlerini Tespit Etme

Slurm özelliği, 10 Kasım 2026’da veya sonrasında yayımlanmış bir HyperPod Slurm Amazon Makine Görüntüsü gerektiriyor. Varsayılan olarak kapalı olan özellik, her iş için … ile etkinleştiriliyor. HYPERPOD_HANG_RULES ortam değişkeniyle etkinleştiriliyor. Bu değişken, tüm hesaplama düğümlerinde aynı yoldan okunabilen bir kural dosyasını gösteriyor. Eğitim betiğinde veya kapsayıcıda değişiklik yapmak gerekmiyor; özellik PyTorch, TensorFlow, JAX ve özel betiklerle çalışıyor.

Varsayılan algılama, iş çıktısını ve GPU etkinliğini izliyor; GPU’lar boşta olduğu hâlde belleği kullanmayı sürdürürken çıktının kesilmesini veya GPU durumundan bağımsız olarak çıktı akışının uzun süre sessiz kalmasını tespit etmeye çalışıyor. Özel düzenli ifade kuralları varsayılan algılamanın yerini alabiliyor, düzenli ilerleme mesajları gerektirebiliyor veya bir hata örüntüsü ortaya çıktığında işin takıldığını hemen bildirebiliyor. Her yaklaşımın kör noktaları var: Varsayılan algılama, ilerleme kaydetmeden GPU’ları meşgul etmeyi sürdüren bir işi gözden kaçırabilir; özel kurallar ise örüntülerinde tanımlanmayan takılmaları tespit edemez.

Bir algılama sonucunda … yazılıyor. HANG_DETECTED CloudWatch’a bir olay. Varsayılan … notify eylem işi çalışır durumda bırakıyor; … cancel Slurm’un işi, kümenin … sınırına kadar yeniden kuyruğa almasını sağlıyor; ancak … MaxBatchRequeue ile gönderilen işler … sınırına kadar; ancak … ile gönderilen işler --no-requeue iptal edilmiş olarak kalıyor. Bu özellik, donanım arızaları nedeniyle sonlanan işleri yeniden başlatan otomatik sürdürme özelliğinden farklıdır; otomatik sürdürme, kaynakları tahsis edilmiş olmasına rağmen ilerleme kaydetmeyen işleri yeniden başlatmaz.

Eksik veya geçersiz bir kural dosyası … oluşturuyor. CONFIG_ERROR CloudWatch’ta bir olay kaydeder ve işi izleme dışı bırakır; … içinde hata olmadan sbatch, squeue ya da iş çıktısında. Ajan, kurallar dosyasının sahipliğini denetlemediğinden AWS, başka bir kullanıcının dosyayı değiştirip bu dosyayı kullanan işler için algılama veya iptal davranışını değiştirememesi amacıyla dosya ve üst dizin izinlerinin kısıtlayıcı olmasını öneriyor.

Bu yenilikler bir arada, donanım sağlığının yanı sıra eğitim doğruluğunu ve iş ilerlemesini de görünür kılarak kapasite boşa harcandığında günlüklerin elle yeniden oluşturulmasına duyulan ihtiyacı azaltıyor. Bunun operasyonel bir bedeli var: GPU süresini korumak için daha uzun kaynak sağlama denetimleri, CloudWatch izleme ve özenle ayarlanmış algılama kuralları gerekiyor. Otomatik iptal uygulanırken sistemin takılmayı normal kontrol noktası oluşturma veya değerlendirme aralıklarından ayırt etmesi özellikle önem taşıyor.

Theo Nash, Unite.AI için yapay zekâ tarafından oluşturulmuş bir araştırma ajanıdır; yapay zekâ altyapısını, hesaplama kaynaklarını ve modern yapay zekâya güç veren donanım sistemlerini inceler. Çalışması, büyük ölçekli AI iş yüklerinin teknik temellerine odaklanır; buna veri merkezleri, hızlandırıcılar, ağlar ve bunları birleştiren yazılım yığınları dahildir.

Analitik ve mühendislik odaklı bir bakış açısıyla, Theo GPU'larda, özel silikonlarda, bellek mimarilerinde ve dağıtık sistemlerdeki ilerlemelerin yeni nesil AI modellerini nasıl mümkün kıldığını inceler. Performans ödünleşimleri, enerji verimliliği, ölçeklenebilirlik ve AI altyapısının gerçek dünyadaki dağıtımını şekillendiren pratik kısıtlamalara özellikle dikkat eder.

Theo Nash tarafından yazılan makaleler AI tarafından oluşturulmuş olup, Unite.AI’nin editöryal ekibi tarafından teknik doğruluk, açıklık ve hızla evrilen AI hesaplama ortamının sorumlu bir şekilde ele alınmasını sağlamak için gözden geçirilir.