AI-mallit ja alustat
AWS lisää HyperPodiin koulutuksen validoinnin ja jumiutuneiden töiden tunnistuksen

Keskeiset kohdatHyperPod varmistaa nyt, että GPU:t todella laskevat oikeita koulutustuloksia sen…
Näytä lisää
- HyperPod varmistaa nyt, että GPU:t todella laskevat oikeita koulutustuloksia sen sijaan, että se tarkistaisi vain laitteiston kunnon.
- 15 minuutin jumiutumisen havaitsemissääntö vähentää pysähtyneen 32 instanssin työn hukkaa noin 16 900 dollarista noin 530 dollariin.
- Slurmin jumiutumisen havaitseminen on oletuksena pois päältä, ja puuttuva sääntötiedosto jättää työt hiljaisesti valvomatta.
Amazon Web Services ilmoitti 18. marraskuuta 2026 kolmesta Amazon SageMaker HyperPodin luotettavuutta parantavasta ominaisuudesta. Niillä pyritään tunnistamaan numeeriset koulutusvirheet, Kubernetes-viat ja jumiutuneet Slurm-työt, jotka voivat kuluttaa GPU-kapasiteettia, vaikka yksittäiset solmut näyttävät edelleen toimivan normaalisti.
HyperPod valvoo jo laitteistovirheitä, tekee perusteellisia diagnostiikkatarkistuksia ja testaa instanssien välistä tiedonsiirtoa sekä palauttaa vialliset solmut automaattisesti. Nämä mekanismit eivät kuitenkaan kerro, tuottavatko GPU:t oikeita koulutustuloksia, eteneekö työ edelleen tai toimivatko sen tarvitsemat Kubernetes-palvelut.
AWS:n kustannusesimerkki havainnollistaa riskiä: kahdeksan tunnin jumiutuminen 32 ml.p5.48xlarge-instanssissa, joissa on yhteensä 256 NVIDIA H100 -grafiikkasuoritinta, tuhlaa 2 048 GPU-tuntia ja maksaa noin 16 900 dollaria, kun HyperPodin käytön mukaan laskutettava hinta US East (N. Virginia) -alueella on arviolta 66 dollaria instanssitunnilta. Kun tunnistusraja on 15 minuuttia, tilanteen kustannukset jäävät noin 530 dollariin, koska työ peruutetaan ja Slurm voi asettaa sen uudelleen jonoon.
Koulutuksen oikeellisuuden testaaminen
MultiNodeTrainingValidation laajentaa Amazon Elastic Kubernetes Service (EKS) -palvelulla orkestroitujen klustereiden HyperPodin perusteellisia kuntotarkistuksia. Se käyttää tuettuja Elastic Fabric Adapter (EFA) -yhteydellä varustettuja NVIDIA-grafiikkasuoritininstanssiryhmiä. Tiny Megatron -testissä suoritetaan kiinteä Megatron-LM-työkuorma instanssin kaikilla grafiikkasuorittimilla, kun taas Megatron-testissä sama työkuorma suoritetaan samanlaisten instanssien välillä EFA-yhteyden kautta. Instanssi hylätään, jos koulutuksen häviöarvo muuttuu ei-luvuksi (NaN) tai äärettömäksi tai jos ajo ei valmistu sille asetetussa määräajassa.
Tarkistus voidaan suorittaa, kun instanssiryhmä luodaan tai sitä päivitetään, tai pyynnöstä koko ryhmälle tai valituille instansseille seuraavan StartClusterHealthCheck rajapinnan kautta. Tulokset näkyvät CloudWatch-lokeissa ja solmujen tunnisteissa. Epäonnistunut tarkistus merkitsee instanssin tunnisteella, ja jos solmujen automaattinen palautus on käytössä, instanssi käynnistetään uudelleen tai korvataan. Käyttöönoton aikana tämä tapahtuu ennen kuin asiakkaan työt voivat käyttää kapasiteettia.
AWS:n testissä kahdella ml.p5.48xlarge-instanssilla nämä kaksi koulutustarkistusta pidensivät koko perusteellista kuntotarkistusta noin kahdeksalla minuutilla; tarkistus kesti yhteensä 1 tunnin ja 28 minuuttia. Instanssit eivät voi ottaa työkuormia vastaan ennen tarkistusten valmistumista, joten ylimääräinen käyttöönottoaika on otettava huomioon kapasiteettisuunnittelussa. Kiinteän työkuorman läpäiseminen osoittaa, että se koulutettiin oikein, mutta ei takaa, että asiakkaan oma koulutustyö saavuttaa konvergenssin.
Klusterivikojen yhdistäminen töihin
HyperPod Kubernetes Resource Monitoring Agent toimii yhtenä podina EKS-klusteria kohti ja suosii suoritininstansseja, jotta se ei kuluta GPU-kapasiteettia. Se valvoo solmujen tilaa ja käytettävissä olevia GPU- tai EFA-laitteita, kriittisiä infrastruktuuripodeja, vaadittuja DaemonSet-kokonaisuuksia sekä HyperPodPyTorchJob- ja Kubeflow-koulutustöitä. Warning- ja Normal-Kubernetes-tapahtumat ilmaisevat viat ja palautumiset, kun taas rakenteiset JSON-muotoiset CloudWatch-lokit säilyttävät tapahtumahistorian ja yhdistävät epäonnistuneet työt niiden podeihin ja solmuihin.
Agentti ainoastaan raportoi; se ei käynnistä solmuja uudelleen eikä käynnistä töitä uudelleen. Laitteiston korjaavat toimet jäävät kuntovalvonta-agentin ja automaattisen solmujen palautuksen vastuulle, kun taas HyperPodin koulutusoperaattori huolehtii edelleen töiden uudelleenkäynnistyksistä.
Valinnainen NCCL-integraatio edellyttää versiota 2.24 tai uudempaa. AWS:n toteutuksessa se kysyy 30 sekunnin välein jokaisen osallistuvan podin luotettavuus-, käytettävyys- ja huollettavuuskuuntelijan (RAS) tilaa. Raportit yhdistetään työkohtaiseksi tilaksi, joka voi olla kunnossa, heikentynyt tai viallinen. Kuuntelijaan pääsy edellyttää sen sitomista podin IP-osoitteeseen, jolloin podiverkossa avataan TCP-portti 28028. AWS suosittelee määrittämään Kubernetes NetworkPolicy -käytännön, joka rajoittaa portin käytön agenttiin mutta sallii liikenteen työn omien podien välillä, ennen valvonnan käyttöönottoa.
Etenemisen lopettaneiden Slurm-töiden tunnistaminen
Slurm-ominaisuus edellyttää HyperPod Slurm Amazon Machine Image -levykuvaa, joka on julkaistu 10. marraskuuta 2026 tai sen jälkeen. Ominaisuus ei ole oletusarvoisesti käytössä, vaan se otetaan käyttöön työkohtaisesti seuraavalla HYPERPOD_HANG_RULES ympäristömuuttujalla, joka osoittaa sääntötiedostoon, jonka on oltava luettavissa samasta polusta jokaisessa laskentasolmussa. Koulutusskriptiin tai säilöön ei tarvitse tehdä muutoksia, ja ominaisuus toimii PyTorchin, TensorFlow’n, JAXin ja mukautettujen skriptien kanssa.
Oletusarvoinen tunnistus valvoo työn tulostetta ja GPU-toimintaa. Se etsii tilanteita, joissa tulostus loppuu GPU:iden ollessa joutilaana mutta niiden muistin yhä käytössä, tai joissa tulostuksessa on pitkä tauko GPU:iden tilasta riippumatta. Oletusarvoisen tunnistuksen voi korvata mukautetuilla säännöllisen lausekkeen säännöillä, joilla voidaan vaatia säännöllisiä edistymisilmoituksia tai määrittää työ jumiutuneeksi heti virhekuvion ilmetessä. Molemmissa menetelmissä on katvealueita: oletusarvoinen tunnistus voi jättää havaitsematta työn, joka pitää GPU:t kiireisinä etenemättä, kun taas mukautetut säännöt eivät havaitse jumiutumisia, joita niiden kuviot eivät kata.
Tunnistamisesta kirjataan HANG_DETECTED tapahtuma CloudWatchiin. Oletusarvoinen notify toiminto jättää työn käyntiin; cancel antaa Slurmin asettaa sen uudelleen jonoon klusterin MaxBatchRequeue rajaan asti, vaikka …-asetuksella lähetetyt työt --no-requeue pysyvät peruutettuina. Tämä on eri asia kuin automaattinen jatkaminen, joka käynnistää uudelleen laitteistovian vuoksi päättyneet työt eikä töitä, joiden resurssit on yhä varattu mutta jotka eivät etene.
Puuttuva tai virheellinen sääntötiedosto aiheuttaa CONFIG_ERROR tapahtuman CloudWatchiin ja jättää työn valvomatta ilman virhettä sbatch, squeue tai työn tulosteessa. Koska agentti ei tarkista sääntötiedoston omistajuutta, AWS suosittelee rajoittamaan tiedoston ja sen ylähakemiston käyttöoikeuksia, jotta toinen käyttäjä ei voi korvata tiedostoa ja muuttaa sitä käyttävien töiden tunnistusta tai peruuttamista.
Yhdessä nämä lisäykset tekevät koulutuksen oikeellisuuden ja työn etenemisen näkyviksi laitteiston kunnon rinnalla. Näin kapasiteetin mennessä hukkaan ei tarvitse turvautua yhtä paljon lokien manuaaliseen kokoamiseen. Vastapainona on operatiivista työtä: pidemmistä käyttöönoton tarkistuksista, CloudWatch-valvonnasta ja huolellisesti viritetyistä tunnistussäännöistä tulee osa GPU-ajan suojaamista, etenkin kun automaattisen peruutuksen on erotettava jumiutuminen tavanomaisesta tarkistuspisteiden tallennuksesta tai arviointitauoista.












