AI-mallit ja alustat

AWS lisää hallitut klusterilaajennukset SageMaker HyperPod Slurmiin

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatKlusterilaajennukset muuttavat solmun ohjelmiston ilmoitetuksi tilaksi, jota HyperPod…
Näytä lisää
  • Klusterilaajennukset muuttavat solmun ohjelmiston ilmoitetuksi tilaksi, jota HyperPod jatkuvasti validoi ja sovittaa.
  • Ylläpitäjät voivat päivittää asetuksia tai laajennusten versioita korvaamatta solmuja tai suorittamatta elinkaariskriptejä uudelleen.
  • Olemassa olevien klustereiden siirtäminen edellyttää skriptien asentamien agenttien manuaalista poistamista huoltokatkon aikana.

Amazon Web Services julkaisi Amazon SageMaker HyperPod Slurmille hallitut klusterilaajennukset 20. marraskuuta 2026. Ne tuovat käynnissä olevien solmujen ohjelmistojen deklaratiivisen määrityksen käyttöön rajapintojen tai SageMaker AI -konsolin kautta. Kaksi ensimmäistä laajennusta kattavat havainnoitavuuden ja käyttäjähallinnan, mukaan lukien hakemistointegraation.

Julkaisu vastaa jaetun tekoälyn koulutusklusterin siihen osaan, joka muuttuu käyttöönoton jälkeen. HyperPodiin oli jo lisätty vuoden 2026 aikana ohjelmointirajapintojen kautta tehtävä Slurm-määritys, AMI-pohjainen solmujen käyttöönotto, jatkuva provisiointi, automaattinen topologianhallinta ja kattavat kuntotarkistukset. Nämä ominaisuudet hallitsevat klusterin määrityksiä, kapasiteettia, verkkorakennetta ja laitteiston kuntoa. Klusterilaajennuksilla samaa lähestymistapaa sovelletaan solmujen ohjelmistoihin, jotka muuttuvat tutkimusryhmien, valvontavaatimusten ja pakettiversioiden kehittyessä.

Solmuohjelmiston haluttu tila

Ylläpitäjät voivat asentaa, määrittää, päivittää ja poistaa AWS:n hallinnoimia paketteja konsolin, AWS CLI:n tai SDK:n kautta. HyperPod tarkistaa asetukset valitun laajennusversion skeemaa vasten ennen käyttöönottoa ja tallentaa pyydetyn version ja asetukset haluttuna tilana. Solmuagentti ottaa sitten käyttöön vain kunkin solmun roolin edellyttämät komponentit, myös skaalauksen tai korvaamisen yhteydessä lisätyissä solmuissa.

Päivityksissä lähetetään vain muutettavat asetukset. HyperPod yhdistää ne tallennettuun kokoonpanoon ja käynnistää uudelleen vain ne komponentit, joita muutos koskee, korvaamatta solmuja tai suorittamatta elinkaariskriptejä uudelleen. Uusia laajennusversioita voi asentaa myös päivittämättä AMI-tiedostoa. HyperPod tarkistaa tallennetut asetukset uuden version skeemaa vasten ennen käyttöönottoa, ja päivitykset tehdään aina vain uudempaan versioon.

Kunkin laajennuksen tilana näkyy käyttöönoton aikana Creating tai Updating, Active, kun jokainen solmu käyttää pyydettyä kokoonpanoa eikä ongelmista ole ilmoitettu, ja Degraded, jos solmuissa ilmenee vikoja tai ongelmia. DescribeClusterExtension ryhmittelee solmukohtaiset kunto-ongelmat syyn mukaan ja ilmoittaa niistä koodin, viestin ja niiden koskemien solmujen määrän. HyperPod yrittää uudelleen sisäisten virheiden jälkeen. Ylläpitäjät voivat korjata muut syyt ja yrittää uudelleen ongelman koskemissa solmuissa lähettämällä päivityspyynnön ilman kokoonpanomuutoksia.

Havainnoitavuus ja käyttäjähallinta

sagemaker-observability-laajennus kerää solmu-, GPU-, Elastic Fabric Adapter-, Slurm-työtehtävä- ja Slurm-klusterimittareita ja lähettää ne Amazon CloudWatchiin tai Amazon Managed Service for Prometheukseen. Mittariluokat, tasot ja keruuvälit ovat määritettävissä, ja solmuissa suoritetaan vain niiden roolin edellyttämät komponentit, kuten DCGM- ja EFA-viejät GPU-solmuissa sekä Slurm-klusterimittarit ohjaimessa.

Valinnainen Amazon Managed Grafana -työtila tuo käyttöön valmiiksi luodut klusteri- ja työtehtäväkoontinäytöt. Niissä yhdistyvät koko klusterin kunto ja Slurmin tila solmukohtaisiin infrastruktuurimittareihin sekä yksittäisten työtehtävien resurssien käyttöön liittyviin tietoihin, kuten suorittimen, muistin ja GPU:n käyttöön, levy-I/O:hon ja NCCL-tietoihin.

sagemaker-user-management-laajennus luo Linux-käyttäjiä ja -ryhmiä, joiden tunnukset ovat yhdenmukaiset kaikissa solmuissa, hallitsee SSH- ja salasanatonta sudo-käyttöoikeutta solmun tyypin mukaan ja rekisteröi käyttäjät Slurmin kirjanpitoon. Tilit voidaan määrittää paikallisesti, hakea Active Directorysta LDAPS-yhteyden kautta tai käyttää molempia tapoja. Mukana ovat myös yhteydet AWS Directory Service for Microsoft Active Directoryyn. Uudet ja korvaavat solmut saavat saman kokoonpanon, ja ylläpitäjät voivat tarkistaa käyttöoikeudet ohjelmointirajapinnan kautta kirjautumatta erikseen kuhunkin solmuun.

Siirto, käyttöoikeudet ja kustannukset

Klusterilaajennukset edellyttävät HyperPod Slurm -klusteria, jossa käytetään 2. marraskuuta 2026 julkaistua HyperPod AMI -versiota tai uudempaa ja jatkuva provisiointi on käytössä. Koska laajennukset suorittavat ohjelmistoja pääkäyttäjän oikeuksin, AWS luokittelee luonti-, päivitys- ja poisto-oikeudet ylläpitäjän oikeuksiksi eikä suosittele niiden myöntämistä klusterin suoritusroolille. Rooli tarvitsee silti pääsyn mittareiden kohteisiin ja Active Directoryn salaisuuksiin, ja käyttäjähallinta edellyttää kotihakemistoille jaettua tiedostojärjestelmää. Erillisten laajennusten ARN-tunnusten ansiosta alusta- ja valvontatiimit voivat vastata eri laajennuksista.

Olemassa olevat klusterit voidaan siirtää käyttämään ominaisuuksia yksi kerrallaan siten, että skriptit ja laajennukset toimivat rinnakkain. Siirto edellyttää klusteriohjelmiston päivittämistä, kyseisen ominaisuuden poistamista käytöstä elinkaariskripteissä, skripteillä asennettujen agenttien manuaalista poistamista huoltoikkunan aikana ja laajennuksen luomista puhtaaseen klusteriin. Kullakin komponentilla on oltava yksi omistaja: saman viejän, käyttäjän tai palvelun hallinta molemmilla tavoilla voi aiheuttaa asennus- tai suorituksenaikaisia ristiriitoja. Mukautetut AMI-tiedostot ja elinkaariskriptit ovat edelleen käytettävissä organisaatiokohtaisille ohjelmistoille, ja ylläpitäjillä säilyy SSH-yhteys sekä suora määritysoikeus kaikkiin solmuihin, myös ohjaimeen.

Molemmat laajennukset ovat saatavilla kaikilla alueilla, joilla SageMaker HyperPodia tuetaan. Klusterilaajennuksista ei veloiteta erikseen, mutta asiakkaat maksavat niiden käyttämistä taustalla olevista resursseista, kuten CloudWatchista, Amazon Managed Service for Prometheuksesta ja AWS Secrets Managerista.

Jaetuissa perustamalliklusterissa käytännössä tämä tarkoittaa, että yhteisistä solmuohjelmistoista tulee määritelty ja jatkuvasti tarkistettava osa klusterin tilaa sen sijaan, että ne koostuisivat joukosta käyttöönottoa varten laadittuja skriptejä. Skripteillä asennettujen agenttien poistaminen on ainoa koko klusterikannan kattava manuaalinen siirtymävaihe; sen jälkeen kapasiteetin kasvaessa lisättävät solmut ja korvaavat solmut saavat samat laajennusasetukset, kun taas organisaatiokohtaiset työkalut pysyvät klusteritiimin hallinnassa.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.