AMD ja Cornelis laajentavat suurteholaskennan yhteistyötään GWDG:n ottaessa käyttöön EMMY P4:n

AMD ja Cornelis laajentavat suurteholaskennan yhteistyötään yhdistämällä AMD:n prosessorit ja kiihdyttimet Corneliksen verkkoratkaisuihin. Tavoitteena on auttaa tutkimusorganisaatioita ottamaan käyttöön entistä suurempia tieteellisiä laskentatehtäviä. Saksassa sijaitseva GWDG tarjoaa konkreettisen esimerkin: EMMY P4 -supertietokoneessa on noin 300 kahden prosessorikannan AMD EPYC 9745 -solmua ja Cornelis CN5000 Omni-Path -verkko.

Yhteistyö ulottuu yhteensopivien komponenttien myyntiä pidemmälle. Yhtiöt perustavat yhteisen markkinoillemenohjelman, joka kattaa järjestelmäsuunnittelun, sovellusten suorituskyvyn vertailun, validoinnin, hyväksymistestauksen ja tuotantokäyttöön siirron nykyisten valmistajien ja järjestelmäintegraattorien kautta. Asiakkaat voivat myös testata omia sovelluksiaan AMD:n suurteholaskennan osaamiskeskuksessa Münchenissä ennen kokoonpanosta päättämistä.

Tällä lähestymistavalla pyritään ratkaisemaan superlaskennassa pitkään jatkunut ongelma: prosessorien määrän kasvattaminen ei takaa tutkimuksen nopeutumista samassa suhteessa. Sovellusten on pystyttävä siirtämään dataa prosessorien välillä riittävän nopeasti, jotta ne pysyvät työssä.

Miksi verkolla on yhtä paljon merkitystä kuin laskentateholla

Tieteellisissä simulaatioissa suuri ongelma jaetaan usein useille palvelimille. Kukin palvelin laskee osan tuloksesta ja vaihtaa sitten tietoja muiden kanssa. Esimerkiksi virtauslaskenta edellyttää, että simuloidun virtauksen vierekkäiset alueet jakavat päivitetyt olosuhdetiedot laskennan edetessä.

Tällöin verkon viiveellä, viestien käsittelykyvyllä ja ruuhkautumisella on merkitystä. Jos prosessori odottaa toisen solmun dataa, se tekee vain vähän hyödyllistä laskentatyötä, vaikka se suorittaisi laskutoimituksia kuinka nopeasti. Message Passing Interface eli MPI on laajalti käytetty ohjelmistorajapinta tämän hajautetun työn koordinointiin.

Cornelis toimittaa solmut yhdistävän kytkentäverkon, kun taas AMD vastaa laskentatehosta. Laajennetun ohjelman tavoitteena on validoida nämä osat yhdessä sovellusten avulla sen sijaan, että verkon kaistanleveyttä ja prosessorien teknisiä tietoja pidettäisiin riittävänä näyttönä järjestelmän suorituskyvystä.

Corneliksen toimitusjohtaja Lisa Spelman sanoi, että jokainen uusi EPYC-sukupolvi kasvattaa verkkoon pääsyä tarvitsevien ytimien määrää. Hänen mukaansa laskentakapasiteetin lisääminen voi jättää kalliit resurssit odottamaan, jos tiedonsiirto ei pysy sen vauhdissa. Siksi kuormituskohtainen validointi on välttämätöntä.

Mitä GWDG:n EMMY P4 tuo mukanaan

Göttingenissä toimiva tieteellisen laskennan organisaatio GWDG tukee NHR@Göttingeniä, joka on yksi Saksan yhdeksästä kansallisesta suurteholaskentakeskuksesta. Sen käyttäjät ajavat sovelluksia, jotka kattavat biotieteet, fysiikan, kvanttitutkimuksen, tekoälyn ja humanistiset tieteet. Corneliksen mukaan laajemmassa ympäristössä käsitellään vuosittain noin 3,5 miljoonaa suurteholaskennan työtehtävää.

AMD:n EPYC 9745 -suorittimen teknisten tietojen mukaan kussakin prosessorissa on 128 fyysistä ydintä, joten kahden prosessorin solmussa niitä on 256. Näin monen ytimen pitäminen tehokkaassa käytössä sadoissa solmuissa tekee tiedonsiirron tehokkuudesta koko järjestelmää koskevan kysymyksen.

GWDG:n asennusdokumentaatiossa kuvataan alkuvaiheen 252 solmun kokoonpano, jossa kussakin solmussa on 768 GiB DDR5-muistia ja 3,8 TiB paikallista NVMe-tallennustilaa. Solmut on yhdistetty CN5000-sovittimilla, joissa on 200G-yhteydet. Julkistuksen mukaan EMMY P4:n laajempi käyttöönotto käsittää noin 300 solmua.

Tämän suoritinasennuksen erottaminen yhteistyön GPU-työstä on tärkeää. EMMY P4 osoittaa, miten EPYC-prosessorit ja Corneliksen verkkoratkaisut toimivat tieteellisen laskennan ympäristössä; se ei tarkoita, että julkistetuissa suoritinsolmuissa olisi AMD Instinct -kiihdyttimiä.

Sovellusten testaus vie yhteensopivuuden tarkastelua pidemmälle

Corneliksen mukaan CN5000 on hyväksytty tuotantokäyttöön AMD EPYC 9005 -prosessoreilla yli 25 validoidussa alustakokoonpanossa Pohjois-Amerikassa ja Euroopassa. Yhtiöt ovat myös laajentaneet CN5000:n hyväksyntää AMD Instinct MI350X -sarjan kiihdyttimiin.

Ostajat voivat sovelluksia testaamalla selvittää, sopiiko arkkitehtuuri organisaatiossa tosiasiassa ajettaviin tehtäviin. Suuri simulaatio, jossa synkronoidaan usein, voi toimia eri tavalla kuin tekoälykuormitus, joka viettää enemmän aikaa kiihdyttimien laskentaytimissä. Tulokseen vaikuttavat myös muistikapasiteetti, ohjelmistokirjastot, solmukokoonpano ja verkon toiminta.

Corneliksen mukaan valittu 132 CONVERGE-virtauslaskentakuormituksen joukko saavutti neljällä solmulla 20 % suuremman keskimääräisen läpimenon kuin vertailussa, jossa käytettiin NVIDIA NDR InfiniBandia. Yhtiö kertoo myös, että yhdestä kahdeksaan solmuun ulottuvassa testissä EPYC 9755 -prosessoreilla ajettu STAR-CCM+-kuormitus skaalautui lähes yhdeksänkertaisesti.

Nämä ovat toimittajan ilmoittamia tuloksia tietyillä testikokoonpanoilla ajetuista sovelluksista. Testiolosuhteet on kuvattu Corneliksen teknisissä white papereissa, jotka ovat asiaankuuluva lähde tulosten arviointiin; luvut eivät osoita saman edun toteutuvan kaikilla ohjelmilla tai klustereilla. Münchenin testausohjelman käytännön hyöty on siinä, että asiakkaat voivat arvioida omia kuormituksiaan tätä taustaa vasten.

Suunnitelmia entistä suuremmille suoritin- ja GPU-järjestelmille

Yhtiöt valmistautuvat myös seuraavaan laitesukupolveen. Cornelis rakentaa tulevan CN6000:n 800G-sovittimen ja PCIe 6.0 x16 -liitännän ympärille. CN6000:n ja AMD EPYC 9006 -suorittimien yhdistävien OEM-järjestelmien odotetaan valmistuvan vuoden 2027 ensimmäisellä neljänneksellä. Nämä järjestelmät ovat osa tulevaisuuden tuotesuunnitelmaa, ja ne ovat erillisiä käytössä olevasta CN5000-pohjaisesta EMMY P4 -infrastruktuurista.

AMD:n kiihdytinstrategiaan kuuluu myös ROCm-ohjelmistopino, joka tarjoaa työkaluja ja kirjastoja GPU-laskentaan. Tieteellisen tekoälyn tukeminen edellyttää ohjelmistokerroksen lisäksi suorittimia ja verkkoa: tutkijat tarvitsevat sovelluksia, matemaattisia kirjastoja ja viestintäohjelmistoja, jotka toimivat yhdessä.

Perinteisessä tieteellisessä laskennassa painotetaan myös vahvasti kaksinkertaisen tarkkuuden eli FP64-tarkkuuden aritmetiikkaa. Se eroaa monissa tekoälykuormissa käytettävistä pienemmän tarkkuuden laskutoimituksista, joten alustan soveltuvuus määräytyy muidenkin tekijöiden kuin sen tekoälysuorituskyvystä kertovien huippulukemien perusteella.

AMD:n ja Corneliksen laajennetun kumppanuuden tavoitteena on viime kädessä helpottaa kokonaisten tutkimusjärjestelmien arviointia ja käyttöönottoa. GWDG tarjoaa käytännön esimerkin suoritin- ja verkkoyhdistelmästä, ja yhteinen sovellusten testaus sekä tuleva kiihdytintuki laajentavat mahdollisia käyttökohteita. Tutkimuskeskuksille ratkaisevaa on se, kuinka nopeasti validoitu järjestelmä saa hyödyllistä työtä valmiiksi – ei se, kuinka monta suoritinta siinä on.