AMD og Cornelis utvider HPC-samarbeidet mens GWDG tar i bruk EMMY P4

AMD og Cornelis utvider samarbeidet sitt innen høyytelsesdatabehandling ved å kombinere AMD-prosessorer og -akseleratorer med Cornelis-nettverk. Målet er å hjelpe forskningsorganisasjoner med å sette større vitenskapelige arbeidsoppgaver i produksjon. En installasjon hos tyske GWDG er et konkret eksempel: EMMY P4-superdatamaskinen kombinerer rundt 300 noder med to AMD EPYC 9745-prosessorer i hver, med Cornelis CN5000 Omni-Path-nettverk.

Samarbeidet handler om mer enn å selge komponenter som er kompatible med hverandre. Selskapene etablerer et felles markedsprogram som omfatter systemdesign, ytelsestesting av applikasjoner, validering, akseptansetesting og produksjonssetting gjennom eksisterende produsenter og systemintegratorer. Kundene kan også teste sine egne applikasjoner ved AMDs HPC Center of Excellence i München før de bestemmer seg for en konfigurasjon.

Denne tilnærmingen tar tak i et vedvarende problem innen superdatabehandling: Det er ingen garanti for at mer prosessorkraft gir tilsvarende raskere forskning. Data må kunne flyttes raskt nok mellom prosessorene til at de kan holdes i arbeid.

Hvorfor nettverket er like viktig som beregningskraften

Vitenskapelige simuleringer fordeler ofte et stort problem på mange servere. Hver server beregner en del av resultatet og utveksler deretter informasjon med de andre. Beregningsbasert fluiddynamikk krever for eksempel at naboområder i en simulert strømning deler oppdaterte forhold etter hvert som beregningen skrider frem.

Disse informasjonsutvekslingene gjør nettverksforsinkelse, kapasitet for meldingshåndtering og overbelastning viktige faktorer. En prosessor som venter på data fra en annen node, bidrar lite til beregningen, uansett hvor raskt den utfører regneoperasjoner. Message Passing Interface (MPI) er et mye brukt programvaregrensesnitt for å koordinere dette distribuerte arbeidet.

Cornelis leverer nettverksstrukturen som kobler sammen nodene, mens AMD leverer beregningskraften. Det utvidede programmet skal validere komponentene samlet opp mot applikasjoner, i stedet for å behandle nettverksbåndbredde og prosessorspesifikasjoner som tilstrekkelig dokumentasjon på systemytelsen.

Cornelis-sjef Lisa Spelman sa at hver nye EPYC-generasjon øker antallet kjerner som trenger tilgang til nettverket. Poenget hennes er at økt beregningskapasitet kan føre til at kostbare ressurser blir stående og vente dersom kommunikasjonen ikke holder tritt. Derfor er validering for den aktuelle arbeidsoppgaven avgjørende.

Hva EMMY P4 fra GWDG tilfører

GWDG, organisasjonen for vitenskapelig databehandling i Göttingen, støtter NHR@Göttingen, ett av Tysklands ni nasjonale sentre for høyytelsesdatabehandling. Brukerne kjører applikasjoner innen blant annet biovitenskap, fysikk, kvanteforskning, KI og humaniora. Ifølge Cornelis håndterer det bredere miljøet rundt 3,5 millioner HPC-jobber i året.

AMD spesifikasjoner for EPYC 9745 oppgir 128 fysiske kjerner per prosessor, altså 256 kjerner i hver node med to prosessorer. Å holde så mange kjerner produktive på tvers av hundrevis av noder gjør effektiv kommunikasjon til et spørsmål som angår hele systemet.

Installasjonsdokumentasjonen fra GWDG beskriver en første gruppe på 252 noder, hver med 768 GiB DDR5-minne og 3,8 TiB lokal NVMe-lagring, tilkoblet via CN5000-adaptere med 200G-forbindelser. I kunngjøringen beskrives den større EMMY P4-installasjonen som bestående av rundt 300 noder.

Det er viktig å skille mellom denne CPU-installasjonen og samarbeidet om GPU-er. EMMY P4 viser EPYC og Cornelis-nettverk i et miljø for vitenskapelig databehandling; det betyr ikke at de annonserte CPU-nodene inneholder AMD Instinct-akseleratorer.

Applikasjonstesting går lenger enn kompatibilitet

Cornelis opplyser at CN5000 er kvalifisert for produksjonsbruk med AMD EPYC 9005-prosessorer i mer enn 25 validerte plattformkonfigurasjoner i Nord-Amerika og Europa. Selskapene har også utvidet CN5000-kvalifiseringen til AMD Instinct MI350X Series-akseleratorer.

For kjøpere kan applikasjonstesting avdekke om en arkitektur passer til arbeidsoppgavene som faktisk kjøres i organisasjonen. En stor simulering med hyppig synkronisering kan oppføre seg annerledes enn en KI-arbeidsoppgave som bruker mer tid i akseleratorkjerner. Minnekapasitet, programvarebiblioteker, nodekonfigurasjon og nettverksatferd påvirker alle resultatet.

Cornelis oppgir at et utvalg på 132 CONVERGE-arbeidsoppgaver innen beregningsbasert fluiddynamikk oppnådde 20 % høyere gjennomsnittlig gjennomstrømning på fire noder enn i en sammenligning med NVIDIA NDR InfiniBand. Selskapet rapporterer også nesten ni ganger så god skalering fra én til åtte noder for en STAR-CCM+-arbeidsoppgave som kjørte på EPYC 9755-prosessorer.

Dette er resultater fra applikasjonstester i bestemte konfigurasjoner, rapportert av leverandøren. De tilhørende tekniske hvitbøkene fra Cornelis er den relevante kilden for testbetingelsene; tallene dokumenterer ikke den samme fordelen for alle programmer eller klynger. Den praktiske verdien av testprogrammet i München er at kundene kan vurdere sine egne arbeidsoppgaver i lys av disse resultatene.

En veikartplan for større CPU- og GPU-systemer

Selskapene forbereder seg også på en ny maskinvaregenerasjon. Cornelis bygger den kommende CN6000 rundt en 800G-adapter og et PCIe 6.0 x16-grensesnitt. OEM-systemer som kombinerer CN6000- og AMD EPYC 9006-prosessorer, ventes i første kvartal 2027. Disse systemene er en del av veikartet og må ses atskilt fra den CN5000-baserte EMMY P4-infrastrukturen som er satt i drift.

AMDs akseleratorstrategi omfatter også ROCm-programvarestakken, som tilbyr verktøy og biblioteker for GPU-beregninger. For å støtte vitenskapelig AI trengs dette programvarelaget i tillegg til prosessorene og nettverket: Forskere trenger applikasjoner, matematiske biblioteker og kommunikasjonsprogramvare som fungerer sammen.

Tradisjonell vitenskapelig databehandling legger også stor vekt på dobbelpresisjon, eller FP64-aritmetikk. Dette skiller seg fra beregningene med lavere presisjon som brukes i mange AI-arbeidsbelastninger, så hvor egnet en plattform er, avhenger av mer enn den fremhevede AI-ytelsen.

Det utvidede partnerskapet mellom AMD og Cornelis er i bunn og grunn et forsøk på å gjøre komplette forskningssystemer enklere å vurdere og ta i bruk. GWDG viser et eksempel på kombinasjonen av CPU-er og nettverk i produksjon, mens felles testing av applikasjoner og fremtidig støtte for akseleratorer utvider de mulige bruksområdene. For forskningssentre er det avgjørende målet hvor raskt et validert system kan utføre nyttig arbeid – ikke hvor mange prosessorer det inneholder.