AMD och Cornelis utökar sitt HPC-samarbete när GWDG tar EMMY P4 i drift

AMD och Cornelis utökar sitt samarbete inom högpresterande datorsystem genom att kombinera AMD-processorer och acceleratorer med Cornelis-nätverkslösningar. Målet är att hjälpa forskningsorganisationer att ta större vetenskapliga arbetslaster i produktion. En installation hos tyska GWDG visar konkret hur det kan gå till: superdatorn EMMY P4 kombinerar cirka 300 noder med två AMD EPYC 9745-processorer i varje med Cornelis CN5000 Omni-Path-nätverk.

Samarbetet sträcker sig längre än till försäljning av kompatibla komponenter. Företagen etablerar ett gemensamt program för marknadsbearbetning som omfattar systemdesign, prestandamätning av applikationer, validering, acceptanstestning och produktionsdriftsättning via befintliga tillverkare och systemintegratörer. Kunder kan också testa sina egna applikationer vid AMD:s kompetenscenter för HPC i München innan de bestämmer sig för en konfiguration.

Detta tillvägagångssätt tar sig an ett återkommande problem med superdatorer: att köpa fler processorer garanterar inte att forskningen går snabbare i motsvarande grad. Applikationerna måste kunna flytta data mellan processorerna tillräckligt snabbt för att hålla dem sysselsatta.

Varför nätverket är lika viktigt som beräkningskapaciteten

Vetenskapliga simuleringar delar ofta upp ett stort problem mellan många servrar. Varje server beräknar en del av resultatet och utbyter sedan information med de andra. Beräkningsbaserad strömningsmekanik kräver till exempel att angränsande områden i en simulerad strömning delar uppdaterade förhållanden medan beräkningen fortskrider.

Dessa datautbyten gör nätverksfördröjning, kapacitet för meddelandehantering och överbelastning avgörande faktorer. En processor som väntar på data från en annan nod bidrar med få användbara beräkningar, oavsett hur snabbt den utför aritmetiska operationer. Message Passing Interface, eller MPI, är ett vanligt programvarugränssnitt för att samordna detta distribuerade arbete.

Cornelis tillhandahåller sammankopplingsnätet som förbinder noderna, medan AMD står för beräkningskapaciteten. Det utökade programmet syftar till att validera komponenterna tillsammans med applikationer, i stället för att se nätverksbandbredd och processorspecifikationer som tillräckliga belägg för systemets prestanda.

Lisa Spelman, vd för Cornelis, säger att varje ny EPYC-generation ökar antalet kärnor som behöver tillgång till nätverket. Hennes poäng är att utökad beräkningskapacitet kan innebära att dyra resurser står och väntar om kommunikationen inte hänger med, vilket gör validering med specifika arbetslaster nödvändig.

Vad GWDG:s EMMY P4 tillför

GWDG, organisationen för vetenskaplig databehandling i Göttingen, stöder NHR@Göttingen, ett av Tysklands nio nationella centrum för högpresterande datorsystem. Användarna kör applikationer inom bland annat biovetenskap, fysik, kvantforskning, AI och humaniora. Enligt Cornelis hanterar den bredare miljön cirka 3,5 miljoner HPC-jobb per år.

Enligt AMD:s specifikationer för EPYC 9745 har varje processor 128 fysiska kärnor, vilket innebär 256 kärnor i varje nod med två processorsocklar. Att hålla så många kärnor sysselsatta i hundratals noder gör kommunikationseffektiviteten till en angelägenhet för hela systemet.

GWDG:s dokumentation om installationen beskriver en första grupp på 252 noder, var och en med 768 GiB DDR5-minne och 3,8 TiB lokal NVMe-lagring, anslutna via CN5000-adaptrar med länkar på 200G. I tillkännagivandet beskrivs den större EMMY P4-installationen som cirka 300 noder.

Det är viktigt att skilja den här CPU-installationen från samarbetets GPU-arbete. EMMY P4 visar hur EPYC-processorer och Cornelis-nätverk används i en miljö för vetenskaplig databehandling; det innebär inte att de tillkännagivna CPU-noderna innehåller AMD Instinct-acceleratorer.

Applikationstestning går längre än kompatibilitet

Enligt Cornelis är CN5000 kvalificerat för produktionsbruk med AMD EPYC 9005-processorer i fler än 25 validerade plattformskonfigurationer i Nordamerika och Europa. Företagen har också utökat kvalificeringen av CN5000 till att omfatta acceleratorer i AMD Instinct MI350X-serien.

För köpare kan applikationstester visa om en arkitektur passar det arbete som faktiskt utförs i organisationen. En stor simulering med frekvent synkronisering kan fungera annorlunda än en AI-arbetslast som tillbringar mer tid i acceleratorernas kärnor. Minneskapacitet, programvarubibliotek, nodkonfiguration och nätverkets beteende påverkar alla resultatet.

Cornelis uppger att en utvald uppsättning med 132 CONVERGE-arbetslaster inom beräkningsbaserad strömningsmekanik hade 20 % högre genomsnittlig genomströmning på fyra noder än vid en jämförelse med NVIDIA NDR InfiniBand. Företaget uppger också att en STAR-CCM+-arbetslast på EPYC 9755-processorer skalade nästan nio gånger från en till åtta noder.

Detta är resultat från applikationstester i specifika konfigurationer, rapporterade av leverantören. De tillhörande tekniska vitböckerna från Cornelis är den relevanta källan för testförhållandena; siffrorna visar inte att samma fördel gäller för alla program eller kluster. Det praktiska värdet av testprogrammet i München är att kunder kan bedöma sina egna arbetslaster mot den bakgrunden.

En färdplan för större CPU- och GPU-system

Företagen förbereder sig också för ännu en hårdvarugeneration. Cornelis utformar sin kommande CN6000 kring en 800G-adapter och ett PCIe 6.0 x16-gränssnitt. OEM-system som kombinerar CN6000 med AMD EPYC 9006-processorer väntas under första kvartalet 2027. Dessa system är en del av färdplanen och ska hållas åtskilda från den driftsatta EMMY P4-infrastrukturen, som bygger på CN5000.

AMDs strategi för acceleratorer omfattar också programvarustacken ROCm, som tillhandahåller verktyg och bibliotek för GPU-beräkningar. För att stödja vetenskaplig AI krävs detta programvarulager, liksom processorerna och nätverket: forskare behöver applikationer, matematiska bibliotek och kommunikationsprogramvara som fungerar tillsammans.

Traditionell vetenskaplig databehandling ställer också höga krav på aritmetik med dubbel precision, eller FP64. Det skiljer sig från beräkningar med lägre precision, som används i många AI-arbetsflöden. Därför avgörs en plattforms lämplighet av mer än bara den AI-prestanda som lyfts fram.

Det utökade partnerskapet mellan AMD och Cornelis syftar ytterst till att göra kompletta forskningssystem enklare att utvärdera och driftsätta. GWDG visar i en produktionsmiljö hur kombinationen av processorer och nätverk fungerar, samtidigt som gemensamma tester av applikationer och framtida stöd för acceleratorer breddar de möjliga användningsområdena. För forskningscentrum är det avgörande måttet hur snabbt ett validerat system kan utföra nyttigt arbete – inte hur många processorer det innehåller.