AMD en Cornelis breiden HPC-partnerschap uit terwijl GWDG EMMY P4 in gebruik neemt

AMD en Cornelis breiden hun partnerschap op het gebied van high-performance computing uit. Ze combineren AMD-processors en -versnellers met de netwerktechnologie van Cornelis om onderzoeksinstellingen te helpen grotere wetenschappelijke workloads in productie te nemen. Een implementatie bij het Duitse GWDG is daar een concreet voorbeeld van: de supercomputer EMMY P4 combineert ongeveer 300 nodes met twee AMD EPYC 9745-processors per node en Cornelis CN5000 Omni-Path-netwerken.

De samenwerking gaat verder dan alleen de verkoop van compatibele componenten. De bedrijven zetten een gezamenlijk marktintroductieprogramma op dat systeemontwerp, benchmarking van applicaties, validatie, acceptatietests en implementatie in productie omvat, via bestaande fabrikanten en systeemintegrators. Klanten kunnen hun eigen applicaties ook testen bij AMD’s HPC Center of Excellence in München voordat ze zich aan een configuratie verbinden.

Deze aanpak richt zich op een hardnekkig probleem bij supercomputers: meer processors aanschaffen garandeert niet dat onderzoek evenredig sneller verloopt. Applicaties moeten gegevens snel genoeg tussen die processors kunnen verplaatsen om ze aan het werk te houden.

Waarom het netwerk net zo belangrijk is als de rekenkracht

Bij wetenschappelijke simulaties wordt een groot probleem vaak verdeeld over meerdere servers. Elke server berekent een deel van het resultaat en wisselt vervolgens informatie uit met de andere servers. Bij computationele stromingsleer moeten bijvoorbeeld aangrenzende gebieden van een gesimuleerde stroming tijdens de berekening bijgewerkte omstandigheden met elkaar delen.

Daardoor zijn netwerklatentie, de capaciteit voor berichtverwerking en congestie van groot belang. Een processor die wacht op gegevens van een andere node levert weinig nuttige rekenkracht, hoe snel hij ook rekent. Message Passing Interface, of MPI, is een veelgebruikte software-interface voor het coördineren van dit gedistribueerde werk.

Cornelis levert de interconnect-infrastructuur die de nodes met elkaar verbindt, terwijl AMD de rekenkracht levert. Het uitgebreide programma is erop gericht deze componenten gezamenlijk te valideren met behulp van applicaties, in plaats van netwerkbandbreedte en processorspecificaties als voldoende bewijs voor systeemprestaties te beschouwen.

Lisa Spelman, CEO van Cornelis, zei dat elke nieuwe EPYC-generatie het aantal cores vergroot dat toegang tot het netwerk nodig heeft. Haar punt is dat extra rekenkracht dure middelen ongebruikt kan laten wachten als de communicatie niet kan bijblijven. Daarom is validatie voor specifieke workloads essentieel.

Wat EMMY P4 van GWDG toevoegt

GWDG, de organisatie voor wetenschappelijk rekenen in Göttingen, ondersteunt NHR@Göttingen, een van de negen nationale centra voor high-performance computing in Duitsland. De gebruikers ervan voeren applicaties uit op het gebied van de levenswetenschappen, natuurkunde, kwantumonderzoek, AI en geesteswetenschappen. Volgens Cornelis verwerkt de bredere omgeving jaarlijks ongeveer 3,5 miljoen HPC-taken.

Volgens de specificaties van EPYC 9745 van AMD heeft elke processor 128 fysieke cores, wat neerkomt op 256 cores per node met twee processors. Om al die cores op honderden nodes productief te houden, is efficiënte communicatie een aandachtspunt op systeemniveau.

De installatiedocumentatie van GWDG beschrijft een eerste groep van 252 nodes, elk met 768 GiB DDR5-geheugen en 3,8 TiB lokale NVMe-opslag, aangesloten via CN5000-adapters met 200G-verbindingen. In de aankondiging wordt de grotere EMMY P4-implementatie omschreven als een systeem met ongeveer 300 nodes.

Het onderscheid tussen deze CPU-installatie en het GPU-werk binnen het partnerschap is belangrijk. EMMY P4 laat zien hoe EPYC en de netwerktechnologie van Cornelis worden ingezet in een omgeving voor wetenschappelijk rekenen; dat betekent niet dat de aangekondigde CPU-nodes AMD Instinct-versnellers bevatten.

Applicatietests gaan verder dan compatibiliteit

Volgens Cornelis is CN5000 klaar voor productiegebruik met AMD EPYC 9005-processors in meer dan 25 gevalideerde platformconfiguraties in Noord-Amerika en Europa. De bedrijven hebben de kwalificatie van CN5000 ook uitgebreid naar AMD Instinct MI350X Series-versnellers.

Applicatietests kunnen kopers laten zien of een architectuur geschikt is voor het werk dat daadwerkelijk binnen hun organisatie wordt uitgevoerd. Een grote simulatie met frequente synchronisatie kan zich anders gedragen dan een AI-workload die meer tijd doorbrengt in versnelde kernels. Geheugencapaciteit, softwarebibliotheken, nodeconfiguratie en netwerkgedrag zijn allemaal van invloed op het resultaat.

Cornelis meldt dat een geselecteerde reeks van 132 CONVERGE-workloads voor computationele stromingsleer op vier nodes een 20% hogere gemiddelde doorvoer behaalde dan een vergelijking met NVIDIA NDR InfiniBand. Ook meldt het bedrijf dat een STAR-CCM+-workload op EPYC 9755-processors bij opschaling van één naar acht nodes bijna negenvoudige schaalbaarheid liet zien.

Dit zijn door de leverancier gemelde resultaten van applicaties op basis van specifieke testconfiguraties. De bijbehorende technische whitepapers van Cornelis zijn de relevante referentie voor de testomstandigheden; de cijfers tonen niet aan dat elk programma of cluster hetzelfde voordeel oplevert. De praktische waarde van het testprogramma in München is dat klanten hun eigen workloads tegen die achtergrond kunnen beoordelen.

Een routekaart voor grotere CPU- en GPU-systemen

De bedrijven bereiden zich ook voor op een volgende hardwaregeneratie. Cornelis baseert de aankomende CN6000 op een 800G-adapter en een PCIe 6.0 x16-interface. OEM-systemen met een CN6000 en AMD EPYC 9006-processors worden in het eerste kwartaal van 2027 verwacht. Deze systemen staan op de roadmap en moeten worden onderscheiden van de al in gebruik genomen EMMY P4-infrastructuur op basis van de CN5000.

AMD’s strategie voor accelerators omvat ook de ROCm-softwarestack, die tools en bibliotheken voor GPU-computing biedt. Voor wetenschappelijke AI is die softwarelaag net zo belangrijk als de processors en het netwerk: onderzoekers hebben applicaties, wiskundige bibliotheken en communicatiesoftware nodig die goed samenwerken.

Traditionele wetenschappelijke rekenkracht legt ook veel nadruk op rekenen met dubbele precisie, oftewel FP64. Dat verschilt van de berekeningen met lagere precisie die in veel AI-workloads worden gebruikt. Daarom hangt de geschiktheid van een platform van meer af dan alleen de prestaties op het gebied van AI waarmee het zich profileert.

De uitgebreide samenwerking tussen AMD en Cornelis is uiteindelijk bedoeld om complete onderzoekssystemen eenvoudiger te kunnen beoordelen en implementeren. GWDG biedt een praktijkvoorbeeld van de combinatie van CPU’s en netwerken, terwijl gezamenlijke tests van applicaties en toekomstige ondersteuning voor accelerators de mogelijke gebruiksscenario’s verbreden. Voor onderzoekscentra is vooral van belang hoe snel een gevalideerd systeem nuttig werk uitvoert — niet hoeveel processors het bevat.