AMD und Cornelis bauen HPC-Partnerschaft aus, während GWDG EMMY P4 in Betrieb nimmt

AMD und Cornelis bauen ihre Partnerschaft im Bereich Hochleistungsrechnen aus. Dabei kommen Prozessoren und Beschleuniger von AMD mit Netzwerktechnik von Cornelis zusammen, damit Forschungseinrichtungen größere wissenschaftliche Arbeitslasten produktiv einsetzen können. Eine Installation bei der deutschen GWDG veranschaulicht dies: Der Supercomputer EMMY P4 kombiniert rund 300 Dual-Socket-Knoten mit AMD EPYC 9745 und Cornelis-CN5000-Omni-Path-Netzwerktechnik.

Die Zusammenarbeit geht über den Verkauf kompatibler Komponenten hinaus. Die Unternehmen etablieren ein gemeinsames Markteinführungsprogramm, das Systemdesign, Anwendungs-Benchmarking, Validierung, Abnahmetests und den Produktiveinsatz über bestehende Hersteller und Systemintegratoren umfasst. Kunden können außerdem ihre eigenen Anwendungen am HPC Center of Excellence von AMD in München testen, bevor sie sich für eine Konfiguration entscheiden.

Dieser Ansatz begegnet einem anhaltenden Problem im Supercomputing: Mehr Prozessoren zu kaufen, garantiert keine entsprechend schnellere Forschung. Die Anwendungen müssen Daten schnell genug zwischen den Prozessoren übertragen, damit diese ausgelastet bleiben.

Warum das Netzwerk ebenso wichtig ist wie die Rechenleistung

Wissenschaftliche Simulationen verteilen ein großes Problem häufig auf viele Server. Jeder Server berechnet einen Teil des Ergebnisses und tauscht anschließend Informationen mit den anderen aus. Bei der numerischen Strömungsmechanik müssen beispielsweise benachbarte Bereiche einer simulierten Strömung während des Berechnungsablaufs aktualisierte Bedingungen miteinander austauschen.

Dadurch werden Netzwerklatenz, die Kapazität zur Nachrichtenverarbeitung und Netzüberlastungen zu entscheidenden Faktoren. Ein Prozessor, der auf Daten eines anderen Knotens wartet, leistet kaum nützliche Rechenarbeit – unabhängig davon, wie schnell er Berechnungen ausführt. Das Message Passing Interface (MPI) ist eine weit verbreitete Softwareschnittstelle zur Koordination dieser verteilten Arbeit.

Cornelis liefert die Verbindung zwischen den Knoten, AMD die Rechenleistung. Mit dem erweiterten Programm sollen diese Komponenten gemeinsam anhand von Anwendungen validiert werden, statt Netzwerkbandbreite und Prozessorspezifikationen allein als ausreichenden Beleg für die Systemleistung zu betrachten.

Lisa Spelman, CEO von Cornelis, sagte, dass jede neue EPYC-Generation die Zahl der Kerne erhöht, die auf das Netzwerk zugreifen müssen. Ihrer Aussage nach kann zusätzliche Rechenkapazität dazu führen, dass teure Ressourcen auf ihre Auslastung warten müssen, wenn die Kommunikation nicht Schritt hält. Daher sei eine Validierung anhand konkreter Arbeitslasten unerlässlich.

Was EMMY P4 der GWDG bietet

Die GWDG, eine Einrichtung für wissenschaftliches Rechnen in Göttingen, unterstützt NHR@Göttingen, eines der neun nationalen Hochleistungsrechenzentren Deutschlands. Die Nutzer führen Anwendungen aus den Lebenswissenschaften, der Physik, der Quantenforschung, der KI und den Geisteswissenschaften aus. Cornelis zufolge verarbeitet die übergeordnete Umgebung jährlich rund 3,5 Millionen HPC-Aufträge.

Laut den Spezifikationen des EPYC 9745 von AMD verfügt jeder Prozessor über 128 physische Kerne, sodass jeder Dual-Socket-Knoten 256 Kerne umfasst. Bei Hunderten von Knoten so viele Kerne effizient auszulasten, macht die Kommunikationseffizienz zu einer zentralen Frage für das gesamte System.

Die Installationsdokumentation der GWDG beschreibt eine erste Gruppe von 252 Knoten mit jeweils 768 GiB DDR5-Speicher und 3,8 TiB lokalem NVMe-Speicher, die über CN5000-Adapter mit 200G-Verbindungen angebunden sind. In der Ankündigung wird die größere EMMY-P4-Installation mit rund 300 Knoten angegeben.

Die Unterscheidung zwischen dieser CPU-Installation und der GPU-Arbeit im Rahmen der Partnerschaft ist wichtig. EMMY P4 zeigt den Einsatz von EPYC und Cornelis-Netzwerktechnik in einer Umgebung für wissenschaftliches Rechnen. Daraus folgt jedoch nicht, dass die angekündigten CPU-Knoten AMD-Instinct-Beschleuniger enthalten.

Anwendungstests gehen über die Kompatibilitätsprüfung hinaus

Cornelis zufolge ist CN5000 für den Produktiveinsatz mit AMD-EPYC-9005-Prozessoren in mehr als 25 validierten Plattformkonfigurationen in Nordamerika und Europa qualifiziert. Die Unternehmen haben die Qualifizierung von CN5000 außerdem auf Beschleuniger der AMD Instinct MI350X Series ausgeweitet.

Anwendungstests können Käufern zeigen, ob eine Architektur zu den Arbeitslasten passt, die in ihrer Organisation tatsächlich ausgeführt werden. Eine umfangreiche Simulation mit häufigen Synchronisierungsschritten kann sich anders verhalten als eine KI-Arbeitslast, die mehr Zeit mit Berechnungen in Beschleunigerkernen verbringt. Speicherkapazität, Softwarebibliotheken, Knotenkonfiguration und Netzwerkverhalten beeinflussen das Ergebnis ebenfalls.

Cornelis berichtet, dass eine ausgewählte Gruppe von 132 Arbeitslasten aus der numerischen Strömungsmechanik mit CONVERGE auf vier Knoten einen um 20 % höheren durchschnittlichen Durchsatz erzielte als ein Vergleichssystem mit NVIDIA NDR InfiniBand. Außerdem meldet das Unternehmen für eine mit EPYC-9755-Prozessoren ausgeführte STAR-CCM+-Arbeitslast eine nahezu neunfache Skalierung von einem auf acht Knoten.

Diese von einem Anbieter gemeldeten Anwendungsergebnisse beziehen sich auf bestimmte Testkonfigurationen. Die ergänzenden technischen Whitepaper von Cornelis enthalten die maßgeblichen Angaben zu den Testbedingungen; die Werte belegen nicht, dass derselbe Vorteil für jeden Programmcode oder jeden Cluster gilt. Der praktische Nutzen des Testprogramms in München besteht darin, dass Kunden ihre eigenen Arbeitslasten vor diesem Hintergrund bewerten können.

Ein Fahrplan für größere CPU- und GPU-Systeme

Die Unternehmen bereiten sich außerdem auf eine weitere Hardwaregeneration vor. Cornelis positioniert den kommenden CN6000 mit einem 800G-Adapter und einer PCIe-6.0-x16-Schnittstelle. OEM-Systeme, die CN6000 und AMD-EPYC-9006-Prozessoren kombinieren, werden für das erste Quartal 2027 erwartet. Diese Systeme sind Teil der Roadmap und von der bereits eingesetzten EMMY-P4-Infrastruktur auf Basis des CN5000 zu unterscheiden.

Zur Accelerator-Strategie von AMD gehört auch der ROCm-Software-Stack, der Tools und Bibliotheken für GPU-Berechnungen bereitstellt. Für wissenschaftliche KI braucht es neben Prozessoren und Netzwerk auch diese Softwareschicht: Forschende benötigen Anwendungen, mathematische Bibliotheken und Kommunikationssoftware, die zusammenarbeiten.

Auch beim traditionellen wissenschaftlichen Rechnen spielt Arithmetik mit doppelter Genauigkeit, also FP64, eine wichtige Rolle. Sie unterscheidet sich von den Berechnungen mit geringerer Genauigkeit, die bei vielen KI-Anwendungen zum Einsatz kommen. Daher hängt die Eignung einer Plattform von mehr ab als nur von ihrer ausgewiesenen KI-Leistung.

Die erweiterte Partnerschaft zwischen AMD und Cornelis soll letztlich dazu beitragen, komplette Forschungssysteme leichter bewerten und einsetzen zu können. GWDG liefert ein Beispiel aus dem Produktivbetrieb für die Kombination aus CPU und Netzwerk. Gemeinsame Anwendungstests und die künftige Unterstützung von Acceleratoren erweitern zugleich die möglichen Einsatzbereiche. Für Forschungszentren ist entscheidend, wie schnell ein validiertes System nützliche Arbeit erledigt – nicht, wie viele Prozessoren es enthält.