Kevin Tubbs, PhD, SVP Strategic Solutions Group bei Penguin Computing – Interview-Serie

Kevin Tubbs, PhD, ist der Senior Vice President des Strategic Solutions Group bei Penguin Computing. Penguin Computing entwirft maßgeschneiderte, unabhängige Lösungen von der Hardware bis zur Cloud und Dienstleistungen, um komplexe wissenschaftliche, analytische und technische Probleme zu lösen, mit denen Fortune-500-Unternehmen, Start-ups, akademische Einrichtungen und Bundesorganisationen konfrontiert sind.

Was hat Sie ursprünglich zum Bereich der Informatik hingezogen?

Meine Eltern haben mir einen Computer gekauft, als ich sehr jung war, und ich habe immer ein Interesse und eine Begabung für Computer und Bastelarbeiten gehabt. Durch meine Ausbildung habe ich mich immer mehr auf die STEM-Fächer konzentriert und das hat mich dazu gebracht, mich in einem angewandten Bereich zu engagieren. Mein Hintergrund ist Physik und Hochleistungsrechnen (HPC). Meine frühe Liebe zu Computern hat es mir ermöglicht, die Informatik immer im Vordergrund meiner anderen Interessen an Wissenschaft, Mathematik oder Ingenieurwesen zu halten, was mich zu dem gemacht hat, was ich heute bin.

Penguin Computing arbeitet eng mit dem Open Compute Project (OCP) zusammen – was ist das genau?

Seit Beginn des Open Compute Project (OCP) ist Penguin Computing ein früher Adoptierer, Unterstützer und wichtiger Beitragsteller zu dem Bemühen, die Vorteile von OCP für Hochleistungsrechnen (HPC) und künstliche Intelligenz (KI) zu nutzen.

Der Schwerpunkt von OCP liegt darin, eine globale Gemeinschaft von Entwicklern zusammenzubringen, um eine vollständige Ökosystem-Infrastrukturtechnologie zu schaffen, die effizienter, flexibler und skalierbarer ist. Penguin Computing hat sich OCP angeschlossen, weil es die offenen Technologien und die Idee einer Gemeinschaft gibt. Was wir im Laufe der Zeit getan haben, ist sicherzustellen, dass die Tradition und Technologien aus traditionellem HPC und aufkommenden Trends in KI und Analytics effizient skaliert werden können – Penguin Computing treibt diese Dinge in OCP voran.

Einer der Vorteile von OCP ist, dass es die Gesamtkosten (TCO) senkt – niedrigere Kapitalausgaben dank der Entfernung aller Vanity-Elemente und niedrigere Betriebskosten aufgrund der Wartung von vorne, geteilte Stromversorgung und andere Designänderungen – was OCP-basierte Technologie perfekt für die Skalierung macht.

Penguin Computing hat mehrere OCP-Produkte, darunter die Penguin Computing Tundra Extreme Scale Platform und die Penguin Computing Tundra AP. Die Tundra-Plattformen sind auch mit HPC- und KI-Workloads kompatibel.

Tundra AP, die neueste Generation unserer hochdichten Tundra-Supercomputer-Plattform, kombiniert die Rechenleistung von Intel (INTC ) ® Xeon® Scalable 9200-Serienprozessoren mit Penguin Computings Relion XO1122eAP-Server in einem OCP-Format, das eine hohe Dichte an CPU-Kernen pro Rack bietet.

Wenn es um Big Data geht, müssen Benutzer, um die Leistung zu optimieren, Engpässe beseitigen, die den Zugriff auf Daten verlangsamen. Wie geht Penguin Computing dieses Problem an?

Penguin Computing hat unsere Fähigkeit genutzt, offene Technologien zu nutzen und sich schnell an aktuelle Trends anzupassen – eines davon ist Big Data oder das Wachstum von Daten und datengetriebenen Workloads. Als Reaktion darauf haben wir unsere Strategic Solutions Group aufgebaut, um dieses Problem direkt anzugehen.

Bei der Lösung des Problems haben wir festgestellt, dass die meisten Workloads, auch aus traditionellem technischem Rechnen, von der Absicht getrieben sind, datengetriebener zu sein. Als Ergebnis davon entwirft Penguin Computing komplette End-to-End-Lösungen, indem wir versuchen, die Workload des Benutzers zu verstehen. Um eine workload-optimierte End-to-End-Lösung zu erstellen, konzentrieren wir uns auf die workload-optimierte Software-Ebene, die Orchestrierung und die Workload-Lieferung umfasst. Im Wesentlichen müssen wir verstehen, wie der Benutzer die Infrastruktur nutzen wird.

Als Nächstes versuchen wir, uns auf die workload-optimierte Recheninfrastruktur zu konzentrieren. Es gibt verschiedene Ebenen von Daten und IO-Herausforderungen, die viel Druck auf die Rechenebene ausüben. Zum Beispiel erfordern verschiedene Workloads unterschiedliche Kombinationen von beschleunigter Recheninfrastruktur von CPUs, GPUs, Speicherbandbreite und Netzwerk, die es ermöglichen, dass die Daten durchgeführt und berechnet werden.

Schließlich müssen wir herausfinden, welche Arten von Lösungen es uns ermöglichen, diese Daten zu liefern. Wir untersuchen die workload-optimierten Daten-Infrastrukturen, um zu verstehen, wie die Workload mit den Daten interagiert, welche Kapazitätsanforderungen und IO-Muster es gibt. Sobald wir diese Informationen haben, hilft uns das, eine workload-optimierte System zu entwerfen.

Sobald wir alle Informationen haben, nutzen wir unsere interne Expertise bei Penguin Computing, um einen Entwurf und eine komplette Lösung zu erstellen. Da wir wissen, dass es aus Leistungsgründen entworfen wurde, müssen wir verstehen, wo es bereitgestellt wird (vor Ort, in der Cloud, am Rand, Kombination aus allem usw.). Das ist Penguin Computings Ansatz, um eine optimierte Lösung für datengetriebene Workloads zu liefern.

Könnten Sie über die Bedeutung des Einsatzes einer GPU anstelle einer CPU für Deep Learning sprechen?

Einer der größten Trends, die ich im Hinblick auf die Bedeutung von GPUs für Deep Learning (DL) gesehen habe, war der Wechsel zur Verwendung von allgemeinen GPUs (GPGPU) als Daten-Parallel- Hardware, die es uns ermöglicht, die Menge an Rechenkernen, die zur Lösung eines parallelen Rechenproblems bereitgestellt werden können, massiv zu beschleunigen. Das ist in den letzten zehn Jahren passiert.

Ich habe an den frühen Stadien der GPGPU-Programmierung teilgenommen, als ich in der Graduate School und zu Beginn meiner Karriere war. Ich glaube, dass der Sprung in der Reichendichte, bei dem eine GPU eine Menge dichte Rechen- und Analysekerne auf einem Gerät bietet und es ermöglicht, mehr in einem Server-Raum zu haben und etwas, das ursprünglich für Grafiken gedacht war, in einen Rechenmotor umzuwandeln, ein echter Augenöffner-Trend in der HPC- und KI-Gemeinschaft war.

Es hat jedoch viel davon abhängig gemacht, Code zu konvertieren und zu optimieren, um auf GPUs anstelle von CPUs zu laufen. Als wir all diese Arbeit geleistet haben, haben wir auf das Konzept der Killer-App gewartet – die Anwendung oder der Use Case, der wirklich abhebt oder durch eine GPU ermöglicht wird. Für die GPGPU-Gemeinschaft war DL diese Killer-App, die die Bemühungen und die Entwicklung zur Beschleunigung von HPC- und KI-Workloads galvanisierte.

Im Laufe der Zeit gab es eine Wiederbelebung von KI und maschinellem Lernen (ML) und DL kam ins Spiel. Wir haben erkannt, dass das Training eines neuronalen Netzes mit DL tatsächlich gut zu dem zugrunde liegenden Design einer GPU passt. Ich glaube, dass einmal diese beiden Dinge konvergierten, wir die Fähigkeit haben, die Arten von DL zu tun, die durch CPU-Prozessoren nicht möglich waren und letztendlich unsere Fähigkeit, KI sowohl im großen Maßstab als auch in der Praxis zu tun, begrenzt haben.

Sobald GPUs zum Einsatz kamen, hat es tatsächlich die Forschungs- und Entwicklungscommunity um KI und DL wiederbelebt, weil man einfach nicht das Level an Rechenleistung hatte, um es effizient zu tun, und es nicht demokratisiert war. Die GPU ermöglicht es uns, eine dichtere Rechenleistung zu liefern, die in ihrem Kern gut für DL konzipiert ist und es auf ein Level an Hardware-Architekturlösungen gebracht hat, das es einfacher macht, zu mehr Forschern und Wissenschaftlern zu gelangen. Ich glaube, dass das einer der großen Gründe ist, warum GPUs besser für das Studium von DL sind.

Welche GPU-beschleunigten Rechenlösungen bietet Penguin Computing an?

Penguin Computing konzentriert sich derzeit auf End-to-End-Lösungen, die von unserer Strategic Solutions Group bearbeitet werden, insbesondere mit Penguin Computings AI- und Analytics-Praxis. Innerhalb dieser Praxis konzentrieren wir uns auf drei grundlegende Ansätze für GPU-beschleunigte Lösungen.

Erstens bieten wir eine Referenzarchitektur für Edge-Analytics an, bei der wir Lösungen entwerfen, die in nicht-traditionellen Rechenzentren (am Rand oder nahe am Rand) passen. Dies kann Telekommunikations-Edge-Rechenzentren, Einzelhandelsanlagen, Tankstellen und mehr umfassen. Diese sind alle Inferenz-basierte KI-Lösungen. Einige Lösungen sind auf Video-Analytics für Kontaktverfolgung und Gestenerkennung zur Bestimmung ausgerichtet, ob jemand seine Hände wäscht oder eine Maske trägt. Diese sind Anwendungen von kompletten Lösungen, die GPU-beschleunigte Hardware umfassen, die für nicht-traditionelle oder Edge-Deployments fein abgestimmt ist, sowie die Software-Stacks, um Forschern und Endbenutzern zu ermöglichen, sie effektiv zu nutzen.

Die nächste Klasse von Penguin Computing-Lösungen ist für Rechenzentren und Core-AI-Training und Inferenz-Referenzarchitekturen konzipiert. Man kann sich vorstellen, dass man innerhalb eines großen Rechenzentrums oder in der Cloud (Penguin Computing Cloud) sitzt, wo einige unserer Kunden große Trainings mit Tausenden von GPUs zur Beschleunigung von DL durchführen. Wir sehen uns an, wie wir komplette Lösungen und Referenzarchitekturen liefern, die alle diese Software-Workloads und Containerisierungen durch GPU-Design und -Layout unterstützen, bis hin zu den Daten-Infrastruktur-Anforderungen, die es unterstützen.

Die dritte Klasse von Referenzarchitekturen in dieser Praxis ist eine Kombination der beiden vorherigen. Was wir in unserer dritten Referenzarchitektur-Familie suchen, ist, wie wir die Daten-Fabrics und -Pfade und -Workflows schaffen, um kontinuierliches Lernen zu ermöglichen, sodass wir Inferenz mit unseren Edge-GPU-beschleunigten Lösungen ausführen, diese Daten in private oder öffentliche Cloud pushen, weiter trainieren und wenn die neuen Trainingsmodelle aktualisiert werden, sie zurück an die Inferenz pushen. Auf diese Weise haben wir einen iterativen Zyklus von kontinuierlichem Lernen und KI-Modellen.

Penguin Computing hat kürzlich einen neuen Supercomputer für LLNL in Partnerschaft mit Intel und CoolIT bereitgestellt. Könnten Sie uns über diesen Supercomputer und dessen Zweck sprechen?

Der Magma-Supercomputer, der bei LLNL bereitgestellt wurde, wurde im Rahmen des Commodity Technology Systems (CTS-1)-Vertrags mit der National Nuclear Security Administration (NNSA) beschafft und ist eine der ersten Bereitstellungen von Intel Xeon Platinum 9200-Serienprozessoren mit Unterstützung von CoolIT Systems Complete Direct Liquid Cooling und Omni-Path-Interconnect.

Im Rahmen des ASC-Programms der NNSA wird Magma die Life Extension Program- und die Bemühungen unterstützen, die für die Gewährleistung der Sicherheit, Sicherheit und Zuverlässigkeit der nationalen Nuklearwaffen im Fehlen von unterirdischen Tests kritisch sind.

Der Magma-Supercomputer ist ein HPC-System, das durch künstliche Intelligenz verbessert wird und eine konvergierte Plattform ist, die es ermöglicht, KI zu beschleunigen. Magma wurde im Juni 2020 in die Top-500-Liste aufgenommen und erreichte Platz 80.

Im Rahmen des CTS-1-Vertrags hat Penguin Computing mehr als 22 Petaflops Rechenleistung zur Unterstützung des ASC-Programms bei den NNSA-Tri-Labs von Lawrence Livermore, Los Alamos und Sandia National Laboratories bereitgestellt.

Wie unterstützt Penguin Computing den Kampf gegen COVID-19?

Im Juni 2020 hat Penguin Computing offiziell mit AMD zusammen gearbeitet, um HPC-Fähigkeiten an Forscher an drei Top-Universitäten in den USA – New York University (NYU), Massachusetts Institute of Technology (MIT) und Rice University – zu liefern, um im Kampf gegen COVID-19 zu helfen.

Penguin Computing hat direkt mit AMDs COVID-19-HPC-Fonds zusammengearbeitet, um Forschungseinrichtungen mit erheblichen Rechenressourcen zu versorgen, um die medizinische Forschung zu COVID-19 und anderen Krankheiten zu beschleunigen. Penguin Computing und AMD arbeiten zusammen, um eine Konstellation von On-Premises- und Cloud-basierten HPC-Lösungen an NYU, MIT und Rice University zu liefern, um die Forschungsfähigkeiten von Hunderten von Wissenschaftlern zu erhöhen, die letztendlich zu einem besseren Verständnis des neuartigen Coronavirus beitragen werden.

Die mit den neuesten 2. Generation AMD EPYC-Prozessoren und Radeon Instinct MI50-GPU-Beschleunigern ausgestatteten Systeme, die an die Universitäten gespendet werden, sollen jeweils über einen Petaflop Rechenleistung liefern. Eine zusätzliche Rechenleistung von vier Petaflops wird den Forschern über unseren HPC-Cloud-Service, Penguin Computing On-Demand (POD), zur Verfügung gestellt. Insgesamt werden die gespendeten Systeme den Forschern über sieben Petaflops an GPU-beschleunigter Rechenleistung zur Verfügung stellen, die für den Kampf gegen COVID-19 eingesetzt werden können.

Die Empfänger-Universitäten werden voraussichtlich die neue Rechenleistung für eine Reihe von pandemic-bezogenen Workloads wie Genomik, Impfstoffentwicklung, Übertragungswissenschaft und Modellierung nutzen.

Gibt es noch etwas, das Sie über Penguin Computing teilen möchten?

Seit mehr als zwei Jahrzehnten liefert Penguin Computing maßgeschneiderte, innovative und offene Lösungen an die Hochleistungs- und technische Rechenwelt. Die Lösungen von Penguin Computing geben Organisationen die Agilität und Freiheit, die sie benötigen, um die neuesten Technologien in ihren Rechenumgebungen zu nutzen. Organisationen können ihre Ressourcen darauf konzentrieren, Produkte und Ideen in Rekordzeit auf den Markt zu bringen, anstatt auf die zugrunde liegenden Technologien. Die breite Palette von Lösungen von Penguin Computing für AI/ML/Analytics, HPC, DataOps und Cloud-nativen Technologien kann maßgeschneidert und kombiniert werden, um nicht nur aktuellen Bedürfnissen gerecht zu werden, sondern sich auch schnell an zukünftige Bedürfnisse und technologische Veränderungen anzupassen. Die professionellen und verwalteten Dienstleistungen von Penguin Computing helfen bei der Integration, Implementierung und Verwaltung von Lösungen. Die Hosting-Dienste von Penguin Computing können bei der “Wo”-Frage der Rechenumgebung helfen, indem sie Organisationen Eigentumsoptionen und die Flexibilität bieten, vor Ort, in der öffentlichen oder dedizierten Cloud, gehostet oder als Service zu laufen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Penguin Computing besuchen.