Doug Fuller, VP of Software Engineering bei Cornelis Networks – Interview-Serie

Als Vice President of Software Engineering ist Doug für alle Aspekte des Software-Stapels von Cornelis Networks verantwortlich, einschließlich der Omni-Path-Architektur-Treiber, Messaging-Software und eingebetteter Gerätesteuerungssysteme. Bevor er zu Cornelis Networks kam, leitete Doug Software-Engineering-Teams bei Red Hat in Cloud-Speicher und Daten-Diensten. Dougs Karriere in HPC und Cloud-Computing begann im Scalable Computing Laboratory des Ames National (ATLO ) Laboratory. Nach mehreren Rollen in der universitären Rechenzentrum-Computing kam Doug 2009 zum Oak Ridge National Laboratory des US-Energieministeriums, wo er neue Technologien entwickelte und integrierte.

Cornelis Networks ist ein Technologieführer, der speziell entwickelte Hochleistungs-Netzwerke für High-Performance-Computing (HPC), High-Performance-Datenanalyse (HPDA) und künstliche Intelligenz (KI) für führende kommerzielle, wissenschaftliche, akademische und Regierungsorganisationen liefert.

Was hat Sie ursprünglich zur Informatik gezogen?

Ich habe einfach Spaß daran, mit Technologie zu arbeiten. Ich habe Spaß daran, mit Computern zu arbeiten, als ich aufwuchs; wir hatten einen Modem in unserer Schule, das es mir ermöglichte, das Internet auszuprobieren, und ich fand es interessant. Als Erstsemester auf dem College traf ich einen computationalen Wissenschaftler des US-Energieministeriums, während ich für den National Science Bowl freiwillig arbeitete. Er lud mich ein, sein HPC-Labor zu besuchen, und ich war sofort begeistert. Seitdem bin ich ein Supercomputer-Fan.

Sie haben von 2015 bis 2019 bei Red Hat gearbeitet. Was waren einige der Projekte, an denen Sie gearbeitet haben, und was waren Ihre wichtigsten Erkenntnisse aus dieser Erfahrung?

Mein Hauptprojekt bei Red Hat war Ceph-verteilter Speicher. Ich hatte mich zuvor ausschließlich auf HPC konzentriert, und dies gab mir die Gelegenheit, an Technologien zu arbeiten, die für Cloud-Infrastruktur entscheidend waren. Es reimt sich. Viele der Prinzipien von Skalierbarkeit, Verwaltbarkeit und Zuverlässigkeit sind extrem ähnlich, obwohl sie darauf abzielen, slightly unterschiedliche Probleme zu lösen. In Bezug auf Technologie war mein wichtigster Erkenntnisgewinn, dass Cloud und HPC viel voneinander lernen können. Wir bauen immer unterschiedliche Projekte mit dem gleichen Lego-Set. Es hat mir geholfen, zu verstehen, wie die ermöglichten Technologien, einschließlich Netzen, auf HPC-, Cloud- und KI-Anwendungen wirken können. Es ist auch der Ort, an dem ich wirklich die Bedeutung von Open Source und wie man die Open-Source-, upstream-first-Software-Entwicklungs-Philosophie ausführt, die ich mit zu Cornelis Networks gebracht habe, verstanden habe. Persönlich war Red Hat der Ort, an dem ich wirklich gewachsen und gereift bin als Führungskraft.

Sie sind derzeit Vice President of Software Engineering bei Cornelis Networks. Was sind einige Ihrer Verantwortungen, und wie sieht Ihr durchschnittlicher Tag aus?

Als Vice President of Software Engineering bin ich für alle Aspekte des Software-Stapels von Cornelis Networks verantwortlich, einschließlich der Omni-Path-Architektur-Treiber, Messaging-Software, Netzwerk-Management und eingebetteter Gerätesteuerungssysteme. Cornelis Networks ist ein spannender Ort, besonders in diesem Moment und in diesem Markt. Deshalb bin ich nicht sicher, ob ich einen “durchschnittlichen” Tag habe. Manche Tage arbeite ich mit meinem Team daran, das neueste technologische Problem zu lösen. Andere Tage interagiere ich mit unseren Hardware-Architekten, um sicherzustellen, dass unsere nächsten Produkte für unsere Kunden funktionieren werden. Ich bin oft im Feld und treffe unsere großartige Gemeinschaft von Kunden und Kooperationspartnern, um sicherzustellen, dass wir ihre Bedürfnisse verstehen und antizipieren.

Cornelis Networks bietet Next-Generation-Netzwerke für High-Performance-Computing- und KI-Anwendungen. Können Sie einige Details über die Hardware erläutern, die angeboten wird?

Unsere Hardware besteht aus einer Hochleistungs-Switched-Fabric-Netzwerklösung. Dazu liefern wir alle notwendigen Geräte, um HPC-, Cloud- und KI-Netzwerke vollständig zu integrieren. Die Omni-Path-Host-Fabric-Schnittstelle (HFI) ist eine Low-Profile-PCIe-Karte für Endgeräte. Wir produzieren auch einen 48-Port-1U-“Top-of-Rack”-Switch. Für größere Bereitstellungen bieten wir zwei vollständig integrierte “Director-Class”-Switches an; einen, der 288 Ports in 7U und ein 1152-Port-, 20U-Gerät enthält.

Können Sie über die Software sprechen, die diese Infrastruktur verwaltet, und wie sie entwickelt wurde, um die Latenz zu verringern?

Zuerst bietet unsere eingebettete Management-Plattform eine einfache Installation und Konfiguration sowie Zugriff auf eine Vielzahl von Leistungs- und Konfigurationsmetriken, die von unseren Switch-ASICs erzeugt werden.

Unsere Treibersoftware wird als Teil des Linux-Kernels entwickelt. Tatsächlich übermitteln wir alle unsere Software-Patches direkt an die Linux-Kernel-Community. Das stellt sicher, dass alle unsere Kunden maximale Kompatibilität über Linux-Distributionen hinweg und eine einfache Integration mit anderen Software wie Lustre genießen. Obwohl sie nicht im Latenzpfad liegt, reduziert eine in-tree-Treiber-Installation die Komplexität der Installation erheblich.

Der Omni-Path-Fabric-Manager (FM) konfiguriert und routet ein Omni-Path-Netzwerk. Durch die Optimierung von Datenverkehrsrouten und die schnelle Wiederherstellung von Fehlern bietet der FM branchenführende Leistung und Zuverlässigkeit auf Netzwerken von Zehn bis Tausend Knoten.

Omni-Path-Express (OPX) ist unsere Hochleistungs-Messaging-Software, die im November 2022 veröffentlicht wurde. Sie wurde speziell entwickelt, um die Latenz im Vergleich zu unserer früheren Messaging-Software zu verringern. Wir haben zyklusgenaue Simulationen unserer Senden- und Empfangs-Code-Pfade durchgeführt, um die Anweisungsanzahl und die Cache-Nutzung zu minimieren. Dies führte zu dramatischen Ergebnissen: wenn man sich im Mikrosekunden-Bereich bewegt, zählt jeder Zyklus!

Wir haben auch die OpenFabrics-Schnittstellen (OFI) integriert, einem offenen Standard, der von der OpenFabrics-Allianz produziert wird. Die modulare Architektur von OFI hilft, die Latenz zu minimieren, indem höhere Software-Ebenen, wie MPI, Netzwerkfunktionen ohne zusätzliche Funktionsaufrufe nutzen können.

Das gesamte Netzwerk ist auch darauf ausgelegt, die Skalierbarkeit zu erhöhen. Können Sie einige Details darüber erläutern, wie es so gut skalieren kann?

Skalierbarkeit ist ein grundlegendes Designprinzip von Omni-Path. Auf den unteren Ebenen verwenden wir Cray-Link-Layer-Technologie, um Link-Fehler mit keiner Latenzauswirkung zu korrigieren. Dies betrifft Netzwerke aller Größen, ist aber besonders wichtig für große Netzwerke, die natürlicherweise mehr Link-Fehler aufweisen. Unser Fabric-Manager konzentriert sich auf die Programmierung optimaler Routing-Tabellen und darauf, dies in minimaler Zeit zu tun. Dies stellt sicher, dass die Routing-Tabellen für sogar die größten Netzwerke in minimaler Zeit abgeschlossen werden können.

Skalierbarkeit ist auch ein kritischer Bestandteil von OPX. Die Minimierung der Cache-Nutzung verbessert die Skalierbarkeit auf einzelnen Knoten mit großen Core-Zahlen. Die Minimierung der Latenz verbessert auch die Skalierbarkeit, indem sie die Zeit zur Fertigstellung von kollektiven Algorithmen verbessert. Die effiziente Nutzung der Host-Fabric-Interface-Ressourcen ermöglicht es jedem Core, mit mehr Remote-Peers zu kommunizieren. Die strategische Wahl von libfabric ermöglicht es uns, Software-Funktionen wie skalierbare Endpunkte mit Standard-Schnittstellen zu nutzen.

Können Sie einige Details darüber erläutern, wie KI in einige der Arbeitsabläufe bei Cornelis Networks integriert ist?

Wir sind noch nicht bereit, über unsere internen KI-Nutzungen und -Pläne nach außen zu sprechen. Wir “fressen jedoch unsere eigene Hundehütte”, also können wir die Latenz- und Skalierbarkeitsverbesserungen, die wir für Omni-Path vorgenommen haben, nutzen, um KI-Workloads zu unterstützen. Es macht uns noch mehr begeistert, diese Vorteile mit unseren Kunden und Partnern zu teilen. Wir haben sicherlich beobachtet, dass, wie in traditionellem HPC, die Skalierung von Infrastrukturen der einzige Weg nach vorne ist, aber die Herausforderung darin besteht, dass die Netzwerkleistung leicht durch Ethernet und andere traditionelle Netzwerke behindert wird.

Was sind einige Veränderungen, die Sie in der Branche mit dem Aufkommen von generativer KI vorhersagen?

Zunächst wird die Nutzung von generativer KI die Menschen produktiver machen – keine Technologie in der Geschichte hat den Menschen überflüssig gemacht. Jede technologische Evolution und Revolution, die wir von der Spinnmaschine bis zum automatischen Webstuhl, zum Telefon, Internet und darüber hinaus hatten, hat bestimmte Jobs effizienter gemacht, aber wir haben die Menschheit nicht aus dem Arbeitsprozess entfernt.

Durch die Anwendung von generativer KI glaube ich, dass Unternehmen technologisch schneller vorankommen werden, da diejenigen, die das Unternehmen leiten, mehr Freizeit haben, um sich auf diese Fortschritte zu konzentrieren. Wenn beispielsweise generative KI genauere Prognosen, Berichte, Planung usw. liefert, können Unternehmen sich auf Innovationen in ihrem Fachgebiet konzentrieren.

Ich glaube insbesondere, dass KI jeden von uns zu einem multidisziplinären Experten machen wird. Als Beispiel, als skalierbarer Software-Experte, verstehe ich die Verbindungen zwischen HPC, Big Data, Cloud und KI-Anwendungen, die Lösungen wie Omni-Path antreiben. Mit einem generativen KI-Assistenten kann ich tiefer in die Bedeutung der Anwendungen eintauchen, die unsere Kunden nutzen. Ich habe keinen Zweifel, dass dies uns helfen wird, noch effektivere Hardware und Software für die Märkte und Kunden, die wir bedienen, zu entwerfen.

Ich sehe auch eine Gesamtbesserung der Software-Qualität voraus. KI kann effektiv als “ein weiteres Paar Augen” fungieren, um Code statisch zu analysieren und Erkenntnisse über Fehler und Leistungsprobleme zu gewinnen. Dies wird besonders interessant bei großen Skalen sein, bei denen Leistungsprobleme besonders schwierig zu finden und teuer zu reproduzieren sind.

Schließlich hoffe und glaube ich, dass generative KI unserem Fachgebiet helfen wird, mehr Software-Profis ohne vorherige Erfahrung in KI und HPC auszubilden. Unser Fachgebiet kann vielen Menschen einschüchternd erscheinen, und es kann Zeit brauchen, um zu lernen, “in Parallel” zu denken. Grundlegend, wie Maschinen es einfacher gemacht haben, Dinge herzustellen, wird generative KI es einfacher machen, Konzepte zu berücksichtigen und zu begründen.

Gibt es noch etwas, das Sie über Ihre Arbeit oder Cornelis Networks im Allgemeinen teilen möchten?

Ich möchte jeden ermutigen, der Interesse hat, eine Karriere in der Informatik zu verfolgen, besonders in HPC und KI. In diesem Bereich sind wir mit den leistungsstärksten Rechenressourcen ausgestattet, die jemals gebaut wurden, und wir setzen sie ein, um die größten Herausforderungen der Menschheit zu meistern. Es ist ein spannender Ort, und ich habe jeden Schritt davon genossen. Generative KI bringt unser Fachgebiet auf noch neue Höhen, da die Nachfrage nach zunehmender Leistungsfähigkeit drastisch ansteigt. Ich kann es kaum erwarten, zu sehen, wohin wir als Nächstes gehen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Cornelis Networks besuchen.