Andrew Feldman, Mitgründer und CEO von Cerebras Systems – Interview-Serie

Andrew ist Mitgründer und CEO von Cerebras Systems (CBRS ). Er ist ein Unternehmer, der sich dafür einsetzt, die Grenzen im Bereich der Rechenleistung zu erweitern. Vor Cerebras Systems war er Mitgründer und CEO von SeaMicro, einem Pionier im Bereich energiesparender, hochleistungsfähiger Mikroserver. SeaMicro wurde 2012 von AMD für 357 Millionen Dollar übernommen. Vor SeaMicro war Andrew Vice President of Product Management, Marketing und Business Development bei Force10 Networks, das später von Dell Computing für 800 Millionen Dollar übernommen wurde. Vor Force10 Networks war Andrew Vice President of Marketing und Corporate Development bei RiverStone Networks, von der Gründung des Unternehmens bis zum Börsengang im Jahr 2001. Andrew hat einen Bachelor- und Master-Abschluss von der Stanford University.

Cerebras Systems entwickelt ein neues Computer-System, das von Grund auf für das Ziel der Beschleunigung von KI und der Veränderung der Zukunft der KI-Arbeit konzipiert ist.

Könnten Sie uns die Entstehungsgeschichte hinter Cerebras Systems erzählen?

Meine Mitgründer und ich haben alle zusammen an einem früheren Startup gearbeitet, das mein CTO Gary und ich 2007 gegründet hatten, namens SeaMicro (das 2012 von AMD für 334 Millionen Dollar übernommen wurde). Meine Mitgründer sind einige der führenden Computer-Architekten und Ingenieure in der Branche – Gary Lauterbach, Sean Lie, JP Fricker und Michael James. Als wir uns 2015 wieder zusammenfanden, schrieben wir zwei Dinge auf eine Tafel – dass wir zusammenarbeiten wollten und dass wir etwas bauen wollten, das die Branche verändern und im Computer History Museum, dem Äquivalent zur Compute Hall of Fame, aufgenommen werden würde. Wir waren geehrt, als das Computer History Museum unsere Leistungen anerkannte und den WSE-2-Prozessor letztes Jahr in seine Sammlung aufnahm, unter Hinweis darauf, wie er das künstliche Intelligenz-Landschaft verändert hat.

Cerebras Systems ist ein Team von Pionieren im Bereich der Computer-Architektur, Computer-Wissenschaftler, Deep-Learning-Forscher und Ingenieure aller Art, die fearloses Engineering lieben. Unsere Mission, als wir uns zusammenfanden, bestand darin, einen neuen Computer-Typ zu bauen, um Deep Learning zu beschleunigen, das als eine der wichtigsten Arbeitslasten unserer Zeit aufgestiegen ist.

Wir erkannten, dass Deep Learning einzigartige, massive und wachsende Rechenanforderungen hat. Und es ist nicht gut mit herkömmlichen Maschinen wie Grafikprozessoren (GPUs) abgestimmt, die ursprünglich für andere Arbeiten konzipiert wurden. Als Ergebnis ist KI heute nicht durch Anwendungen oder Ideen eingeschränkt, sondern durch die Verfügbarkeit von Rechenleistung. Das Testen einer einzelnen neuen Hypothese – das Trainieren eines neuen Modells – kann Tage, Wochen oder sogar Monate dauern und Hunderttausende von Dollar an Rechenzeit kosten. Das ist ein großer Hindernis für die Innovation.

Die Entstehung von Cerebras bestand darin, einen neuen Computer-Typ zu bauen, der ausschließlich für Deep Learning optimiert ist, beginnend mit einem sauberen Blatt Papier. Um die enormen Rechenanforderungen von Deep Learning zu erfüllen, entwarfen und produzierten wir den größten Chip, der jemals gebaut wurde – den Wafer-Scale-Engine (WSE). Bei der Schaffung des ersten wafer-skaligen Prozessors überwanden wir Herausforderungen bei der Konstruktion, Fertigung und Verpackung – alle davon galten als unmöglich für die gesamte 70-jährige Geschichte der Computer. Jedes Element des WSE ist darauf ausgelegt, Deep-Learning-Forschung mit unvergleichlicher Geschwindigkeit und Skalierbarkeit zu ermöglichen, was den schnellsten KI-Supercomputer der Branche, den Cerebras CS-2, antreibt.

Bei jedem optimierten Komponenten für KI-Arbeit liefert der CS-2 mehr Rechenleistung bei weniger Platz und weniger Leistung als jedes andere System. Es reduziert radikal die Programmierkomplexität, die Rechenzeit und die Zeit bis zur Lösung. Abhängig von der Arbeitslast, von KI bis HPC, liefert der CS-2 Hunderte oder Tausende von Mal mehr Leistung als herkömmliche Alternativen. Der CS-2 bietet die Deep-Learning-Rechenressourcen, die einem Hundert GPUs entsprechen, während er die Programmier-, Management- und Bereitstellungsleichtigkeit eines einzelnen Geräts bietet.

Im Laufe der letzten Monate scheint Cerebras Systems in den Nachrichten zu sein, können Sie uns etwas über den neuen Andromeda-KI-Supercomputer erzählen?

Wir haben Andromeda im November letzten Jahres angekündigt, und es ist einer der größten und leistungsfähigsten KI-Supercomputer, der jemals gebaut wurde. Mit mehr als 1 Exaflop KI-Rechenleistung und 120 Petaflops dichter Rechenleistung verfügt Andromeda über 13,5 Millionen Kerne über 16 CS-2-Systeme und ist der einzige KI-Supercomputer, der nahezu perfekte lineare Skalierbarkeit bei großen Sprachmodell-Arbeitslasten demonstriert hat. Es ist auch sehr einfach zu bedienen.

Um zu erinnern, der größte Supercomputer der Welt – Frontier – hat 8,7 Millionen Kerne. In der Anzahl der Kerne ist Andromeda mehr als eineinhalb Mal so groß. Es führt andere Arbeiten aus, aber das gibt eine Vorstellung von der Größe: fast 100 Terabit interne Bandbreite, fast 20.000 AMD-Epyc-Kerne füttern es, und – im Gegensatz zu den Riesen-Supercomputern, die Jahre brauchen, um aufgebaut zu werden – haben wir Andromeda in drei Tagen aufgebaut und sofort danach lieferte es nahezu perfekte lineare Skalierbarkeit von KI.

Argonne National Labs war unser erster Kunde, der Andromeda nutzte, und sie wandten es auf ein Problem an, das ihren 2.000-GPU-Cluster namens Polaris brach. Das Problem bestand darin, sehr große, GPT-3XL-Generative-Modelle auszuführen, während die gesamte Covid-Genom-Sequenz in das Fenster aufgenommen wurde, so dass jede Gene im Kontext des gesamten Covid-Genoms analysiert werden konnte. Andromeda führte eine einzigartige genetische Arbeitslast mit langen Sequenzlängen (MSL von 10K) über 1, 2, 4, 8 und 16 Knoten mit nahezu perfekter linearer Skalierbarkeit aus. Lineare Skalierbarkeit ist eine der begehrtesten Eigenschaften eines großen Clusters. Andromeda lieferte 15,87-mal höhere Durchsatzrate über 16 CS-2-Systeme im Vergleich zu einem einzelnen CS-2 und eine Reduzierung der Trainingszeit zum Übereinkommen.

Könnten Sie uns über die Partnerschaft mit Jasper erzählen, die Ende November bekannt gegeben wurde, und was sie für beide Unternehmen bedeutet?

Jasper ist ein sehr interessantes Unternehmen. Es ist ein Leader im Bereich generativer KI-Inhalte für Marketing, und ihre Produkte werden von mehr als 100.000 Kunden auf der ganzen Welt verwendet, um Marketing-Texte, Anzeigen, Bücher und mehr zu schreiben. Es ist offensichtlich ein sehr spannendes und schnell wachsendes Gebiet gerade jetzt. Letztes Jahr haben wir eine Partnerschaft mit ihnen bekannt gegeben, um die Adoption und die Genauigkeit von generativer KI in Unternehmen und Consumer-Anwendungen zu beschleunigen und zu verbessern. Jasper nutzt unseren Andromeda-Supercomputer, um ihre extrem rechenintensiven Modelle in einem Bruchteil der Zeit zu trainieren. Dies wird den Zugang zu generativen KI-Modellen für die Massen erweitern.

Mit der Leistung des Cerebras-Andromeda-Supercomputers kann Jasper dramatisch die KI-Arbeit vorantreiben, einschließlich des Trainings von GPT-Netzwerken, um KI-Ausgaben an alle Ebenen von Endbenutzer-Komplexität und Granularität anzupassen. Dies verbessert die kontextuelle Genauigkeit von generativen Modellen und ermöglicht es Jasper, Inhalte über mehrere Klassen von Kunden schnell und einfach zu personalisieren.

Unser Partnerschaft ermöglicht es Jasper, die Zukunft von generativer KI zu erfinden, indem sie Dinge tun, die mit herkömmlicher Infrastruktur unmöglich oder unpraktisch sind, und die Potenziale von generativer KI zu beschleunigen, um ihre Vorteile unserem schnell wachsenden Kundenstamm auf der ganzen Welt zu bringen.

In einer jüngsten Pressemitteilung wurde bekannt gegeben, dass das National Energy Technology Laboratory und das Pittsburgh Supercomputing Center die erste jemals durchgeführte Computational Fluid Dynamics-Simulation auf dem Cerebras-Wafer-Scale-Engine durchgeführt haben. Könnten Sie uns erklären, was genau ein Wafer-Scale-Engine ist und wie es funktioniert?

Unser Wafer-Scale-Engine (WSE) ist der revolutionäre KI-Prozessor für unser Deep-Learning-Computer-System, den CS-2. Im Gegensatz zu herkömmlichen, allgemeinen Prozessoren wurde der WSE von Grund auf aufgebaut, um Deep Learning zu beschleunigen: Es hat 850.000 KI-optimierte Kerne für sparse Tensor-Operationen, massive hohe Bandbreite auf dem Chip und Interconnects, die um Größenordnungen schneller sind als ein herkömmlicher Cluster. Insgesamt bietet es die Deep-Learning-Rechenressourcen, die einem Cluster von herkömmlichen Maschinen entsprechen, in einem einzigen Gerät, das so einfach zu programmieren ist wie ein einzelner Knoten – radikal reduzierend die Programmierkomplexität, die Rechenzeit und die Zeit bis zur Lösung.

Unser zweites WSE-2, das unser CS-2-System antreibt, kann Probleme extrem schnell lösen. Schnell genug, um Echtzeit-Modelle von ingenieurtechnischen Systemen zu ermöglichen. Es ist ein seltenes Beispiel für erfolgreiche “starke Skalierbarkeit”, die die Verwendung von Parallelität zur Reduzierung der Lösezeit mit einem festen Problemumfang ist.

Und das ist, wofür das National Energy Technology Laboratory und das Pittsburgh Supercomputing Center es verwenden. Wir haben kürzlich einige sehr spannende Ergebnisse einer Computational Fluid Dynamics-Simulation (CFD) bekannt gegeben, die aus etwa 200 Millionen Zellen besteht, bei nahezu Echtzeit-Raten. Dieses Video zeigt die hochauflösende Simulation von Rayleigh-Bénard-Konvektion, die auftritt, wenn eine Flüssigkeitsschicht von unten erhitzt und von oben gekühlt wird. Diese thermisch angetriebenen Flüssigkeitsströmungen sind überall um uns herum – von windigen Tagen bis hin zu Schneestürmen, von tektonischen Plattenbewegungen bis hin zu Plasma-Bewegungen in der Sonne. Wie der Sprecher sagt, ist es nicht nur die visuelle Schönheit der Simulation, die wichtig ist: Es ist die Geschwindigkeit, mit der wir sie berechnen können. Zum ersten Mal kann das NETL mit unserem Wafer-Scale-Engine ein Raster von fast 200 Millionen Zellen in nahezu Echtzeit manipulieren.

Was für eine Art von Daten wird simuliert?

Die getestete Arbeitslast bestand aus thermisch angetriebenen Flüssigkeitsströmungen, auch bekannt als natürliche Konvektion, die eine Anwendung von Computational Fluid Dynamics (CFD) ist. Flüssigkeitsströmungen treten natürlich überall um uns herum auf – von windigen Tagen bis hin zu Schneestürmen, von tektonischen Plattenbewegungen bis hin zu Plasma-Bewegungen in der Sonne. Diese Simulation, die aus etwa 200 Millionen Zellen besteht, konzentriert sich auf ein Phänomen, das als “Rayleigh-Bénard”-Konvektion bekannt ist, das auftritt, wenn eine Flüssigkeit von unten erhitzt und von oben gekühlt wird. In der Natur kann dieses Phänomen zu schweren Wetterereignissen wie Downbursts, Microbursts und Derechos führen. Es ist auch verantwortlich für die Bewegung von Magma im Erdkern und Plasma-Bewegungen in der Sonne.

Vor kurzem, im November 2022, führte das NETL eine neue Feldgleichungs-Modellierungs-API ein, die von unserem CS-2-System angetrieben wird, die bis zu 470-mal schneller war als das, was auf dem NETL-Joule-Supercomputer möglich war. Dies bedeutet, dass es Geschwindigkeiten liefern kann, die über das hinausgehen, was auf Clustern von CPUs oder GPUs möglich ist. Mit einer einfachen Python-API, die wafer-skalige Verarbeitung für viel von der computergestützten Wissenschaft ermöglicht, liefert WFA Leistungs- und Benutzerfreundlichkeitsgewinne, die auf herkömmlichen Computern und Supercomputern nicht erreichbar sind – tatsächlich übertraf es OpenFOAM auf dem NETL-Joule-2.0-Supercomputer um mehr als zwei Größenordnungen in der Zeit bis zur Lösung.

Wegen der Einfachheit der WFA-API wurden die Ergebnisse in nur wenigen Wochen erzielt und setzen die enge Zusammenarbeit zwischen NETL, PSC und Cerebras Systems fort.

Indem wir die Geschwindigkeit von CFD (die immer eine langsame, offline-Aufgabe war) auf unserem WSE transformieren, können wir eine ganze Reihe neuer, echter Anwendungsfälle für dies und viele andere wichtige HPC-Anwendungen öffnen. Unser Ziel ist, dass unsere Kunden durch die Bereitstellung von mehr Rechenleistung mehr Experimente durchführen und bessere Wissenschaft betreiben können. Der Leiter des NETL-Labors, Brian Anderson, hat uns gesagt, dass dies die Konstruktion von einigen großen Projekten, an denen das NETL zur Minderung des Klimawandels und zur Sicherung einer sicheren Energiezukunft arbeitet, dramatisch beschleunigen und verbessern wird – Projekte wie Kohlenstoffabscheidung und blaue Wasserstoffproduktion.

Cerebras Systems übertrifft konsequent die Konkurrenz, wenn es um die Veröffentlichung von Supercomputern geht, was sind einige der Herausforderungen beim Bau von State-of-the-Art-Supercomputern?

Ironischerweise ist eine der größten Herausforderungen von Big AI nicht die AI selbst. Es ist die verteilte Rechenleistung.

Um heutige State-of-the-Art-Neuronale-Netzwerke zu trainieren, verwenden Forscher oft Hunderte bis Tausende von Grafikprozessoren (GPUs). Und es ist nicht einfach. Die Skalierung von großen Sprachmodell-Trainings über einen GPU-Cluster erfordert die Verteilung einer Arbeitslast über viele kleine Geräte, die Behandlung von Geräte-Speichergrößen und -Bandbreiten-Einschränkungen und die sorgfältige Verwaltung von Kommunikations- und Synchronisations-Overheads.

Wir haben einen ganz anderen Ansatz bei der Konstruktion unserer Supercomputer durch die Entwicklung des Cerebras-Wafer-Scale-Clusters und des Cerebras-Weight-Streaming-Ausführungsmodus verfolgt. Mit diesen Technologien adressiert Cerebras eine neue Möglichkeit, basierend auf drei Schlüsselpunkten zu skalieren:

Die Ersetzung von CPU- und GPU-Verarbeitung durch wafer-skalige Beschleuniger wie das Cerebras-CS-2-System. Diese Änderung reduziert die Anzahl der Recheneinheiten, die erforderlich sind, um eine akzeptable Rechengeschwindigkeit zu erreichen.

Um die Herausforderung der Modellgröße zu meistern, verwenden wir eine Systemarchitektur, die die Rechenleistung von der Modellspeicherung trennt. Ein Rechendienst, der auf einem Cluster von CS-2-Systemen (mit ausreichender Rechenbandbreite) basiert, ist eng mit einem Speicherdienst (mit großer Speicherkapazität) verbunden, der Teile des Modells an den Rechencluster auf Abruf bereitstellt. Wie üblich dient ein Daten-Dienst Daten-Batchs an den Rechendienst, wenn erforderlich.

Ein innovatives Modell für die Planung und Koordination von Trainingsarbeiten über den CS-2-Cluster, das Daten-Parallelismus, Schicht-für-Schicht-Training mit sparse Gewichten, die auf Abruf gestreamt werden, und die Aufrechterhaltung von Aktivierungen im Rechendienst verwendet.

Es gibt Befürchtungen über das Ende von Moores Gesetz seit fast einem Jahrzehnt, wie viele Jahre kann die Branche noch ausquetschen und welche Arten von Innovationen sind erforderlich?

Ich denke, die Frage, mit der wir alle ringen, ist, ob Moores Gesetz – wie von Moore geschrieben – tot ist. Es dauert nicht mehr zwei Jahre, um mehr Transistoren zu bekommen. Es dauert jetzt vier oder fünf Jahre. Und diese Transistoren kommen nicht zum gleichen Preis – sie kommen zu viel höheren Preisen. Die Frage wird also, ob wir immer noch die gleichen Vorteile haben, wenn wir von sieben auf fünf auf drei Nanometer umsteigen. Die Vorteile sind kleiner und sie kosten mehr, und so werden die Lösungen komplizierter als nur der Chip.

Jack Dongarra, ein führender Computer-Architekt, hat kürzlich einen Vortrag gehalten und gesagt: “Wir sind viel besser darin geworden, FLOPs und I/O zu machen.” Das ist wirklich wahr. Unsere Fähigkeit, Daten von einem Chip zu einem anderen zu bewegen, hinkt unserer Fähigkeit, die Leistung auf einem Chip zu erhöhen, um ein großes Maß. Bei Cerebras waren wir froh, als er das sagte, weil es unsere Entscheidung bestätigt, einen größeren Chip zu bauen und weniger Dinge von einem Chip zu einem anderen zu bewegen. Es gibt auch eine Richtlinie für zukünftige Möglichkeiten, Systeme mit Chips zu bauen, die besser funktionieren. Es gibt Arbeit zu leisten, nicht nur, um mehr FLOPs zu machen, sondern auch, um Techniken zu entwickeln, um sie und die Daten von einem Chip zu einem anderen zu bewegen – sogar von einem sehr großen Chip zu einem sehr großen Chip.

Gibt es noch etwas, das Sie über Cerebras Systems teilen möchten?

Für besser oder schlechter werden die Leute Cerebras oft in diese Kategorie von “den wirklich großen Chip-Leuten” einordnen. Wir konnten überzeugende Lösungen für sehr große Neuronale Netze liefern, indem wir die Notwendigkeit von schmerzhaften verteilten Rechnungen eliminierten. Ich denke, das ist enorm interessant und liegt im Herzen dessen, warum unsere Kunden uns lieben. Das interessante Gebiet für 2023 wird sein, wie man große Rechenleistung mit höherer Genauigkeit und weniger FLOPs erreichen kann.

Unsere Arbeit an Sparsity bietet einen extrem interessanten Ansatz. Wir machen keine Arbeit, die uns nicht zum Ziel bringt, und Multiplikation mit Null ist eine schlechte Idee. Wir werden bald einen sehr interessanten Artikel über Sparsity veröffentlichen, und ich denke, es wird mehr Bemühungen geben, um zu diesen effizienten Punkten zu gelangen, und wie wir sie mit weniger Leistung erreichen. Und nicht nur mit weniger Leistung und Training; wie minimieren wir die Kosten und die Leistung, die bei der Inferenz verwendet wird? Ich denke, Sparsity hilft auf beiden Seiten.

Vielen Dank für diese ausführlichen Antworten, Leser, die mehr erfahren möchten, sollten Cerebras Systems besuchen.