Jay Dawani ist Mitbegründer und CEO von Lemurian Labs – Interview-Serie

Jay Dawani ist Mitbegründer und CEO von Lemurian Labs. Lemurian Labs ist auf eine Mission, erschwingliche, zugängliche und effiziente AI-Computer zu liefern, getrieben von der Überzeugung, dass AI nicht ein Luxus, sondern ein für jeden zugängliches Werkzeug sein sollte. Das Gründungsteam bei Lemurian Labs kombiniert Expertenwissen in AI, Compilern, numerischen Algorithmen und Computerarchitektur, vereint durch ein einziges Ziel: die beschleunigte Rechnung neu zu erfinden.

Können Sie uns durch Ihre Vergangenheit und was Sie in die AI-Welt gebracht hat?

Absolut. Ich habe seit meinem 12. Lebensjahr programmiert und meine eigenen Spiele und ähnliches gebaut, aber ich kam erst mit 15 Jahren in die AI-Welt, weil ein Freund meines Vaters, der an Computern interessiert war, meine Neugier weckte und mir Bücher wie Von Neumanns “Der Computer und das Gehirn”, Minskys “Perceptrons”, Russel und Norvigs “AI – Ein moderner Ansatz” gab. Diese Bücher haben mein Denken stark beeinflusst und es schien fast offensichtlich, dass AI transformierend sein würde und ich einfach Teil dieses Feldes sein musste.

Als es Zeit für die Universität wurde, wollte ich wirklich AI studieren, aber ich fand keine Universitäten, die AI anboten, also entschied ich mich, angewandte Mathematik zu studieren. Einige Zeit später, als ich an der Universität war, hörte ich von den Ergebnissen von AlexNet auf ImageNet, was wirklich aufregend war. Zu diesem Zeitpunkt hatte ich ein “jetzt oder nie”-Erlebnis und begann, alle möglichen Papiere und Bücher über neuronale Netze zu lesen und suchte nach den führenden Köpfen in diesem Feld, um von ihnen zu lernen, weil man nicht oft die Gelegenheit hat, bei der Geburt einer neuen Industrie dabei zu sein und von ihren Pionieren zu lernen.

Sehr schnell erkannte ich, dass ich keine Forschung mag, aber ich genieße es, Probleme zu lösen und AI-Produkte zu bauen. Das führte mich zu autonomen Autos und Robotern, AI für Materialentdeckung, generativen Modellen für Multi-Physik-Simulationen, AI-basierten Simulatoren für die Ausbildung von professionellen Rennfahrern und die Hilfe bei der Auto-Konfiguration, Raum-Robotern, algorithmischem Trading und vielem mehr.

Jetzt, nach all dem, versuche ich, die Kosten für AI-Training und -Einsatz zu reduzieren, weil das der größte Hürde sein wird, die wir auf unserem Weg zur Ermöglichung einer Welt, in der jeder Mensch und jedes Unternehmen Zugang zu AI haben und von ihr profitieren kann, überwinden müssen.

Viele Unternehmen, die in der beschleunigten Rechnung tätig sind, haben Gründer, die Karrieren in Halbleitern und Infrastruktur aufgebaut haben. Wie denken Sie, dass Ihre Vergangenheit in AI und Mathematik Ihre Fähigkeit beeinflusst, den Markt zu verstehen und effektiv zu konkurrieren?

Ich denke, dass das Nicht-Kommen aus der Industrie mir den Vorteil gibt, ein Außenseiter zu sein. Ich habe oft festgestellt, dass das Nicht-Wissen von Industrienormen oder konventionellem Wissen mir die Freiheit gibt, freier zu erkunden und tiefer zu gehen als die meisten anderen, weil ich nicht von Vorurteilen belastet bin.

Ich habe die Freiheit, “dummere” Fragen zu stellen und Annahmen zu überprüfen, auf eine Weise, die die meisten anderen nicht tun, weil viele Dinge als akzeptierte Wahrheiten gelten. In den letzten zwei Jahren hatte ich mehrere Gespräche mit Leuten in der Industrie, die sehr dogmatisch über etwas sind, aber mir nicht erklären können, woher diese Idee kommt, was ich sehr verwirrend finde. Ich möchte verstehen, warum bestimmte Entscheidungen getroffen wurden und welche Annahmen oder Bedingungen zu diesem Zeitpunkt bestanden und ob sie noch gültig sind.

Mit meiner AI-Vergangenheit neige ich dazu, eine softwareorientierte Sicht zu haben, indem ich mich auf die aktuellen Workloads konzentriere und alle möglichen Wege, wie sie sich über die Zeit ändern könnten, und das gesamte ML-Pipeline für Training und Inferenz modelliere, um die Engpässe zu verstehen, was mir zeigt, wo die Chancen liegen, Wert zu liefern. Und weil ich eine mathematische Vergangenheit habe, möchte ich Dinge modellieren, um so nah wie möglich an der Wahrheit zu kommen, und mich von diesem Modell leiten lassen. Zum Beispiel haben wir Modelle entwickelt, um die Systemleistung für die Gesamtkosten zu berechnen und können den Nutzen messen, den wir den Kunden mit Software und/oder Hardware bringen können, und besser unsere Einschränkungen und die verschiedenen Knöpfe verstehen, die uns zur Verfügung stehen, und Dutzende anderer Modelle für verschiedene Dinge. Wir sind sehr datengetrieben und verwenden die Erkenntnisse aus diesen Modellen, um unsere Bemühungen und Kompromisse zu leiten.

Es scheint, als ob der Fortschritt in der AI hauptsächlich durch Skalierung erfolgt ist, was exponentiell mehr Rechenleistung und Energie erfordert. Es scheint, als ob wir in einem Wettrennen sind, bei dem jedes Unternehmen versucht, das größte Modell zu bauen, und es scheint, als ob es kein Ende gibt. Glauben Sie, dass es einen Weg aus diesem Wettrennen gibt?

Es gibt immer Wege. Skalierung hat sich als extrem nützlich erwiesen, und ich denke nicht, dass wir das Ende noch gesehen haben. Wir werden sehr bald Modelle sehen, die mit einer Kosten von mindestens einer Milliarde Dollar trainiert werden. Wenn Sie ein Leader in der generativen AI sein und bleeding-edge-Grundmodelle erstellen wollen, müssen Sie mindestens einige Milliarden Dollar pro Jahr für Rechenleistung ausgeben. Jetzt gibt es natürliche Grenzen für die Skalierung, wie zum Beispiel die Fähigkeit, ein großes genug Dataset für ein Modell dieser Größe zu erstellen, Zugang zu Menschen mit dem richtigen Know-how zu erhalten und Zugang zu genug Rechenleistung zu erhalten.

Die weitere Skalierung der Modellgröße ist unvermeidlich, aber wir können nicht die gesamte Erdoberfläche in einen planetengroßen Supercomputer verwandeln, um LLMs zu trainieren und zu bedienen, aus offensichtlichen Gründen. Um dies unter Kontrolle zu bringen, haben wir mehrere Knöpfe, mit denen wir spielen können: bessere Datensätze, neue Modellarchitekturen, neue Trainingsmethoden, bessere Compiler, algorithmische Verbesserungen und Ausbeutung, bessere Computerarchitekturen und so weiter. Wenn wir all das tun, gibt es etwa drei Größenordnungen der Verbesserung, die zu finden sind. Das ist der beste Weg aus diesem Wettrennen.

Sie sind ein Befürworter des Denkens in erster Linie, wie prägt dies Ihre Einstellung, wie Sie Lemurian Labs führen?

Wir verwenden definitiv viel Denken in erster Linie bei Lemurian. Ich habe immer gefunden, dass konventionelles Wissen irreführend ist, weil dieses Wissen zu einem bestimmten Zeitpunkt gebildet wurde, als bestimmte Annahmen galten, aber Dinge immer ändern, und man muss Annahmen oft überprüfen, besonders in einer so schnelllebigen Welt.

Ich stelle mir oft Fragen wie “das scheint eine wirklich gute Idee zu sein, aber warum könnte dies nicht funktionieren” oder “was muss wahr sein, damit dies funktioniert” oder “was wissen wir, das absolute Wahrheiten sind und was sind die Annahmen, die wir treffen und warum?” oder “warum glauben wir, dass dieser bestimmte Ansatz der beste Weg ist, dieses Problem zu lösen”. Das Ziel ist es, Ideen so schnell und billig wie möglich zu widerlegen und zu töten. Wir möchten versuchen, die Anzahl der Dinge, die wir zu jedem gegebenen Zeitpunkt ausprobieren, zu maximieren. Es geht darum, besessen von dem Problem zu sein, das gelöst werden muss, und nicht zu sehr von der Technologie überzeugt zu sein. Viele Leute konzentrieren sich zu sehr auf die Technologie und verstehen deshalb die Probleme der Kunden nicht und verpassen die Übergänge in der Industrie, die ihre Herangehensweise ungültig machen könnten, was zu ihrer Unfähigkeit führt, sich an den neuen Zustand der Welt anzupassen.

Aber das Denken in erster Linie ist nicht besonders nützlich, wenn man es nicht mit Backcasting paart, was bedeutet, sich eine ideale oder gewünschte zukünftige Ergebnis vorzustellen und rückwärts zu arbeiten, um die verschiedenen Schritte oder Aktionen zu identifizieren, die erforderlich sind, um es zu erreichen. Dies stellt sicher, dass wir auf eine sinnvolle Lösung konvergieren, die nicht nur innovativ, sondern auch in der Realität verwurzelt ist. Es macht keinen Sinn, Zeit damit zu verbringen, die perfekte Lösung zu entwickeln, nur um festzustellen, dass sie nicht realisierbar ist, weil es aufgrund von realen Weltbeschränkungen wie Ressourcen, Zeit, Regulierung oder weil man es den Kunden zu schwer macht, sie zu übernehmen.

Manchmal finden wir uns in einer Situation wieder, in der wir eine Entscheidung treffen müssen, aber keine Daten haben, und in diesem Szenario verwenden wir minimale testbare Hypothesen, die uns ein Signal geben, ob es Sinn macht, etwas zu verfolgen, mit dem geringsten Energieaufwand.

All dies kombiniert gibt uns Agilität, schnelle Iterationszyklen, um Risiken schnell zu minimieren, und hat uns geholfen, Strategien mit hoher Zuversicht anzupassen und viel Fortschritt auf sehr harte Probleme in sehr kurzer Zeit zu machen.

Ursprünglich konzentrierten Sie sich auf Edge-AI, was hat Sie dazu gebracht, sich auf Cloud-Computing zu konzentrieren?

Wir begannen mit Edge-AI, weil ich zu diesem Zeitpunkt sehr auf die Lösung eines bestimmten Problems konzentriert war, das ich bei dem Versuch, eine Welt der allgemeinen autonomen Robotik zu ermöglichen, erlebt hatte. Autonome Robotik hält das Versprechen, der größte Plattformwechsel in unserer kollektiven Geschichte zu sein, und es schien, als ob wir alles hatten, um ein Grundmodell für Robotik zu bauen, aber uns fehlte der ideale Inferenz-Chip mit der richtigen Balance aus Durchsatz, Latenz, Energieeffizienz und Programmierbarkeit, um das genannte Grundmodell darauf zu betreiben.

Ich dachte nicht an das Rechenzentrum, weil es genug Unternehmen gab, die sich darauf konzentrierten, und ich erwartete, dass sie es lösen würden. Wir entwarfen eine sehr leistungsstarke Architektur für diesen Anwendungsbereich und waren bereit, sie zu tapezieren, und dann wurde es offensichtlich, dass die Welt sich geändert hatte und das Problem tatsächlich im Rechenzentrum lag. Die Rate, mit der LLMs skalierten und Rechenleistung verbrauchten, übertraf den Fortschritt in der Rechenleistung bei weitem, und wenn man die Übernahme berücksichtigt, beginnt es, ein beunruhigendes Bild zu malen.

Es fühlte sich an, als ob dies der Bereich war, auf den wir unsere Bemühungen konzentrieren sollten, um die Energiekosten von AI in Rechenzentren so weit wie möglich zu senken, ohne Einschränkungen für die Entwicklung von AI aufzuerlegen. Und so begannen wir, dieses Problem zu lösen.

Können Sie die Genesis-Geschichte von Lemurian Labs teilen?

Die Geschichte beginnt im Frühjahr 2018. Ich arbeitete an der Ausbildung eines Grundmodells für allgemeine Autonomie und an einem Modell für generative Multi-Physik-Simulation, um den Agenten zu trainieren und ihn für verschiedene Anwendungen zu feinabzustimmen, und einigen anderen Dingen, um in multi-agentische Umgebungen zu skalieren. Aber sehr schnell erschöpfte ich die Rechenleistung, die ich hatte, und ich schätzte, dass ich mehr als 20.000 V100-GPUs benötigen würde. Ich versuchte, genug Geld aufzubringen, um Zugang zu dieser Rechenleistung zu erhalten, aber der Markt war noch nicht bereit für diese Art von Skalierung. Es brachte mich jedoch dazu, über die Einsatzseite nachzudenken, und ich setzte mich hin, um zu berechnen, wie viel Leistung ich für die Bedienung dieses Modells in den Zielumgebungen benötigen würde, und ich erkannte, dass es keinen Chip gab, der mich dort hinbringen konnte.

Ein paar Jahre später, 2020, traf ich mich mit Vassil – meinem späteren Mitgründer – um mich zu unterhalten, und ich teilte die Herausforderungen, die ich bei dem Versuch, ein Grundmodell für Autonomie zu bauen, erlebt hatte, und er schlug vor, einen Inferenz-Chip zu bauen, der das Grundmodell ausführen konnte, und er teilte, dass er viel über Zahlenformate und bessere Darstellungen nachgedacht hatte, die nicht nur dabei helfen würden, neuronale Netze bei geringerer Bitbreite genau zu halten, sondern auch leistungsstärkere Architekturen zu schaffen.

Es war eine faszinierende Idee, aber sie lag weit außerhalb meines Fachgebiets. Aber sie ließ mich nicht los, was mich dazu trieb, Monate und Monate damit zu verbringen, die Feinheiten der Computerarchitektur, der Befehlssätze, der Laufzeiten, der Compiler und der Programmiermodelle zu lernen. Schließlich begann es, Sinn zu machen, ein Halbleiterunternehmen aufzubauen, und ich hatte eine These über das Problem und wie man es angehen kann. Und dann, gegen Ende des Jahres, gründeten wir Lemurian.

Sie haben zuvor über die Notwendigkeit gesprochen, die Software zuerst anzugehen, wenn man Hardware baut, können Sie Ihre Ansicht erläutern, warum das Hardware-Problem in erster Linie ein Software-Problem ist?

Was viele Leute nicht realisieren, ist, dass die Software-Seite von Halbleitern viel schwieriger ist als die Hardware selbst. Das Bau eines nützlichen Computer-Designs für Kunden, die es nutzen und davon profitieren können, ist ein Full-Stack-Problem, und wenn Sie dieses Verständnis und diese Vorbereitung nicht haben, wenn Sie beginnen, werden Sie mit einer schönen Architektur enden, die sehr leistungsstark und effizient ist, aber völlig unbrauchbar für Entwickler, was eigentlich wichtig ist.

Es gibt auch andere Vorteile, wenn man eine softwareorientierte Herangehensweise verfolgt, wie zum Beispiel einen schnelleren Zeitpunkt für den Markteintritt. Dies ist entscheidend in der heutigen schnelllebigen Welt, in der es wichtig ist, nicht zu sehr auf eine Architektur oder ein Feature zu setzen, da dies bedeuten kann, dass man den Markt vollständig verpasst.

Die Nicht-Verfolgung einer softwareorientierten Herangehensweise führt in der Regel dazu, dass man die wichtigen Dinge, die für die Produktübernahme auf dem Markt erforderlich sind, nicht abgesichert hat, nicht auf Änderungen im Markt reagieren kann, wenn Workloads auf unerwartete Weise evolvieren, und unterausgelastete Hardware hat. All dies sind nicht gute Dinge. Das ist ein großer Grund, warum wir uns sehr um eine softwareorientierte Herangehensweise bemühen und warum unsere Meinung ist, dass man kein Halbleiterunternehmen sein kann, ohne tatsächlich ein Software-Unternehmen zu sein.

Können Sie Ihre unmittelbaren Software-Stack-Ziele besprechen?

Als wir unsere Architektur entwarfen und an unsere zukünftige Roadmap dachten und nach den Chancen suchten, mehr Leistung und Energieeffizienz zu bringen, wurde es sehr klar, dass wir viel mehr Heterogenität sehen würden, was viele Probleme auf der Software-Seite schaffen würde. Und wir müssen nicht nur in der Lage sein, heterogene Architekturen produktiv zu programmieren, wir müssen auch damit umgehen, sie im Rechenzentrums-Maßstab zu handhaben, was eine Herausforderung ist, derer wir noch nicht begegnet sind.

Dies beunruhigte uns, weil wir das letzte Mal, als wir einen großen Übergang hatten, als die Industrie von Single-Core- zu Multi-Core-Architekturen wechselte, und zu diesem Zeitpunkt dauerte es 10 Jahre, bis die Software funktionierte und die Leute sie verwendeten. Wir können es uns nicht leisten, 10 Jahre zu warten, um die Software für Heterogenität im großen Maßstab zu lösen, es muss jetzt gelöst werden. Und so begannen wir, das Problem zu verstehen und was existieren muss, damit dieser Software-Stack existieren kann.

Wir arbeiten derzeit mit vielen führenden Halbleiterunternehmen und Hyperscalern/Cloud-Dienstleistern zusammen und werden unseren Software-Stack in den nächsten 12 Monaten veröffentlichen. Es ist ein einheitliches Programmiermodell mit einem Compiler und einer Laufzeit, die in der Lage sind, jede Art von Architektur zu zielen, und die Arbeit über Cluster aus verschiedenen Arten von Hardware zu orchestrieren, und es ist in der Lage, von einem einzelnen Knoten bis zu einem Tausend-Knoten-Cluster für die höchstmögliche Leistung zu skalen.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Lemurian Labs besuchen Lemurian Labs.