Jay Dawani ist Mitbegründer und CEO von Lemurian Labs – Interview Series

Jay Dawani ist Mitbegründer und CEO von Lemurian Labs. Lemurische Labore ist auf der Mission, erschwingliche, zugängliche und effiziente KI-Computer bereitzustellen, angetrieben von der Überzeugung, dass KI kein Luxus, sondern ein für jedermann zugängliches Werkzeug sein sollte. Das Gründungsteam von Lemurian Labs vereint Fachwissen in den Bereichen KI, Compiler, numerische Algorithmen und Computerarchitektur, vereint durch ein einziges Ziel: beschleunigtes Rechnen neu zu denken.

Können Sie uns Ihren Hintergrund und Ihre Persönlichkeit erläutern?Wie sind Sie überhaupt zur KI gekommen?

Absolut. Ich habe seit meinem 12. Lebensjahr programmiert und meine eigenen Spiele usw. entwickelt, aber mit 15 kam ich tatsächlich zur KI, weil ein Freund meines Vaters sich für Computer interessierte. Er weckte meine Neugier und gab mir Bücher zum Lesen wie Von Neumanns „Der Computer und das Gehirn“, Minskys „Perceptrons“ und Russel und Norvigs „AI A Modern Approach“. Diese Bücher haben mein Denken stark beeinflusst und es war fast offensichtlich, dass KI einen Wandel bewirken würde und ich einfach Teil dieses Bereichs sein musste. 

Als es an der Zeit war, an die Universität zu gehen, wollte ich unbedingt KI studieren, aber ich fand keine Universitäten, die das anboten, also beschloss ich, stattdessen angewandte Mathematik als Hauptfach zu studieren, und kurz nachdem ich an der Universität ankam, hörte ich auf ImageNet von den Ergebnissen von AlexNet war wirklich spannend. Zu dieser Zeit hatte ich diesen „Jetzt oder nie“-Moment im Kopf und habe mich mit aller Kraft daran gemacht, jeden Aufsatz und jedes Buch über neuronale Netze zu lesen, das ich in die Finger bekommen konnte, und habe alle führenden Köpfe auf diesem Gebiet aufgesucht, um von ihnen zu lernen, denn wie Oft ist man bei der Geburt einer neuen Branche dabei und lernt von ihren Pionieren. 

Sehr schnell wurde mir klar, dass mir Forschung keinen Spaß macht, aber es macht mir Spaß, Probleme zu lösen und KI-fähige Produkte zu entwickeln. Das führte mich dazu, an autonomen Autos und Robotern, KI für die Materialentdeckung, generativen Modellen für Multi-Physik-Simulationen, KI-basierten Simulatoren für die Ausbildung professioneller Rennfahrer und der Unterstützung bei der Fahrzeugeinrichtung, Weltraumrobotern, algorithmischem Handel und vielem mehr zu arbeiten. 

Nachdem ich das alles getan habe, versuche ich, die Kosten für KI-Schulungen und -Einsätze in Schach zu halten, denn das wird die größte Hürde auf unserem Weg sein, eine Welt zu schaffen, in der jeder Mensch und jedes Unternehmen Zugang zu KI haben und von ihr profitieren kann auf die wirtschaftlichste Art und Weise, die möglich ist.

Viele Unternehmen, die im Bereich Accelerated Computing tätig sind, haben Gründer, die Karriere in den Bereichen Halbleiter und Infrastruktur aufgebaut haben. Wie wirkt sich Ihrer Meinung nach Ihre bisherige Erfahrung in KI und Mathematik auf Ihre Fähigkeit aus, den Markt zu verstehen und effektiv zu konkurrieren?

Ich glaube tatsächlich, dass ich, da ich nicht aus der Branche komme, den Vorteil habe, einen Außenseitervorteil zu haben. Ich habe oft festgestellt, dass das Fehlen von Kenntnissen über Industrienormen oder konventionelle Weisheiten einem die Freiheit gibt, freier zu forschen und tiefer zu gehen, als es die meisten anderen tun würden, weil man nicht von Vorurteilen belastet wird. 

Ich habe die Freiheit, „dümmere“ Fragen zu stellen und Annahmen auf eine Weise zu testen, die die meisten anderen nicht tun würden, weil viele Dinge akzeptierte Wahrheiten sind. In den letzten zwei Jahren habe ich mehrere Gespräche mit Leuten aus der Branche geführt, in denen sie zu einer Sache sehr dogmatisch waren, mir aber nicht sagen konnten, woher die Idee stammt, was ich sehr rätselhaft finde. Ich möchte verstehen, warum bestimmte Entscheidungen getroffen wurden, welche Annahmen oder Bedingungen zu diesem Zeitpunkt galten und ob sie immer noch gelten. 

Da ich über einen KI-Hintergrund verfüge, neige ich dazu, eine Software-Perspektive einzunehmen, indem ich mir anschaue, wo die Arbeitslasten heute sind, und hier sind alle möglichen Arten, wie sie sich im Laufe der Zeit ändern können, und die gesamte ML-Pipeline für Training und Inferenz modelliere, um die Engpässe zu verstehen, was aufschlussreich ist Ich weiß, wo die Möglichkeiten zur Wertschöpfung liegen. Und weil ich einen mathematischen Hintergrund habe, modelliere ich gerne Dinge, um der Wahrheit so nahe wie möglich zu kommen, und lasse mich davon leiten. Beispielsweise haben wir Modelle entwickelt, um die Systemleistung für die Gesamtbetriebskosten zu berechnen, und wir können den Nutzen messen, den wir unseren Kunden mit Software und/oder Hardware bieten können, und um unsere Einschränkungen und die verschiedenen Knöpfe, die uns zur Verfügung stehen, und Dutzende davon besser zu verstehen andere Modelle für verschiedene Dinge. Wir sind sehr datenorientiert und nutzen die Erkenntnisse aus diesen Modellen als Leitfaden für unsere Bemühungen und Kompromisse. 

Es scheint, dass Fortschritte in der KI in erster Linie auf der Skalierung beruhen, die exponentiell mehr Rechenleistung und Energie erfordert. Es scheint, als ob wir uns in einem Wettrüsten befinden, bei dem jedes Unternehmen versucht, das größte Modell zu bauen, und ein Ende scheint nicht in Sicht zu sein. Glauben Sie, dass es einen Ausweg gibt?

Es gibt immer Wege. Die Skalierung hat sich als äußerst nützlich erwiesen, und ich glaube, wir haben noch nicht das Ende gesehen. Wir werden sehr bald sehen, wie Modelle trainiert werden, was mindestens eine Milliarde Dollar kosten wird. Wenn Sie führend in der generativen KI sein und hochmoderne Grundmodelle erstellen möchten, müssen Sie mindestens ein paar Milliarden pro Jahr für die Datenverarbeitung ausgeben. Nun gibt es natürliche Grenzen für die Skalierung, z. B. die Möglichkeit, einen ausreichend großen Datensatz für ein Modell dieser Größe zu erstellen, Zugang zu Personen mit dem richtigen Know-how zu erhalten und Zugang zu ausreichend Rechenleistung zu erhalten. 

Eine weitere Skalierung der Modellgröße ist unvermeidlich, aber wir können aus offensichtlichen Gründen auch nicht die gesamte Erdoberfläche in einen Supercomputer in Planetengröße verwandeln, um LLMs zu trainieren und zu bedienen. Um dies in den Griff zu bekommen, haben wir mehrere Knöpfe, mit denen wir spielen können: bessere Datensätze, neue Modellarchitekturen, neue Trainingsmethoden, bessere Compiler, algorithmische Verbesserungen und Ausnutzungen, bessere Computerarchitekturen und so weiter. Wenn wir das alles tun, können Verbesserungen in etwa drei Größenordnungen erzielt werden. Das ist der beste Ausweg. 

Sie glauben an das Prinzip der Grundprinzipien. Wie prägt dies Ihre Denkweise für die Art und Weise, wie Sie Lemurian Labs leiten?

Bei Lemurian orientieren wir uns auf jeden Fall am Prinzip der ersten Prinzipien. Ich habe herkömmliche Weisheiten immer als irreführend empfunden, weil dieses Wissen zu einem bestimmten Zeitpunkt entstanden ist, als bestimmte Annahmen zutrafen, aber die Dinge ändern sich immer und man muss Annahmen oft erneut überprüfen, insbesondere wenn man in einer so schnelllebigen Welt lebt. 

Ich stelle mir oft Fragen wie „Das scheint eine wirklich gute Idee zu sein, aber warum funktioniert das vielleicht nicht?“ oder „Was muss wahr sein, damit das funktioniert“ oder „Was wissen wir, dass das absolute Wahrheiten sind?“ Welche Annahmen treffen wir und warum?“ oder „Warum glauben wir, dass dieser spezielle Ansatz der beste Weg ist, dieses Problem zu lösen“. Ziel ist es, Ideen so schnell und kostengünstig wie möglich zu entkräften und zu vernichten. Wir möchten versuchen, die Anzahl der Dinge, die wir zu einem bestimmten Zeitpunkt ausprobieren, zu maximieren. Es geht darum, von dem Problem besessen zu sein, das gelöst werden muss, und nicht zu sehr davon überzeugt zu sein, welche Technologie die beste ist. Zu viele Leute neigen dazu, sich zu sehr auf die Technologie zu konzentrieren, und am Ende missverstehen sie die Probleme der Kunden und verpassen die Veränderungen, die in der Branche stattfinden, was ihren Ansatz ungültig machen könnte, was dazu führen könnte, dass sie nicht in der Lage sind, sich an den neuen Zustand der Welt anzupassen.

Aber das Denken nach den ersten Prinzipien allein ist nicht besonders nützlich. Wir neigen dazu, es mit Backcasting zu kombinieren, was im Grunde bedeutet, dass wir uns ein ideales oder gewünschtes zukünftiges Ergebnis vorstellen und rückwärts arbeiten, um die verschiedenen Schritte oder Aktionen zu identifizieren, die zu seiner Verwirklichung erforderlich sind. So stellen wir sicher, dass wir zu einer sinnvollen Lösung gelangen, die nicht nur innovativ, sondern auch realitätsnah ist. Es macht keinen Sinn, Zeit damit zu verschwenden, die perfekte Lösung zu finden, nur um dann zu erkennen, dass sie aufgrund einer Reihe realer Einschränkungen wie Ressourcen, Zeit, Vorschriften nicht realisierbar ist oder eine scheinbar perfekte Lösung entwickelt, es aber später herausfindet Sie haben es den Kunden zu schwer gemacht, es anzunehmen.

Hin und wieder befinden wir uns in einer Situation, in der wir eine Entscheidung treffen müssen, aber keine Daten haben, und in diesem Szenario verwenden wir minimal überprüfbare Hypothesen, die uns ein Signal dafür geben, ob es sinnvoll ist, etwas mit dem geringsten Aufwand zu verfolgen oder nicht des Energieaufwands. 

All dies zusammengenommen sorgt für Agilität und schnelle Iterationszyklen, um das Risiko von Elementen schnell zu verringern, und hat uns dabei geholfen, Strategien mit großer Zuversicht anzupassen und in sehr kurzer Zeit große Fortschritte bei sehr schwierigen Problemen zu erzielen. 

Zunächst waren Sie im Fokus Rand AI, was hat Sie dazu bewogen, sich neu zu konzentrieren und auf Cloud Computing umzusteigen?

Wir begannen mit Edge-KI, weil ich mich damals sehr darauf konzentrierte, ein ganz besonderes Problem zu lösen, mit dem ich konfrontiert war, als ich versuchte, eine Welt der universellen autonomen Robotik einzuführen. Die autonome Robotik verspricht, der größte Plattformwechsel in unserer gemeinsamen Geschichte zu werden, und es schien, als hätten wir alles, was wir brauchten, um ein Grundmodell für die Robotik zu erstellen, aber uns fehlte der ideale Inferenzchip mit der richtigen Balance aus Durchsatz, Latenz und Energieeffizienz und Programmierbarkeit, um das Basismodell darauf auszuführen.

Ich habe zu diesem Zeitpunkt nicht an das Rechenzentrum gedacht, weil sich mehr als genug Unternehmen darauf konzentrierten und ich erwartete, dass sie es herausfinden würden. Wir haben eine wirklich leistungsstarke Architektur für diesen Anwendungsbereich entworfen und bereiteten uns gerade darauf vor, sie auf Band umzusetzen, und dann wurde völlig klar, dass sich die Welt verändert hatte und das Problem wirklich im Rechenzentrum lag. Die Geschwindigkeit, mit der LLMs skalieren und Rechenleistung verbrauchen, übersteigt bei weitem die Geschwindigkeit des Fortschritts in der Datenverarbeitung, und wenn man die Einführung mit einbezieht, ergibt sich ein besorgniserregendes Bild. 

Wir fühlten uns so, als ob wir unsere Anstrengungen darauf konzentrieren sollten, die Energiekosten der KI in Rechenzentren so weit wie möglich zu senken, ohne Beschränkungen dafür aufzuerlegen, wo und wie sich die KI entwickeln sollte. Und so machten wir uns an die Lösung dieses Problems. 

Können Sie die Entstehungsgeschichte der Mitbegründer von Lemurian Labs erzählen?

Die Geschichte beginnt Anfang 2018. Ich arbeitete am Training eines Basismodells für allgemeine Autonomie zusammen mit einem Modell für generative Multiphysik-Simulation, um den Agenten zu trainieren und ihn für verschiedene Anwendungen zu optimieren, und an einigen anderen Dingen, die die Skalierung in Multi ermöglichen -Agent-Umgebungen. Aber sehr schnell war die Menge an Rechenleistung, die ich hatte, erschöpft und ich schätzte, dass ich mehr als 20,000 V100-GPUs brauchte. Ich habe versucht, genug Geld aufzubringen, um Zugriff auf die Rechenleistung zu erhalten, aber der Markt war für diese Größenordnung noch nicht bereit. Es brachte mich jedoch dazu, über die Bereitstellungsseite nachzudenken und berechnete, wie viel Leistung ich für die Bereitstellung dieses Modells in den Zielumgebungen benötigen würde, und mir wurde klar, dass es keinen Chip gab, der mich dorthin bringen könnte. 

Ein paar Jahre später, im Jahr 2020, traf ich mich mit Vassil – meinem späteren Mitbegründer –, um mich auszutauschen, und ich erzählte ihm von den Herausforderungen, denen ich beim Aufbau eines Fundamentmodells für Autonomie gegenüberstand, und er schlug vor, einen Inferenzchip zu bauen, der das Fundament betreiben könnte Modell, und er teilte mit, dass er viel über Zahlenformate nachgedacht habe und bessere Darstellungen nicht nur dazu beitragen würden, dass neuronale Netze auch bei geringeren Bitbreiten ihre Genauigkeit behalten, sondern auch leistungsfähigere Architekturen schaffen würden. 

Es war eine faszinierende Idee, die aber weit über meinen Horizont hinausging. Aber es ließ mich nicht los, was dazu führte, dass ich Monate damit verbrachte, die Feinheiten der Computerarchitektur, Befehlssätze, Laufzeiten, Compiler und Programmiermodelle zu erlernen. Irgendwann machte der Aufbau eines Halbleiterunternehmens Sinn und ich hatte eine These darüber aufgestellt, was das Problem war und wie man es lösen sollte. Und dann, gegen Ende des Jahres, begannen wir mit Lemurian. 

Sie haben bereits darüber gesprochen, dass beim Bau von Hardware zuerst die Software angegangen werden muss. Könnten Sie uns näher erläutern, warum das Hardwareproblem in erster Linie ein Softwareproblem ist?

Was viele Menschen nicht wissen, ist, dass die Softwareseite von Halbleitern viel schwieriger ist als die Hardware selbst. Der Aufbau einer nützlichen Computerarchitektur, die Kunden nutzen und von der sie profitieren können, ist ein Full-Stack-Problem, und wenn Sie nicht über dieses Verständnis und diese Vorbereitung verfügen, erhalten Sie am Ende eine schön aussehende Architektur, die sehr leistungsfähig und effizient ist. aber für Entwickler völlig unbrauchbar, was eigentlich wichtig ist. 

Natürlich bietet der Software-First-Ansatz auch noch andere Vorteile, beispielsweise eine schnellere Markteinführung. Dies ist in der heutigen schnelllebigen Welt von entscheidender Bedeutung, in der ein zu großer Optimismus hinsichtlich einer Architektur oder Funktion dazu führen kann, dass Sie den Markt völlig verpassen. 

Wenn wir nicht den ersten Blick auf die Software werfen, führt dies im Allgemeinen dazu, dass die wichtigen Dinge, die für die Produktakzeptanz auf dem Markt erforderlich sind, nicht entwertet wurden, dass wir nicht in der Lage waren, auf Marktveränderungen zu reagieren, beispielsweise wenn sich die Arbeitslasten auf unerwartete Weise entwickeln, und dass wir die Hardware nicht ausreichend ausgelastet haben. Alles keine tollen Dinge. Das ist ein wichtiger Grund, warum uns die Softwareorientierung sehr am Herzen liegt und warum wir der Meinung sind, dass man kein Halbleiterunternehmen sein kann, ohne wirklich ein Softwareunternehmen zu sein. 

Können Sie Ihre unmittelbaren Software-Stack-Ziele besprechen?

Als wir unsere Architektur entwarfen und über die zukunftsweisende Roadmap nachdachten und wo die Möglichkeiten für mehr Leistung und Energieeffizienz waren, wurde uns klar, dass wir eine viel größere Heterogenität erleben würden, die viele Probleme mit sich bringen würde auf Software. Und wir müssen nicht nur in der Lage sein, heterogene Architekturen produktiv zu programmieren, sondern wir müssen sie auch im Rechenzentrumsmaßstab bewältigen – eine Herausforderung, wie wir sie noch nie erlebt haben. 

Das hat uns beunruhigt, denn das letzte Mal, dass wir einen größeren Übergang durchlaufen mussten, war, als die Branche von Single-Core- auf Multi-Core-Architekturen umstieg, und es damals 10 Jahre dauerte, bis die Software funktionierte und die Leute sie nutzten. Wir können es uns nicht leisten, 10 Jahre zu warten, um Software für Heterogenität in großem Maßstab zu finden, das muss jetzt geklärt werden. Und so machten wir uns daran, das Problem zu verstehen und herauszufinden, was vorhanden sein muss, damit dieser Software-Stack existiert. 

Wir arbeiten derzeit mit vielen führenden Halbleiterunternehmen und Hyperscalern/Cloud-Dienstleistern zusammen und werden unseren Software-Stack in den nächsten 12 Monaten veröffentlichen. Es handelt sich um ein einheitliches Programmiermodell mit einem Compiler und einer Laufzeit, die auf jede Art von Architektur abzielen und die Arbeit über Cluster hinweg orchestrieren kann, die aus unterschiedlichen Arten von Hardware bestehen. Es ist in der Lage, von einem einzelnen Knoten auf einen Cluster mit tausend Knoten zu skalieren, um die höchstmögliche Leistung zu erzielen .

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Lemurische Labore.