Tim Davis, Mitbegründer und Präsident von Modular – Interview Series

Tim Davis ist Mitbegründer und Präsident von Modular, eine integrierte, zusammensetzbare Suite von Tools, die Ihre KI-Infrastruktur vereinfacht, damit Ihr Team schneller entwickeln, bereitstellen und Innovationen einführen kann. Modular ist vor allem für seine Entwicklung bekannt Mojo, eine neue Programmiersprache, die die Lücke zwischen Forschung und Produktion schließt, indem sie das Beste von Python mit Systemen und Metaprogrammierung kombiniert.

Wiederholen Sie den Unternehmer und Produktleiter. Tim half beim Aufbau, der Gründung und Skalierung großer Teile der KI-Infrastruktur von Google bei Google Brain und Kernsysteme aus APIs (TensorFlow), Compiler (XLA & MLIR) und Laufzeiten für Server (CPU/GPU/TPU) und TF Lite (Mobil/Mikro/Web), Android ML & NNAPI, große Modellinfrastruktur und OSS für Milliarden von Benutzern und Geräten. Liebt es, Produkte zu betreiben, zu bauen und zu skalieren hilf Menschen und die Welt.

Wann haben Sie das Programmieren zum ersten Mal für sich entdeckt und was hat Sie daran gereizt?

Als ich als Kind in Australien aufwuchs, brachte mein Vater einen Commodore 64C mit nach Hause und das Spielen war es, was mich süchtig machte – Boulder Dash, Maniac Mansion, Double Dragon – was für eine Zeit zum Leben. Dieser Computer führte mich in BASIC ein und das Herumexperimentieren damit war mein erster wirklicher Einstieg in die Programmierung. In der High School und an der Universität wurde es intensiver, wo ich für Ingenieurkurse traditionellere statische Sprachen verwendete und mit der Zeit sogar Javascript und VBA ausprobierte, bevor ich mich für den Großteil der Programmierung als Datensprache für Python entschied Wissenschaft und KI. Ich habe in meinen früheren Startups eine Menge Code geschrieben, aber heutzutage verwende ich natürlich Mojo und die Toolchain, die wir darum herum erstellt haben.

Sie haben über fünf Jahre bei Google als Senior Product Manager und Group Product Leader gearbeitet und dort große Teile der KI-Infrastruktur von Google Brain mitgestaltet. Was haben Sie aus dieser Erfahrung gelernt?

Menschen sind es, die weltverändernde Technologien und Produkte entwickeln, und es ist eine engagierte Gruppe von Menschen, die durch eine größere Vision verbunden sind, die sie in die Welt bringt. Google ist ein unglaubliches Unternehmen mit tollen Leuten, und ich hatte das Glück, vor Jahren, als ich zum Brain-Team wechselte, viele der klügsten Köpfe der KI kennenzulernen und mit ihnen zusammenzuarbeiten. Die größte Lektion, die ich gelernt habe, bestand darin, sich immer auf den Benutzer zu konzentrieren und die Komplexität nach und nach offenzulegen, um Benutzern die Möglichkeit zu geben, der Welt ihre einzigartigen Geschichten zu erzählen, wie zum Beispiel das Reparieren des Problems Greater Barrier Reef oder Menschen zu helfen, die es mögen Jason der Schlagzeugerund eine vielfältige Mischung von Menschen anzuziehen und zusammenzubringen, um ein gemeinsames Ziel zu verfolgen. In einem riesigen Unternehmen mit sehr klugen und talentierten Leuten ist das viel schwieriger, als Sie sich vorstellen können. Wenn ich an meine Zeit dort zurückdenke, sind es immer die Menschen, mit denen Sie zusammengearbeitet haben, die wirklich unvergesslich sind. Ich werde immer gerne zurückblicken und schätze es, dass viele Menschen Risiken eingegangen sind, und ich bin enorm dankbar, dass sie es getan haben, denn viele dieser Risiken haben mich ermutigt, eine bessere Führungskraft und Person zu sein, tief in die Materie einzutauchen und KI-Systeme wirklich zu verstehen. Es hat mir wirklich klar gemacht, welche enorme Macht KI hat, um die Welt zu beeinflussen, und genau das war der Grund, warum ich die Inspiration und den Mut hatte, Modular zu verlassen und Mitgründer zu werden.

Können Sie uns die Entstehungsgeschichte von Modular erzählen?

Chris und ich haben uns bei Google kennengelernt und viele einflussreiche Technologien entwickelt, die die heutige Welt der KI erheblich beeinflusst haben. Wir hatten jedoch das Gefühl, dass KI durch eine übermäßig komplexe und fragmentierte Infrastruktur gebremst wird, die wir aus erster Hand bei der Bereitstellung großer Arbeitslasten für Milliarden von Benutzern miterlebt haben. Wir waren von dem Wunsch motiviert, die Auswirkungen von KI auf die Welt zu beschleunigen, indem wir die Branche auf KI-Software in Produktionsqualität umstellen, damit wir als globale Gesellschaft einen größeren Einfluss auf unsere Lebensweise haben können. Man kommt nicht umhin, sich zu fragen, wie viele Probleme KI lösen kann, wie viele Krankheiten geheilt werden können, wie viel produktiver wir als Spezies werden können, um unsere Existenz für zukünftige Generationen zu verbessern, indem wir die Verbreitung dieser unglaublichen Technologie erhöhen.

Nachdem wir jahrelang an großen, kritischen KI-Infrastrukturen zusammengearbeitet haben, haben wir den enormen Aufwand für Entwickler aus erster Hand gesehen: „Warum können die Dinge nicht einfach funktionieren?“ Damit die Welt die enorme transformative Natur der KI annehmen und entdecken kann, benötigen wir eine Software- und Entwicklerinfrastruktur, die von der Forschung bis zur Produktion reicht und leicht zugänglich ist. Dies wird es uns ermöglichen, den nächsten Weg wissenschaftlicher Entdeckungen zu erschließen – für die KI von entscheidender Bedeutung sein wird – und das ist sie auch eine große technische HerausforderungVor diesem motivierenden Hintergrund entwickelten wir die tiefe Überzeugung, einen neuen Ansatz für KI-Infrastrukturen zu entwickeln und Entwicklern weltweit die Möglichkeit zu geben, KI zu nutzen, um die Welt zu einem besseren Ort zu machen. Wir sind außerdem sehr glücklich, dass uns viele Menschen auf diesem Weg begleiten und wir dadurch das weltweit beste KI-Infrastrukturteam haben.

Können Sie erläutern, wie die Programmiersprache Mojo ursprünglich für Ihr eigenes Team entwickelt wurde?

Modulare  Seh- Ziel ist es, die Nutzung von KI für jedermann und überall zu ermöglichen. Alles, was wir bei Modular tun, ist auf dieses Ziel ausgerichtet, und wir gehen bei der Entwicklung unserer Produkte und unserer Technologie davon aus. In diesem Licht, unsere eigener Entwickler Geschwindigkeit ist für uns in erster Linie das Wichtigste, und nachdem wir so viel von der bestehenden KI-Infrastruktur für die Welt aufgebaut haben, mussten wir sorgfältig überlegen, was es unserem Team ermöglichen würde, schneller voranzukommen. Wir haben das Zwei-Welten-Sprachproblem in der KI erlebt – Forscher arbeiten in Python und Produktions- und Hardware-Ingenieure in C++ – und wir hatten keine andere Wahl, als diesen Weg entweder zu beschreiten oder den Ansatz völlig zu überdenken. Wir haben uns für Letzteres entschieden. Es bestand eindeutig die Notwendigkeit, dieses Problem zu lösen, aber viele verschiedene Möglichkeiten Um es zu lösen, gingen wir mit der festen Überzeugung an die Sache heran, das Ökosystem dort zu treffen, wo es heute ist, und einen einfacheren Aufstieg in die Zukunft zu ermöglichen. Unser Team trägt die Narben der Softwaremigration in großem Umfang und wir wollten nicht, dass sich so etwas wiederholt. Wir haben auch erkannt, dass es unserer Meinung nach heute keine Sprache gibt, die alle Herausforderungen lösen kann, die wir für die KI zu lösen versuchen, und so haben wir einen First-Prinzipien-Ansatz verfolgt und Mojo war geboren.

Wie ermöglicht Mojo eine nahtlose Skalierung und Portabilität über viele Arten von Hardware hinweg?

Chris, ich und unser Team bei Google (viele davon bei Modular) haben dabei geholfen MLIR in die Welt vor Jahren – mit dem Ziel, der globalen Gemeinschaft bei der Lösung realer Herausforderungen zu helfen, indem KI-Modelle auf jeder Art von Hardware konsistent dargestellt und ausgeführt werden können. MLIR ist eine neue Art von Open-Source-Compiler-Infrastruktur, die in großem Umfang übernommen wurde und sich schnell zum neuen Standard für die Erstellung von Compilern entwickelt LLVMAngesichts der Erfahrung unseres Teams bei der Erstellung dieser Infrastruktur ist es selbstverständlich, dass wir sie bei Modular intensiv nutzen. Dies unterstreicht unseren hochmodernen Ansatz bei der Entwicklung neuer KI-Infrastrukturen für die Welt. Entscheidend ist, dass MLIR zwar schnell angenommen wird, Mojo jedoch die erste Sprache ist, die die Leistungsfähigkeit von MLIR wirklich nutzt und sie Entwicklern auf einzigartige und zugängliche Weise zugänglich macht. Dies bedeutet, dass es von Python-Entwicklern, die Anwendungen schreiben, über Performance-Ingenieure, die Hochleistungscode bereitstellen, bis hin zu Hardware-Ingenieuren, die sehr einfachen Systemcode für ihre spezielle Hardware schreiben, skaliert werden kann.

Verweise auf Mojo behaupten, dass es sich im Grunde um Python++ handelt, mit der Zugänglichkeit von Python und der hohen Leistung von C. Ist das eine grobe Vereinfachung? Wie würden Sie es beschreiben?

Mojo sollte jedem Python-Programmierer sehr vertraut vorkommen, da es die gleiche Syntax wie Python hat. Aber es gibt ein paar wichtige Unterschiede, die Sie bemerken werden, wenn Sie ein einfaches Python-Programm auf Mojo portieren, einschließlich der Tatsache, dass es sofort funktioniert. Eines unserer Hauptziele für Mojo besteht darin, eine Obermenge von Python bereitzustellen – das heißt, Mojo mit bestehenden Python-Programmen kompatibel zu machen – und die CPython-Implementierung für die Unterstützung von Long-Tail-Ökosystemen zu übernehmen. Anschließend können Sie Ihren Code langsam erweitern und leistungsschwache Teile durch Mojos Funktionen auf niedrigerer Ebene ersetzen, um den Speicher explizit zu verwalten, Typen hinzuzufügen, Autotuning zu nutzen und viele andere Aspekte zu nutzen, um die Leistung von C oder besser zu erreichen! Wir glauben, dass Mojo Ihnen das Beste aus beiden Welten bietet und Sie Ihre Algorithmen nicht in mehreren Sprachen schreiben und umschreiben müssen. Wir wissen, dass Python++ ein enormes Ziel ist und ein mehrjähriges Unterfangen sein wird, aber wir sind bestrebt, es Wirklichkeit werden zu lassen und unserer legendären Community von mehr als 140 Entwicklern die Möglichkeit zu geben, uns dabei zu helfen, gemeinsam die Zukunft zu gestalten.

In einer kürzlich gehaltenen Keynote wurde gezeigt, dass Mojo 35,000-mal schneller als Python ist. Wie wurde diese Geschwindigkeit berechnet?

Tatsächlich ist es jetzt 68,000x! Aber seien wir uns im Klaren: Es ist nur ein einzelnes Programm in Mandelbrot – wie wir das erreicht haben, können Sie in drei Blogbeiträgen nachlesen – hier, hier und hier. Natürlich machen wir das schon lange und wissen, dass es nicht die Performance-Spiele sind, die die Sprachakzeptanz vorantreiben (auch wenn sie Spaß machen!) – es sind die Entwicklungsgeschwindigkeit, die Benutzerfreundlichkeit der Sprache, hochwertige Toolchains und Dokumentation sowie eine Community, die die Infrastruktur nutzt, um auf unvorstellbare Weise zu erfinden und zu entwickeln. Wir sind Tool-Entwickler und unser Ziel ist es, die Welt zu befähigen, unsere Tools zu nutzen, großartige Produkte zu entwickeln und wichtige Probleme zu lösen. Unser übergeordnetes Ziel ist es, eine Sprache zu entwickeln, die Sie dort abholt, wo Sie heute stehen, und Sie dann mühelos in eine bessere Welt führt. Mojo ermöglicht Ihnen eine hochperformante, benutzerfreundliche, statisch typisierte und portable Sprache, die sich nahtlos in Ihren bestehenden Python-Code integriert – und Ihnen das Beste aus beiden Welten bietet. Es ermöglicht Ihnen, die wahre Leistungsfähigkeit der Hardware mit Multithreading und Parallelisierung auf eine Weise auszuschöpfen, die mit dem heutigen Roh-Python nicht möglich ist. So steht der globalen Entwickler-Community eine einzige, von Grund auf skalierbare Sprache zur Verfügung.

Die Magie von Mojo liegt in seiner Fähigkeit, Programmiersprachen mit einem Satz Tools zu vereinheitlichen. Warum ist das so wichtig?

Der Erfolg von Sprachen beruht immer auf der Kraft ihrer Ökosysteme und der Gemeinschaften, die sich um sie herum bilden. Wir arbeiten schon seit langem mit Open-Source-Communities zusammen und legen großen Wert darauf, uns auf die richtige Art und Weise zu engagieren und sicherzustellen, dass wir das Richtige für die Community tun. Wir arbeiten unglaublich hart an der Auslieferung unserer Infrastruktur, brauchen aber Zeit, um unser Team zu vergrößern – daher werden wir nicht sofort alle Antworten haben, aber wir werden es schaffen. Unser Ziel ist es, das Python-Ökosystem zu stärken, indem wir es einbeziehen ganze vorhandenen Ökosystem, und wir wollen es nicht wie so viele andere Projekte zerschlagen. Interoperabilität macht es für die Community einfach einfacher, unsere Infrastruktur auszuprobieren, ohne ihren gesamten Code neu schreiben zu müssen, und das ist für die KI von großer Bedeutung.

Außerdem haben wir in den letzten zehn Jahren so viel aus der Entwicklung der KI-Infrastruktur und -Tools gelernt. Die bestehenden monolithischen Systeme sind außerhalb ihres ursprünglichen Zielbereichs nicht einfach erweiterbar oder verallgemeinerbar. Die Folge ist eine stark fragmentierte KI-Bereitstellungsbranche mit Dutzenden von Toolchains, die unterschiedliche Kompromisse und Einschränkungen mit sich bringen. Diese Designmuster haben das Innovationstempo verlangsamt, da sie weniger benutzerfreundlich, weniger portabel und schwieriger zu skalieren sind.

Das KI-System der nächsten Generation muss Produktionsqualität haben und Entwickler dort abholen, wo sie sind. Es darf kein kostspieliges Umschreiben, eine Neuarchitektur oder eine Neubasierung des Benutzercodes erforderlich sein. Es muss nativ Multi-Framework, Multi-Cloud und Multi-Hardware sein. Es muss die beste Leistung und Effizienz mit der besten Benutzerfreundlichkeit kombinieren. Nur so kann die Fragmentierung verringert und die nächste Generation von Hardware-, Daten- und Algorithmusinnovationen freigesetzt werden.

Modular vor kurzem kündigte an, neue Mittel in Höhe von 100 Millionen US-Dollar aufzubringen, geführt von General Catalyst und besetzt durch die bestehenden Investoren GV (Google Ventures), SV Angel, Greylock und Factory. Was sollten wir als nächstes erwarten?

Dieses neue Kapital wird in erster Linie dazu verwendet, unser Team zu vergrößern, die besten Leute in der KI-Infrastruktur einzustellen und weiterhin die enorme kommerzielle Nachfrage zu befriedigen, die wir für unsere Plattform sehen. Modverse, unsere Community aus weit über 130 Entwicklern und 10 Unternehmen, sucht alle nach unserer Infrastruktur – daher möchten wir sicherstellen, dass wir weiter skalieren und hart daran arbeiten, sie für sie zu entwickeln und ihnen bereitzustellen. Wir haben einen unglaublich hohen Anspruch an uns selbst und die Produkte, die wir versenden, spiegeln wider, wer wir als Team sind und wer wir als Unternehmen werden. Wenn Sie jemanden kennen, der ehrgeizig ist, der die Grenzen von Software und Hardware liebt und dazu beitragen möchte, dass KI auf sinnvolle und positive Weise in die Welt eindringt, schicken Sie ihn uns.

Was ist Ihre Vision für die Zukunft des Programmierens?

Programmieren sollte eine Fähigkeit sein, die jeder in der Gesellschaft entwickeln und nutzen kann. Für viele stellt sich die „Idee“ des Programmierens sofort einen Entwickler vor, der komplexen Low-Level-Code schreibt, der viel Mathematik und Logik erfordert – aber das muss nicht unbedingt so wahrgenommen werden. Technologie war schon immer ein großer Produktivitätsfaktor für die Gesellschaft, und indem wir die Programmierung zugänglicher und nutzbarer machen, können wir mehr Menschen dazu befähigen, sie anzunehmen. Menschen zu befähigen, sich wiederholende Prozesse zu automatisieren und ihr Leben einfacher zu machen, ist eine wirksame Möglichkeit, ihnen mehr Zeit zurückzugeben.

Und mit Python haben wir bereits eine wunderbare Sprache, die sich bewährt hat – sie ist die weltweit beliebteste Sprache mit einer unglaublichen Community –, aber sie hat auch Grenzen. Ich glaube, wir haben eine riesige Chance, sie noch leistungsfähiger zu machen und mehr Menschen für ihre Schönheit und Einfachheit zu begeistern. Wie ich bereits sagte, geht es darum, Produkte zu entwickeln, die eine progressive Offenlegung der Komplexität ermöglichen – die Abstraktionen auf hoher Ebene ermöglichen, aber auch auf unglaublich niedrige Ebenen skalieren. Wir erleben bereits einen bedeutenden Sprung bei KI-Modellen, die progressive Text-zu-Code-Übersetzungen ermöglichen – und diese werden mit der Zeit immer personalisierter werden –, aber hinter dieser magischen Innovation steht immer noch ein Entwickler, der den Code schreibt und bereitstellt, um sie voranzutreiben. Wir haben darüber geschrieben in der Vergangenheit – KI wird weiterhin Kreativität und Produktivität in vielen Programmiersprachen freisetzen, aber ich glaube auch, dass Mojo die Öffnung des Ökosystems noch weiter öffnen und vielen weiteren Entwicklern auf der ganzen Welt mehr Zugänglichkeit, Skalierbarkeit und Hardware-Portabilität ermöglichen wird.

Schließlich wird die KI auf ungeahnte Weise in unser Leben eindringen und überall existieren – daher hoffe ich, dass Mojo die Entwickler dazu anregt, die wichtigsten Probleme der Menschheit schneller zu lösen – egal, wo auf unserer Welt sie leben. Ich denke, das ist eine Zukunft, für die es sich zu kämpfen lohnt.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Modular.