Tim Davis, Mitgründer und Präsident von Modular – Interview-Serie

Tim Davis ist Mitgründer und Präsident von Modular, einem integrierten, komponierbaren Suite von Tools, die Ihre AI-Infrastruktur vereinfachen, damit Ihr Team schneller entwickeln, bereitstellen und innovieren kann. Modular ist bekannt für die Entwicklung von Mojo, einer neuen Programmiersprache, die die Lücke zwischen Forschung und Produktion schließt, indem sie die besten Aspekte von Python mit Systemen und Metaprogrammierung kombiniert.

Wiederholter Unternehmer und Produktleiter. Tim half bei der Entwicklung, Gründung und Skalierung großer Teile von Googles AI-Infrastruktur bei Google Brain (GOOGL ) und Core-Systemen von APIs (TensorFlow), Compilern (XLA & MLIR) und Laufzeiten für Server (CPU/GPU/TPU) und TF Lite (Mobile/Micro/Web), Android ML & NNAPI, große Modell-Infrastruktur & OSS für Milliarden von Nutzern und Geräten. Liebt das Laufen, Bauen und Skalieren von Produkten, um Menschen zu helfen, und die Welt.

Wann haben Sie das Coden zum ersten Mal entdeckt, und was hat Sie dazu angezogen?

Als Kind, das in Australien aufwuchs, brachte mein Vater einen Commodore 64C nach Hause und das Spielen war es, was mich begeisterte – Boulder Dash, Maniac Mansion, Double Dragon – was für eine Zeit, um am Leben zu sein. Dieser Computer stellte mich BASIC vor und das Herumspielen damit war meine erste echte Einführung in die Programmierung. Im Laufe der High School und Universität verwendete ich traditionellere statische Sprachen für Ingenieurkurse, und im Laufe der Zeit habe ich sogar bis hin zu Javascript und VBA experimentiert, bevor ich mich auf Python für die meisten Programmieraufgaben als Sprache der Datenwissenschaft und KI konzentrierte. Ich schrieb eine Menge Code in meinen früheren Start-ups, aber heutzutage verwende ich natürlich Mojo und die Toolchain, die wir um es herum entwickelt haben.

Über 5 Jahre lang haben Sie bei Google als Senior Product Manager und Group Product Leader gearbeitet, wo Sie halfen, große Teile von Googles AI-Infrastruktur bei Google Brain zu skalieren. Was haben Sie aus dieser Erfahrung gelernt?

Menschen sind es, die weltverändernde Technologien und Produkte bauen, und es ist eine engagierte Gruppe von Menschen, die durch eine größere Vision verbunden sind, die sie in die Welt bringt. Google ist ein unglaubliches Unternehmen mit erstaunlichen Menschen, und ich hatte das Glück, viele der hellsten Köpfe in der KI vor Jahren kennenzulernen, als ich zum Brain-Team wechselte. Die größten Lektionen, die ich gelernt habe, waren, sich immer auf den Benutzer zu konzentrieren und die Komplexität schrittweise offenzulegen, um Benutzern zu ermöglichen, ihre einzigartigen Geschichten der Welt zu erzählen, wie zum Beispiel die Große Barriereriff zu reparieren oder Menschen wie Jason den Schlagzeuger zu helfen, und um eine diverse Mischung von Menschen zu versammeln, um ein gemeinsames Ziel zu verfolgen. In einem riesigen Unternehmen mit sehr intelligenten und talentierten Menschen ist dies viel schwieriger, als man sich vorstellen kann. Wenn ich auf meine Zeit dort zurückblicke, sind es immer die Menschen, mit denen ich gearbeitet habe, die wirklich unvergesslich sind. Ich werde mich immer gerne daran erinnern und schätze es sehr, dass viele Menschen Risiken auf mich eingegangen sind, und ich bin ihnen enorm dankbar, dass sie es getan haben, da viele dieser Risiken mich dazu gebracht haben, ein besserer Leiter und Mensch zu werden, um tief einzutauchen und AI-Systeme wirklich zu verstehen. Es hat mir wirklich gezeigt, wie groß die Macht der KI ist, die Welt zu beeinflussen, und das war der Grund, warum ich die Inspiration und den Mut hatte, zu gehen und Modular mitzubegründen.

Können Sie die Entstehungsgeschichte hinter Modular teilen?

Chris und ich trafen uns bei Google und lieferten viele einflussreiche Technologien, die die Welt der KI heute erheblich beeinflusst haben. Wir fühlten jedoch, dass die KI durch übermäßig komplexe und fragmentierte Infrastruktur behindert wurde, die wir bei der Bereitstellung großer Workloads für Milliarden von Nutzern selbst miterlebt haben. Wir wurden von dem Wunsch motiviert, die Auswirkungen der KI auf die Welt zu beschleunigen, indem wir die Branche in Richtung produktionsreifer KI-Software voranbringen, damit wir als globale Gesellschaft eine größere Auswirkung auf unser Leben haben können. Man kann nicht umhin, sich zu fragen, wie viele Probleme die KI helfen kann, wie viele Krankheiten geheilt werden können, wie viel produktiver wir als Spezies werden können, um unsere Existenz für zukünftige Generationen zu verbessern, indem wir die Durchdringung dieser unglaublichen Technologie erhöhen.

Nachdem wir Jahre lang zusammen an großen Maßstäben kritischer KI-Infrastruktur gearbeitet hatten, sahen wir den enormen Entwickler-Schmerz hautnah – “Warum können Dinge nicht einfach funktionieren?” Damit die Welt die KI annehmen und ihre transformative Natur entdecken kann, benötigen wir Software- und Entwickler-Infrastruktur, die von der Forschung bis zur Produktion skaliert und hoch zugänglich ist. Dies ermöglicht es uns, die nächste Art wissenschaftlicher Entdeckungen zu entsperren – von denen die KI ein wichtiger Teil sein wird – und ist eine große ingenieurtechnische Herausforderung. Mit diesem motivierenden Hintergrund entwickelten wir eine inhärente Überzeugung, dass wir einen neuen Ansatz für die KI-Infrastruktur aufbauen könnten und Entwickler auf der ganzen Welt in die Lage versetzen könnten, die KI zu nutzen, um die Welt zu einem besseren Ort zu machen. Wir sind auch sehr glücklich, dass viele Menschen uns auf dieser Reise begleiten, und wir haben das beste KI-Infrastruktur-Team der Welt als Ergebnis.

Können Sie diskutieren, wie die Mojo-Programmiersprache ursprünglich für Ihr eigenes Team entwickelt wurde?

Die Vision von Modular ist es, es jedem auf der ganzen Welt zu ermöglichen, die KI zu nutzen. Alles, was wir bei Modular tun, ist auf dieses Ziel ausgerichtet, und wir arbeiten rückwärts von diesem Ziel, um unsere Produkte und Technologien zu entwickeln. In diesem Licht ist unsere eigene Entwickler-Geschwindigkeit das, was uns am meisten interessiert, und da wir bereits so viel der bestehenden KI-Infrastruktur für die Welt aufgebaut haben, mussten wir sorgfältig überlegen, was unser Team in die Lage versetzen würde, schneller zu arbeiten. Wir haben das Zwei-Welten-Sprachen-Problem in der KI erlebt – wo Forscher in Python leben und Produktions- und Hardware-Ingenieure in C++ leben – und wir hatten keine andere Wahl, als entweder diesen Weg zu beschreiten oder den Ansatz vollständig neu zu überdenken. Wir wählten den letzteren. Es gab ein klares Bedürfnis, dieses Problem zu lösen, aber viele verschiedene Möglichkeiten, es zu lösen – wir gingen mit unserer starken Überzeugung davon aus, die Ökosysteme dort zu treffen, wo sie heute sind, und eine einfache Aufstiegsmöglichkeit in die Zukunft zu ermöglichen. Unser Team trägt die Narben der Software-Migration im großen Maßstab, und wir wollten keine Wiederholung davon. Wir erkannten auch, dass es heute keine Sprache gibt, die alle Herausforderungen lösen kann, die wir für die KI zu lösen versuchen, und daher einen Ansatz von Grund auf unternahmen, und Mojo wurde geboren.

Wie ermöglicht Mojo eine nahtlose Skalierbarkeit und Portabilität über viele Arten von Hardware?

Chris, ich und unser Team bei Google (viele bei Modular) halfen vor Jahren, MLIR in die Welt zu bringen, mit dem Ziel, der globalen Gemeinschaft zu helfen, reale Herausforderungen zu lösen, indem sie es ermöglichen, KI-Modelle konsistent auf jeder Art von Hardware darzustellen und auszuführen. MLIR ist eine neue Art von Open-Source-Compiler-Infrastruktur, die im großen Maßstab angenommen wurde und sich schnell zu einem neuen Standard für den Bau von Compilern durch LLVM entwickelt. Angesichts der Geschichte unseres Teams bei der Schaffung dieser Infrastruktur ist es natürlich, dass wir sie bei Modular stark nutzen, und dies bildet unsere state-of-the-art-Ansatz bei der Entwicklung neuer KI-Infrastruktur für die Welt. Kritisch ist, dass MLIR jetzt schnell angenommen wird, Mojo jedoch die erste Sprache ist, die die Macht von MLIR wirklich den Entwicklern in einer einzigartigen und zugänglichen Weise näherbringt. Dies bedeutet, dass es von Python-Entwicklern, die Anwendungen schreiben, bis hin zu Performance-Ingenieuren, die Hochleistungscode bereitstellen, bis hin zu Hardware-Ingenieuren, die sehr niedrigstufigen Systemcode für ihre einzigartige Hardware schreiben, skaliert.

Es wird behauptet, dass Mojo im Grunde Python++ ist, mit der Zugänglichkeit von Python und der hohen Leistung von C. Ist dies eine grobe Vereinfachung? Wie würden Sie es beschreiben?

Mojo sollte jedem Python-Programmierer sehr vertraut sein, da es die Syntax von Python teilt. Aber es gibt einige wichtige Unterschiede, die Sie sehen werden, wenn Sie ein einfaches Python-Programm in Mojo portieren, einschließlich der Tatsache, dass es einfach funktioniert. Eines unserer Kernziele für Mojo ist es, eine Superset von Python bereitzustellen – das heißt, Mojo mit bestehenden Python-Programmen kompatibel zu machen – und die CPython-Implementierung für die langfristige Ökosystem-Unterstützung zu umarmen. Dann können Sie langsam Ihren Code ergänzen und die nicht leistungsfähigen Teile durch Mojos niedrigstufige Funktionen ersetzen, um explizit den Speicher zu verwalten, Typen hinzuzufügen, Autotuning zu nutzen und viele andere Aspekte, um die Leistung von C oder besser zu erzielen! Wir glauben, dass Mojo Ihnen die beste von beiden Welten bietet und dass Sie nicht schreiben und neu schreiben müssen, um Ihre Algorithmen in mehreren Sprachen zu schreiben. Wir schätzen, dass Python++ ein enormes Ziel ist und ein mehrjähriges Unterfangen sein wird, aber wir sind entschlossen, es Wirklichkeit werden zu lassen und unsere legendäre Gemeinschaft von über 140.000 Entwicklern zu ermöglichen, uns bei der Gestaltung der Zukunft zu helfen.

Bei einer kürzlichen Keynote wurde gezeigt, dass Mojo 35.000-mal schneller ist als Python, wie wurde diese Geschwindigkeit berechnet?

Es ist tatsächlich 68.000-mal jetzt! Aber lassen Sie uns erkennen, dass es nur ein einzelnes Programm in Mandelbrot ist – Sie können eine Reihe von drei Blog-Beiträgen lesen, um zu sehen, wie wir dies erreicht haben – hier, hier und hier. Natürlich haben wir das schon lange gemacht und wissen, dass Leistungs-Spiele nicht das sind, was die Annahme von Sprachen antreibt (trotzdem sind sie lustig!) – es ist Entwickler-Geschwindigkeit, Sprach-Benutzerfreundlichkeit, hochwertige Werkzeuge und Dokumentation und eine Gemeinschaft, die die Infrastruktur nutzt, um Dinge zu erfinden und zu bauen, die wir uns nicht einmal vorstellen können. Wir sind Werkzeug-Bauer, und unser Ziel ist es, der Welt zu ermöglichen, unsere Werkzeuge zu nutzen, um erstaunliche Produkte zu schaffen und wichtige Probleme zu lösen. Wenn wir uns auf unser größeres Ziel konzentrieren, ist es tatsächlich, eine Sprache zu schaffen, die Sie dort trifft, wo Sie heute sind, und Sie dann leicht in eine bessere Welt hebt. Mojo ermöglicht es Ihnen, eine hochleistungsfähige, benutzerfreundliche, statisch typisierte und portable Sprache zu haben, die nahtlos mit Ihrem bestehenden Python-Code integriert ist – und Ihnen die beste von beiden Welten bietet. Es ermöglicht es Ihnen, die wahre Macht der Hardware mit Multithreading und Parallelisierung in einer Weise zu nutzen, die rohes Python heute nicht kann – und die globale Entwickler-Gemeinschaft in die Lage versetzt, eine einzige Sprache zu haben, die von oben bis unten skaliert.

Was ist das Geheimnis von Mojo, das es ermöglicht, Programmiersprachen mit einem Satz von Werkzeugen zu vereinen? Warum ist das so wichtig?

Sprachen sind immer erfolgreich durch die Macht ihrer Ökosysteme und der Gemeinschaften, die sich um sie bilden. Wir haben lange mit Open-Source-Gemeinschaften gearbeitet und sind sehr darauf bedacht, auf die richtige Weise zu engagieren und sicherzustellen, dass wir der Gemeinschaft gegenüber richtig handeln. Wir arbeiten sehr hart daran, unsere Infrastruktur zu liefern, aber wir benötigen Zeit, um unser Team zu skalieren – also werden wir nicht alle Antworten sofort haben, aber wir werden dort hinkommen. Wenn wir einen Schritt zurücktreten, ist unser Ziel, das Python-Ökosystem durch die Umarmung des gesamten bestehenden Ökosystems zu heben, und wir versuchen nicht, es wie so viele andere Projekte zu spalten. Die Interoperabilität macht es einfach für die Gemeinschaft, unsere Infrastruktur auszuprobieren, ohne dass sie all ihren Code neu schreiben müssen, und das ist wichtig für die KI.

Außerdem haben wir so viel von der Entwicklung von KI-Infrastruktur und -Werkzeugen in den letzten zehn Jahren gelernt. Die bestehenden monolithischen Systeme sind nicht leicht erweiterbar oder verallgemeinerbar außerhalb ihres ursprünglichen Zielbereichs, und die Folge ist eine stark fragmentierte KI-Bereitstellungsindustrie mit Dutzenden von Werkzeugketten, die unterschiedliche Kompromisse und Einschränkungen mit sich bringen. Diese Entwurfs-Muster haben den Innovations-Prozess durch geringere Benutzerfreundlichkeit, geringere Portabilität und größere Skalierungs-Schwierigkeiten verlangsamt.

Das nächste KI-System der nächsten Generation muss produktionsreif und den Entwicklern dort begegnen, wo sie sind. Es darf nicht eine teure Neuschreibung, Neuaufteilung oder Neubasisierung des Benutzer-Code erfordern. Es muss native Multi-Framework-, Multi-Cloud- und Multi-Hardware-Unterstützung bieten. Es muss die beste Leistung und Effizienz mit der besten Benutzerfreundlichkeit kombinieren. Dies ist die einzige Möglichkeit, die Fragmentierung zu reduzieren und die nächste Generation von Hardware-, Daten- und algorithmischen Innovationen zu entsperren.

Modular hat kürzlich 100 Millionen Dollar für AI-Entwickler-Tools aufgebracht, angeführt von General Catalyst und gefüllt von bestehenden Investoren GV (Google Ventures), SV Angel, Greylock und Factory. Was sollten wir als nächstes erwarten?

Dieses neue Kapital wird hauptsächlich verwendet, um unser Team zu vergrößern, die besten Menschen in der KI-Infrastruktur zu rekrutieren und die enorme kommerzielle Nachfrage zu erfüllen, die wir für unsere Plattform sehen. Modverse, unsere Gemeinschaft von über 130.000 Entwicklern und 10.000 Unternehmen, suchen alle nach unserer Infrastruktur – also wollen wir sicherstellen, dass wir weiterhin skaliert werden und hart daran arbeiten, sie für sie zu entwickeln und bereitzustellen. Wir halten uns an sehr hohe Standards, und die Produkte, die wir liefern, sind ein Spiegelbild dessen, wer wir als Team sind und wer wir als Unternehmen werden. Wenn Sie jemanden kennen, der motiviert ist, der die Grenze zwischen Software und Hardware liebt und der helfen möchte, die KI in der Welt in einer sinnvollen und positiven Weise zu verbreiten – schicken Sie ihn zu uns.

Was ist Ihre Vision für die Zukunft der Programmierung?

Die Programmierung sollte eine Fähigkeit sein, die jeder in der Gesellschaft entwickeln und nutzen kann. Für viele Menschen ruft das “Konzept” der Programmierung sofort ein Bild von einem Entwickler hervor, der komplexen niedrigstufigen Code schreibt, der schwere Mathematik und Logik erfordert – aber es muss nicht so wahrgenommen werden. Die Technologie war immer ein großartiger Produktivitäts-Enabler für die Gesellschaft, und indem wir die Programmierung zugänglicher und benutzerfreundlicher machen, können wir mehr Menschen in die Lage versetzen, sie zu umarmen. Die Fähigkeit, repetitive Prozesse zu automatisieren und das Leben einfacher zu machen, ist eine mächtige Möglichkeit, den Menschen mehr Zeit zurückzugeben.

Und in Python haben wir bereits eine wunderbare Sprache, die die Probe der Zeit bestanden hat – es ist die beliebteste Sprache der Welt, mit einer unglaublichen Gemeinschaft – aber sie hat auch Einschränkungen. Ich glaube, dass wir eine enorme Gelegenheit haben, sie noch leistungsfähiger zu machen und mehr Menschen auf der ganzen Welt zu ermöglichen, ihre Schönheit und Einfachheit zu umarmen. Wie ich bereits sagte, geht es darum, Produkte zu bauen, die eine progressive Offenlegung von Komplexität haben – hochstufige Abstraktionen zu ermöglichen, aber auch sehr niedrigstufige Abstraktionen zu ermöglichen. Wir sind bereits Zeugen eines bedeutenden Sprungs bei KI-Modellen, die progressive Text-zu-Code-Übersetzungen ermöglichen – und diese werden nur noch persönlicher werden. Hinter dieser magischen Innovation steht jedoch immer noch ein Entwickler, der Code autorisiert und bereitstellt, um sie zu betreiben. Wir haben darüber geschrieben, dass die KI weiterhin Kreativität und Produktivität über viele Programmiersprachen hinweg freisetzen wird, aber ich glaube auch, dass Mojo das Ökosystem-Aperture noch weiter öffnen wird, um mehr Zugänglichkeit, Skalierbarkeit und Hardware-Portabilität für viele mehr Entwickler auf der ganzen Welt zu ermöglichen.

Um zu beenden, wird die KI unser Leben auf unbeschreibliche Weise durchdringen, und sie wird überall existieren – also hoffe ich, dass Mojo die Entwickler dazu anregt, loszugehen und die wichtigsten Probleme der Menschheit schneller zu lösen – egal, wo sie auf der Welt leben. Ich denke, dass das eine Zukunft ist, für die es sich zu kämpfen lohnt.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Modular besuchen.