Tim Davis, Co-Founder & President of Modular – Interview Series

Tim Davis, adalah Co-Founder & President of Modular, sebuah suite alat komposabel terintegrasi yang menyederhanakan infrastruktur AI Anda sehingga tim Anda dapat mengembangkan, mengirim, dan berinovasi lebih cepat. Modular paling dikenal untuk mengembangkan Mojo, sebuah bahasa pemrograman baru yang menjembatani kesenjangan antara penelitian dan produksi dengan menggabungkan yang terbaik dari Python dengan sistem dan metaprogramming.

Pengusaha Berulang dan Pemimpin Produk. Tim membantu membangun, mendirikan, dan menskala bagian besar infrastruktur AI Google (GOOGL ) di Google Brain dan Sistem Inti dari API (TensorFlow), Kompilator (XLA & MLIR) dan runtime untuk server (CPU/GPU/TPU) dan TF Lite (Mobile/Mikro/Web), Android ML & NNAPI, infrastruktur model besar & OSS untuk miliaran pengguna dan perangkat. Menggemari berlari, membangun, dan menskala produk untuk membantu orang, dan dunia.

Kapan Anda pertama kali menemukan coding, dan apa yang menarik Anda ke dalamnya?

Sebagai seorang anak yang tumbuh dewasa di Australia, ayah saya membawa pulang sebuah Commodore 64C dan permainan adalah yang membuat saya ketagihan – Boulder Dash, Maniac Mansion, Double Dragon – apa waktu yang luar biasa untuk hidup. Komputer itu memperkenalkan saya kepada BASIC dan mengutak-atik dengan itu adalah pengenalan saya yang sebenarnya kepada pemrograman. Hal-hal menjadi lebih intensif melalui Sekolah Menengah dan Universitas di mana saya menggunakan bahasa statis tradisional untuk kursus teknik, dan selama waktu saya bahkan mencoba semua jalan hingga Javascript dan VBA, sebelum menetap pada Python untuk sebagian besar pemrograman sebagai bahasa ilmu data dan AI. Saya menulis sejumlah kode di startup saya sebelumnya tetapi hari ini, tentu saja, saya menggunakan Mojo dan toolchain yang kami ciptakan di sekitarnya.

Selama lebih dari 5 tahun Anda bekerja di Google sebagai Senior Product Manager dan Group Product Leader, di mana Anda membantu menskala bagian besar infrastruktur AI Google di Google Brain. Apa yang Anda pelajari dari pengalaman ini?

Orang-orang adalah yang membangun teknologi dan produk yang mengubah dunia, dan itu adalah sekelompok orang yang berdedikasi yang terikat oleh visi yang lebih besar yang membawa mereka ke dunia. Google adalah perusahaan yang luar biasa, dengan orang-orang yang luar biasa, dan saya beruntung bertemu dan bekerja dengan banyak dari pikiran tercerdas di AI beberapa tahun yang lalu ketika saya pindah untuk bergabung dengan tim Brain. Pelajaran terbesar yang saya pelajari adalah untuk selalu fokus pada pengguna dan secara bertahap mengungkapkan kompleksitas, untuk memberdayakan pengguna untuk menceritakan kisah unik mereka ke dunia seperti memperbaiki Great Barrier Reef atau membantu orang seperti Jason the Drummer, dan untuk menarik dan mengumpulkan campuran orang yang beragam untuk mengemudi menuju tujuan yang sama. Di sebuah perusahaan besar dengan orang-orang yang sangat pintar dan berbakat, ini jauh lebih sulit daripada yang Anda bayangkan. Mengingat kembali waktu saya di sana, itu selalu orang-orang yang Anda kerja sama yang benar-benar berkesan. Saya akan selalu melihat kembali dengan hangat dan menghargai bahwa banyak orang mengambil risiko pada saya, dan saya sangat berterima kasih mereka melakukan itu, karena banyak dari risiko tersebut mendorong saya untuk menjadi pemimpin dan orang yang lebih baik, untuk menyelami dan benar-benar memahami sistem AI. Ini benar-benar membuat saya menyadari kekuatan luar biasa AI untuk mempengaruhi dunia, dan ini adalah alasan utama saya memiliki inspirasi dan keberanian untuk meninggalkan dan mendirikan Modular.

Apakah Anda dapat berbagi cerita asal-usul di balik Modular?

Chris dan saya bertemu di Google dan mengirimkan banyak teknologi yang sangat berpengaruh yang telah secara signifikan mempengaruhi dunia AI hari ini. Namun, kami merasa AI sedang dihambat oleh infrastruktur yang terlalu kompleks dan terfragmentasi yang kami saksikan langsung saat mengirim beban kerja besar ke miliaran pengguna. Kami termotivasi oleh keinginan untuk mempercepat dampak AI pada dunia dengan mengangkat industri menuju perangkat lunak AI berkualitas produksi sehingga kami, sebagai masyarakat global, dapat memiliki dampak yang lebih besar pada cara kami hidup. Seseorang tidak bisa tidak bertanya-tanya berapa banyak masalah yang dapat AI bantu untuk memecahkan, berapa banyak penyakit yang dapat disembuhkan, berapa banyak lebih produktif kita dapat menjadi sebagai spesies, untuk lebih meningkatkan keberadaan kita untuk generasi mendatang, dengan meningkatkan penetrasi teknologi luar biasa ini.

Setelah bekerja bersama selama beberapa tahun pada infrastruktur AI skala besar – kami melihat sakit pengembang yang luar biasa – “mengapa hal-hal tidak bisa hanya bekerja”? Agar dunia dapat mengadopsi dan menemukan sifat transformatif luar biasa dari AI, kami memerlukan perangkat lunak dan infrastruktur pengembang yang skalabel dari penelitian ke produksi, dan sangat mudah diakses. Ini akan memungkinkan kami untuk membuka kunci penemuan ilmiah berikutnya – di mana AI akan sangat penting – dan tantangan teknik besar. Dengan latar belakang motivasi ini, kami mengembangkan keyakinan intrinsik bahwa kami dapat memulai untuk membangun pendekatan baru untuk infrastruktur AI, dan memberdayakan pengembang di mana saja untuk menggunakan AI untuk membantu membuat dunia menjadi lebih baik. Kami juga sangat beruntung memiliki banyak orang bergabung dengan kami dalam perjalanan ini, dan kami memiliki tim infrastruktur AI terbaik di dunia sebagai hasilnya.

Apakah Anda dapat membahas bagaimana bahasa pemrograman Mojo awalnya dibangun untuk tim Anda sendiri?

Visi Modular adalah untuk memungkinkan AI digunakan oleh siapa saja, di mana saja. Semua yang kami lakukan di Modular berfokus pada tujuan itu, dan kami berjalan mundur dari itu dalam cara kami membangun produk dan teknologi kami. Dalam cahaya ini, kecepatan pengembang milik kami sendiri adalah yang paling penting bagi kami, dan setelah membangun sebagian besar infrastruktur AI yang ada untuk dunia – kami perlu mempertimbangkan dengan hati-hati apa yang akan memungkinkan tim kami untuk bergerak lebih cepat. Kami telah melewati masalah bahasa dua dunia di AI – di mana peneliti hidup di Python, dan insinyur produksi dan perangkat keras hidup di C++ – dan kami tidak memiliki pilihan lain kecuali untuk baik menggulirkan jalan itu, atau memikirkan kembali pendekatan secara keseluruhan. Kami memilih yang terakhir. Ada kebutuhan yang jelas untuk memecahkan masalah ini, tetapi banyak cara yang berbeda untuk memecahkannya – kami mendekatinya dengan keyakinan kuat kami untuk bertemu dengan ekosistem di mana ia berada hari ini, dan memungkinkan lift yang lebih sederhana ke masa depan. Tim kami membawa luka dari migrasi perangkat lunak pada skala besar, dan kami tidak ingin mengulangi itu. Kami juga menyadari bahwa tidak ada bahasa hari ini, menurut pendapat kami, yang dapat memecahkan semua tantangan yang kami coba pecahkan untuk AI dan jadi kami mengambil pendekatan dari prinsip pertama, dan Mojo lahir.

Bagaimana Mojo memungkinkan penskalaan dan portabilitas yang mulus di banyak jenis perangkat keras?

Chris, saya sendiri dan tim kami di Google (banyak di Modular) membantu membawa MLIR ke dunia beberapa tahun yang lalu – dengan tujuan untuk membantu komunitas global memecahkan tantangan nyata dengan memungkinkan model AI untuk secara konsisten direpresentasikan dan dijalankan pada jenis perangkat keras apa pun. MLIR adalah infrastruktur compiler sumber terbuka baru yang telah diadopsi pada skala besar, dan dengan cepat menjadi standar baru untuk membangun compiler melalui LLVM. Mengingat sejarah tim kami dalam membuat infrastruktur ini, itu sangat alami bahwa kami menggunakan itu secara luas di Modular dan ini mendukung pendekatan kami yang mutakhir dalam mengembangkan infrastruktur AI baru untuk dunia. Secara kritis, sementara MLIR sekarang sedang diadopsi dengan cepat, Mojo adalah bahasa pertama yang benar-benar mengambil kekuatan MLIR dan mengeksposnya kepada pengembang dengan cara yang unik dan dapat diakses. Ini berarti itu skalabel dari pengembang Python yang menulis aplikasi, ke Insinyur Kinerja yang mengirim kode kinerja tinggi, ke insinyur perangkat keras yang menulis kode sistem rendah untuk perangkat keras unik mereka.

Referensi ke Mojo mengklaim bahwa itu pada dasarnya adalah Python++, dengan aksesibilitas Python dan kinerja tinggi C. Apakah ini sebuah penyederhanaan yang kasar? Bagaimana Anda akan menggambarkannya?

Mojo harus terasa sangat familiar bagi setiap programmer Python, karena berbagi sintaks Python. Tapi ada beberapa perbedaan penting yang akan Anda lihat ketika Anda mem-porting program Python sederhana ke Mojo, termasuk bahwa itu akan langsung bekerja di luar kotak. Salah satu tujuan utama kami untuk Mojo adalah untuk menyediakan superset dari Python – yaitu, untuk membuat Mojo kompatibel dengan program Python yang ada – dan untuk mengadopsi implementasi CPython untuk dukungan ekosistem ujung panjang. Kemudian memungkinkan Anda untuk perlahan-lahan meningkatkan kode Anda dan menggantikan bagian yang tidak berperforma dengan fitur Mojo yang lebih rendah untuk secara eksplisit mengelola memori, menambahkan jenis, memanfaatkan autotuning dan banyak aspek lainnya untuk mendapatkan kinerja C atau lebih baik! Kami merasa Mojo memberi Anda yang terbaik dari kedua dunia dan Anda tidak perlu menulis, dan menulis ulang, algoritma Anda dalam beberapa bahasa. Kami menghargai Python++ adalah tujuan yang luar biasa, dan akan menjadi upaya multi-tahun, tetapi kami berkomitmen untuk membuatnya menjadi kenyataan dan memungkinkan komunitas legendaris kami yang lebih dari 140K+ pengembang untuk membantu kami membangun masa depan bersama.

Dalam sebuah keynote baru-baru ini, ditampilkan bahwa Mojo 35.000x lebih cepat daripada Python, bagaimana kecepatan ini dihitung?

Ini sebenarnya 68.000x sekarang! Tapi mari kita mengakui bahwa itu hanya satu program dalam Mandelbrot – Anda dapat pergi dan membaca serangkaian tiga posting blog tentang bagaimana kami mencapainya – di sini, di sini dan di sini. Tentu saja, kami telah melakukannya selama waktu yang lama dan kami tahu bahwa permainan kinerja tidaklah yang mengemudi adopsi bahasa (meskipun mereka menyenangkan!) – itu adalah kecepatan pengembang, kemampuan bahasa, toolchain berkualitas tinggi & dokumentasi, dan komunitas yang menggunakan infrastruktur untuk mengarang dan membangun dengan cara yang tidak kami bayangkan. Kami adalah pembangun alat, dan tujuan kami adalah untuk memberdayakan dunia untuk menggunakan alat kami, untuk menciptakan produk yang luar biasa dan memecahkan masalah penting. Jika kami fokus pada tujuan kami yang lebih besar, itu sebenarnya untuk menciptakan bahasa yang memenuhi Anda di mana Anda berada hari ini dan kemudian mengangkat Anda dengan mudah ke dunia yang lebih baik. Mojo memungkinkan Anda untuk memiliki bahasa yang sangat performant, dapat diakses, dengan tipe statis dan portabel yang terintegrasi dengan mudah dengan kode Python yang ada – memberi Anda yang terbaik dari kedua dunia. Ini memungkinkan Anda untuk mewujudkan kekuatan sebenarnya dari perangkat keras dengan multithreading dan paralelisasi dengan cara yang Python mentah hari ini tidak bisa – membuka komunitas pengembang global untuk memiliki bahasa tunggal yang skalabel dari atas ke bawah.

Keajaiban Mojo adalah kemampuannya untuk mempersatukan bahasa pemrograman dengan satu set alat, mengapa ini sangat penting?

Bahasa selalu berhasil dengan kekuatan ekosistem dan komunitas yang terbentuk di sekitarnya. Kami telah bekerja dengan komunitas sumber terbuka selama waktu yang lama, dan kami sangat berpikiran untuk terlibat dengan cara yang tepat dan memastikan bahwa kami melakukan yang benar oleh komunitas. Kami bekerja sangat keras untuk mengirim infrastruktur kami, tetapi perlu waktu untuk menskala tim kami – jadi kami tidak akan memiliki semua jawaban segera, tetapi kami akan sampai di sana. Mengambil langkah mundur, tujuan kami adalah untuk mengangkat ekosistem Python dengan mengadopsi seluruh ekosistem yang ada, dan kami tidak mencari untuk memecahnya seperti proyek lainnya. Interoperabilitas hanya membuatnya lebih mudah bagi komunitas untuk mencoba infrastruktur kami, tanpa harus menulis ulang semua kode mereka, dan itu sangat penting untuk AI.

Juga, kami telah belajar banyak dari pengembangan infrastruktur dan alat AI selama sepuluh tahun terakhir. Sistem monolitik yang ada tidak dapat diperluas atau digeneralisasi dengan mudah di luar target domain awal mereka dan konsekuensinya adalah industri penerapan AI yang sangat terfragmentasi dengan puluhan toolchain yang membawa tradeoff dan keterbatasan yang berbeda. Pola desain ini telah memperlambat laju inovasi dengan kurang dapat digunakan, kurang portabel, dan lebih sulit untuk diskalakan.

Sistem AI generasi berikutnya perlu berkualitas produksi dan memenuhi pengembang di mana mereka berada. Ini tidak boleh memerlukan penulisan ulang, pengubahan arsitektur, atau pengubahan kode pengguna yang mahal. Ini harus menjadi asli multi-framewok, multi-awan, dan multi-perangkat keras. Ini perlu menggabungkan kinerja dan efisiensi terbaik dengan kemampuan penggunaan terbaik. Ini adalah satu-satunya cara untuk mengurangi fragmentasi dan membuka inovasi perangkat keras, data, dan algoritma berikutnya.

Modular baru-baru ini mengumumkan mengumpulkan $100 juta dalam pendanaan baru, dipimpin oleh General Catalyst dan diisi oleh investor yang ada GV (Google Ventures), SV Angel, Greylock, dan Factory. Apa yang harus kita harapkan selanjutnya?

Modal baru ini akan terutama digunakan untuk tumbuh tim kami, merekrut orang-orang terbaik di infrastruktur AI, dan terus memenuhi permintaan komersial yang luar biasa yang kami lihat untuk platform kami. Modverse, komunitas kami yang lebih dari 130K+ pengembang dan 10K’s perusahaan, semua mencari infrastruktur kami – jadi kami ingin memastikan kami terus menskala dan bekerja keras untuk mengembangkannya untuk mereka, dan mengirimkannya kepada mereka. Kami memegang diri kami pada standar yang sangat tinggi, dan produk yang kami kirim adalah refleksi dari siapa kami sebagai tim, dan siapa kami menjadi sebagai perusahaan. Jika Anda tahu siapa saja yang termotivasi, yang mencintai batas perangkat lunak dan perangkat keras, dan yang ingin membantu melihat AI menembus dunia dengan cara yang berarti dan positif – kirim mereka ke arah kami.

Apa visi Anda untuk masa depan pemrograman?

Pemrograman harus menjadi keterampilan yang dapat dikembangkan dan digunakan oleh siapa saja di masyarakat. Bagi banyak orang, “gagasan” pemrograman segera memunculkan gambaran seorang pengembang menulis kode tingkat rendah yang kompleks yang memerlukan matematika dan logika yang berat – tetapi itu tidak perlu dipandang dengan cara itu. Teknologi telah selalu menjadi penggerak produktivitas yang hebat untuk masyarakat, dan dengan membuat pemrograman lebih dapat diakses dan dapat digunakan, kami dapat memberdayakan lebih banyak orang untuk mengadopsinya. Memberdayakan orang untuk mengotomatisasi proses berulang dan membuat hidup mereka lebih sederhana adalah cara yang kuat untuk memberi orang lebih banyak waktu kembali.

Dan di Python, kami sudah memiliki bahasa yang luar biasa yang telah bertahan selama waktu – itu adalah bahasa paling populer di dunia, dengan komunitas yang luar biasa – tetapi itu juga memiliki keterbatasan. Saya percaya kami memiliki kesempatan besar untuk membuatnya lebih kuat, dan untuk mendorong lebih banyak dunia untuk mengadopsi keindahan dan kesederhanaannya. Seperti yang saya katakan sebelumnya, itu tentang membangun produk yang memiliki pengungkapan kompleksitas yang progresif – memungkinkan abstraksi tingkat tinggi, tetapi menskalakan ke abstraksi yang sangat rendah juga. Kami sudah menyaksikan lompatan besar dengan model AI yang memungkinkan terjemahan kode-teks progresif – dan ini hanya akan menjadi lebih dipersonalisasi seiring waktu – tetapi di balik inovasi ajaib ini masih ada pengembang yang menulis dan mengirim kode untuk memungkinkannya. Kami telah menulis tentang ini di masa lalu – AI akan terus membuka kreativitas dan produktivitas di banyak bahasa pemrograman, tetapi saya juga percaya Mojo akan membuka aperture ekosistem lebih jauh, memberdayakan aksesibilitas, skalabilitas, dan portabilitas perangkat keras yang lebih besar bagi banyak pengembang di seluruh dunia.

Untuk menyelesaikan, AI akan menembus kehidupan kita dengan cara yang tidak terbayangkan, dan itu akan ada di mana-mana – jadi saya berharap Mojo memicu pengembang untuk pergi dan memecahkan masalah paling penting bagi kemanusiaan lebih cepat – tidak peduli di mana mereka tinggal di dunia kita. Saya pikir itu adalah masa depan yang layak untuk diperjuangkan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Modular.