Jay Dawani adalah Co-founder & CEO Lemurian Labs – Seri Wawancara

Jay Dawani adalah Co-founder & CEO Lemurian Labs. Lemurian Labs berada pada misi untuk menghadirkan komputer AI yang terjangkau, mudah diakses, dan efisien, didorong oleh keyakinan bahwa AI tidak boleh menjadi mewah tetapi alat yang dapat diakses oleh semua orang. Tim pendiri di Lemurian Labs menggabungkan keahlian di AI, compiler, algoritma numerik, dan arsitektur komputer, bersatu oleh satu tujuan: untuk membayangkan komputasi yang dipercepat.

Apakah Anda bisa membawa kami melalui latar belakang Anda dan apa yang membuat Anda memasuki AI dari awal?

Tentu. Saya telah memprogram sejak saya berusia 12 tahun dan membangun permainan saya sendiri dan sebagainya, tetapi saya sebenarnya memasuki AI ketika saya berusia 15 tahun karena seorang teman ayah saya yang suka komputer. Dia membangkitkan rasa ingin tahu saya dan memberi saya buku untuk dibaca seperti ‘The Computer and The Brain’ oleh Von Neumann, ‘Perceptrons’ oleh Minsky, dan ‘AI A Modern Approach’ oleh Russel dan Norvig. Buku-buku ini sangat mempengaruhi cara berpikir saya dan terasa hampir jelas bahwa AI akan menjadi transformasional dan saya harus menjadi bagian dari bidang ini.

Ketika saya memasuki universitas, saya sangat ingin mempelajari AI, tetapi saya tidak menemukan universitas yang menawarkan itu, jadi saya memutuskan untuk mempelajari matematika terapan sebagai gantinya. Beberapa waktu setelah saya memasuki universitas, saya mendengar tentang hasil AlexNet pada ImageNet, yang sangat menarik. Pada saat itu, saya memiliki momen “sekarang atau tidak pernah” dan saya sepenuhnya memasuki membaca setiap makalah dan buku yang saya bisa dapatkan terkait dengan jaringan saraf dan mencari semua pemimpin di bidang ini untuk belajar dari mereka, karena berapa sering Anda bisa berada di sana pada kelahiran industri baru dan belajar dari para pelopornya.

Sangat cepat saya menyadari bahwa saya tidak menikmati penelitian, tetapi saya menikmati memecahkan masalah dan membangun produk yang ditenagai AI. Ini membawa saya bekerja pada mobil otonom dan robot, AI untuk penemuan material, model generatif untuk simulasi multi-fisika, simulator AI untuk pelatih pengemudi balap profesional dan membantu dengan pengaturan mobil, robot luar angkasa, perdagangan algoritma, dan banyak lagi.

Sekarang, setelah melakukan semua itu, saya mencoba untuk mengendalikan biaya pelatihan dan penerapan AI karena itu akan menjadi hambatan terbesar yang kita hadapi pada jalur kita untuk memungkinkan dunia di mana setiap orang dan perusahaan dapat memiliki akses ke dan mendapatkan manfaat dari AI dengan cara yang paling ekonomis mungkin.

Banyak perusahaan yang bekerja dalam komputasi yang dipercepat memiliki pendiri yang telah membangun karir di semikonduktor dan infrastruktur. Bagaimana Anda pikir pengalaman masa lalu Anda di AI dan matematika mempengaruhi kemampuan Anda untuk memahami pasar dan bersaing secara efektif?

Saya sebenarnya pikir tidak berasal dari industri memberi saya keuntungan sebagai orang luar. Saya telah menemukan bahwa tidak memiliki pengetahuan tentang norma industri atau kebijaksanaan konvensional memberi saya kebebasan untuk menjelajahi lebih bebas dan lebih dalam daripada yang lain karena saya tidak terikat oleh bias.

Saya memiliki kebebasan untuk bertanya ‘pertanyaan yang lebih bodoh’ dan menguji asumsi dengan cara yang tidak dilakukan oleh yang lain karena banyak hal yang diterima sebagai kebenaran. Dalam dua tahun terakhir, saya telah memiliki beberapa percakapan dengan orang-orang di dalam industri di mana mereka sangat dogmatis tentang sesuatu, tetapi mereka tidak bisa memberi tahu saya asal-usul ide tersebut, yang saya temukan sangat membingungkan. Saya suka memahami mengapa pilihan tertentu dibuat, dan apa asumsi atau kondisi yang ada pada saat itu dan apakah mereka masih berlaku.

Dengan latar belakang AI, saya cenderung mengambil pandangan perangkat lunak dengan melihat di mana beban kerja saat ini, dan di sini ada semua kemungkinan cara mereka mungkin berubah seiring waktu, dan memodelkan seluruh pipa ML untuk pelatihan dan inferensi untuk memahami bottleneck, yang memberi tahu saya di mana kesempatan untuk memberikan nilai ada. Dan karena saya berasal dari latar belakang matematika, saya suka memodelkan hal-hal untuk mendapatkan kebenaran sebanyak mungkin, dan memiliki itu sebagai panduan saya. Misalnya, kami telah membangun model untuk menghitung kinerja sistem untuk biaya total kepemilikan dan kami dapat mengukur manfaat yang dapat kami bawa kepada pelanggan dengan perangkat lunak dan/atau perangkat keras dan untuk lebih memahami keterbatasan kami dan berbagai tombol yang tersedia bagi kami, dan puluhan model lain untuk berbagai hal. Kami sangat didorong data, dan kami menggunakan wawasan dari model ini untuk memandu upaya dan kompromi kami.

Terlihat seperti kemajuan di AI sebagian besar datang dari penskalaan, yang memerlukan komputasi dan energi yang secara eksponensial lebih besar. Terlihat seperti kita berada dalam perlombaan senjata dengan setiap perusahaan mencoba membangun model terbesar, dan tampaknya tidak ada akhir dari hal ini. Apakah Anda pikir ada cara keluar dari ini?

Selalu ada cara. Penskalaan telah terbukti sangat berguna, dan saya tidak pikir kita telah melihat akhirnya. Kita akan segera melihat model yang dilatih dengan biaya setidaknya satu miliar dolar. Jika Anda ingin menjadi pemimpin di AI generatif dan membuat model dasar yang canggih, Anda perlu menghabiskan setidaknya beberapa miliar dolar per tahun untuk komputasi. Sekarang, ada batasan alami untuk penskalaan, seperti kemampuan untuk membuat dataset yang cukup besar untuk model dengan ukuran tersebut, mendapatkan akses ke orang-orang dengan pengetahuan yang tepat, dan mendapatkan akses ke cukup komputasi.

Penskalaan model terus-menerus adalah tak terhindarkan, tetapi kita juga tidak bisa mengubah seluruh permukaan bumi menjadi superkomputer berukuran planet untuk melatih dan melayani LLM untuk alasan yang jelas. Untuk mendapatkan ini di bawah kontrol, kita memiliki beberapa tombol yang dapat kita mainkan: dataset yang lebih baik, arsitektur model baru, metode pelatihan baru, compiler yang lebih baik, perbaikan algoritma dan eksploitasi, arsitektur komputer yang lebih baik, dan sebagainya. Jika kita melakukan semua itu, ada sekitar tiga pesanan besarnya perbaikan yang dapat ditemukan. Itu adalah cara terbaik keluar.

Anda adalah seorang percaya pada pemikiran prinsip pertama, bagaimana ini membentuk mindset Anda untuk menjalankan Lemurian Labs?

Kami pasti menggunakan banyak pemikiran prinsip pertama di Lemurian. Saya selalu menemukan bahwa kebijaksanaan konvensional menyesatkan karena pengetahuan itu terbentuk pada titik waktu tertentu ketika asumsi tertentu berlaku, tetapi hal-hal selalu berubah dan Anda perlu menguji asumsi tersebut secara teratur, terutama ketika hidup di dunia yang bergerak cepat.

Saya sering menanyakan pertanyaan seperti “ini tampak seperti ide yang sangat baik, tetapi mengapa ini mungkin tidak berhasil”, atau “apa yang perlu benar agar ini berhasil”, atau “apa yang kita ketahui yang merupakan kebenaran absolut dan apa asumsi yang kita buat dan mengapa?”, atau “mengapa kita percaya bahwa pendekatan ini adalah cara terbaik untuk memecahkan masalah ini”. Tujuan adalah untuk membatalkan dan membunuh ide secepat dan semurah mungkin. Kami ingin mencoba dan memaksimalkan jumlah hal yang kami coba pada titik waktu tertentu. Ini tentang menjadi terobsesi dengan masalah yang perlu diselesaikan, dan tidak terlalu beropini tentang teknologi apa yang terbaik. Terlalu banyak orang cenderung terlalu fokus pada teknologi dan mereka berakhir dengan salah memahami masalah pelanggan dan melewatkan transisi yang terjadi di industri yang dapat membatalkan pendekatan mereka, menghasilkan ketidakmampuan mereka untuk beradaptasi dengan keadaan dunia yang baru.

Tapi pemikiran prinsip pertama tidak terlalu berguna dengan sendirinya. Kami cenderung memasangkannya dengan backcasting, yang pada dasarnya berarti membayangkan hasil atau tujuan yang diinginkan dan bekerja mundur untuk mengidentifikasi langkah-langkah atau tindakan yang diperlukan untuk mewujudkannya. Ini memastikan kami berkumpul pada solusi yang bermakna yang tidak hanya inovatif tetapi juga berakar pada kenyataan. Tidak masuk akal untuk menghabiskan waktu membuat solusi yang sempurna hanya untuk menyadari bahwa itu tidak layak untuk dibangun karena berbagai keterbatasan dunia nyata seperti sumber daya, waktu, regulasi, atau membangun solusi yang tampaknya sempurna tetapi kemudian menemukan bahwa Anda telah membuatnya terlalu sulit bagi pelanggan untuk mengadopsinya.

Setiap beberapa saat kami menemukan diri kami dalam situasi di mana kami perlu membuat keputusan tetapi tidak memiliki data, dan dalam skenario ini kami menggunakan hipotesis minimum yang dapat diuji yang memberi kami sinyal tentang apakah sesuatu masuk akal untuk mengejar dengan energi yang paling sedikit.

Semua ini digabungkan untuk memberi kami kelenturan, siklus iterasi yang cepat untuk meminimalkan risiko dengan cepat, dan telah membantu kami menyesuaikan strategi dengan kepercayaan tinggi, dan membuat banyak kemajuan pada masalah yang sangat sulit dalam waktu yang sangat singkat.

Apa yang awalnya Anda fokuskan pada edge AI, apa yang menyebabkan Anda untuk memfokuskan kembali dan berpindah ke komputasi awan?

Kami memulai dengan edge AI karena pada saat itu saya sangat fokus untuk memecahkan masalah tertentu yang saya hadapi dalam mencoba untuk memperkenalkan dunia robotika otonom yang umum. Robotika otonom menjanjikan untuk menjadi pergeseran platform terbesar dalam sejarah kita, dan tampaknya kita memiliki semua yang dibutuhkan untuk membangun model dasar untuk robotika tetapi kita kekurangan chip inferensi ideal dengan keseimbangan throughput, latensi, efisiensi energi, dan kemampuan pemrograman yang tepat untuk menjalankan model dasar tersebut.

Saya tidak berpikir tentang pusat data pada saat itu karena ada cukup banyak perusahaan yang fokus di sana dan saya berharap mereka akan menyelesaikannya. Kami merancang arsitektur yang sangat kuat untuk ruang aplikasi ini dan siap untuk tape out, dan kemudian menjadi jelas bahwa dunia telah berubah dan masalahnya sebenarnya ada di pusat data. Tingkat di mana LLM tumbuh dan mengonsumsi komputasi jauh melebihi kemajuan dalam komputasi, dan ketika Anda mempertimbangkan adopsi, itu mulai menggambarkan gambaran yang mengkhawatirkan.

Terasa seperti ini adalah tempat kami harus fokuskan upaya kami, untuk menurunkan biaya energi AI di pusat data sebanyak mungkin tanpa mengenakan pembatasan pada di mana dan bagaimana AI harus berkembang. Dan jadi, kami mulai mengerjakan memecahkan masalah ini.

Apakah Anda bisa berbagi cerita asal-usul Co-Founding Lemurian Labs?

Cerita ini dimulai pada awal 2018. Saya sedang mengerjakan pelatihan model dasar untuk robotika umum dan model untuk simulasi multi-fisika generatif untuk melatih agen dan memperbarui untuk berbagai aplikasi, dan beberapa hal lain untuk membantu menskalakan ke lingkungan multi-agen. Tetapi sangat cepat saya kehabisan jumlah komputasi yang saya miliki, dan saya memperkirakan membutuhkan lebih dari 20.000 V100 GPU. Saya mencoba mengumpulkan cukup untuk mendapatkan akses ke komputasi tetapi pasar tidak siap untuk skala itu pada saat itu. Namun, itu membuat saya berpikir tentang sisi penerapan dan saya duduk untuk menghitung berapa kinerja yang saya butuhkan untuk melayani model ini di lingkungan target dan saya menyadari bahwa tidak ada chip yang ada yang bisa membawa saya ke sana.

Beberapa tahun kemudian, pada 2020, saya bertemu dengan Vassil – rekan pendiri saya – untuk menangkap kembali dan saya berbagi tantangan yang saya hadapi dalam membangun model dasar untuk otonomi, dan dia menyarankan membangun chip inferensi yang bisa menjalankan model dasar, dan dia berbagi bahwa dia telah banyak berpikir tentang format angka dan representasi yang lebih baik akan membantu tidak hanya membuat jaringan saraf mempertahankan akurasi pada bit-lebar yang lebih rendah tetapi juga membuat arsitektur yang lebih kuat.

Itu adalah ide yang menarik tetapi jauh dari wilayah saya. Tetapi itu tidak akan meninggalkan saya, yang mendorong saya untuk menghabiskan bulan dan bulan belajar tentang kerumitan arsitektur komputer, set instruksi, runtime, compiler, dan model pemrograman. Akhirnya, membangun perusahaan semikonduktor mulai masuk akal dan saya telah membentuk tesis tentang apa masalahnya dan bagaimana cara mendekatinya. Dan, kemudian di akhir tahun kami memulai Lemurian.

Anda telah berbicara sebelumnya tentang kebutuhan untuk menangani perangkat lunak terlebih dahulu ketika membangun perangkat keras, bisa Anda jelaskan lebih lanjut tentang pandangan Anda mengapa masalah perangkat keras sebenarnya adalah masalah perangkat lunak?

Apa yang banyak orang tidak sadari adalah bahwa sisi perangkat lunak dari semikonduktor jauh lebih sulit daripada perangkat keras itu sendiri. Membangun arsitektur komputer yang berguna untuk pelanggan gunakan dan mendapatkan manfaat dari adalah masalah tumpukan penuh, dan jika Anda tidak memiliki pemahaman dan kesiapan itu sebelumnya, Anda akan berakhir dengan arsitektur yang indah dan sangat performant dan efisien, tetapi sama sekali tidak dapat digunakan oleh pengembang, yang sebenarnya penting.

Ada beberapa keuntungan lain dari mengambil pendekatan perangkat lunak terlebih dahulu, tentu saja, seperti waktu ke pasar yang lebih cepat. Ini sangat penting di dunia yang bergerak cepat saat ini di mana menjadi terlalu optimis tentang arsitektur atau fitur bisa berarti Anda melewatkan pasar sepenuhnya.

Tidak mengambil pandangan perangkat lunak terlebih dahulu biasanya menghasilkan tidak memiliki derisked hal-hal penting yang diperlukan untuk adopsi produk di pasar, tidak dapat menanggapi perubahan di pasar, misalnya ketika beban kerja berkembang dengan cara yang tidak terduga, dan memiliki perangkat keras yang tidak termanfaatkan. Semua itu bukanlah hal yang baik. Itu adalah alasan besar mengapa kami peduli banyak tentang menjadi perusahaan yang berfokus pada perangkat lunak dan mengapa pandangan kami adalah bahwa Anda tidak bisa menjadi perusahaan semikonduktor tanpa benar-benar menjadi perusahaan perangkat lunak.

Apakah Anda bisa membahas tujuan tumpukan perangkat lunak segera?

Ketika kami merancang arsitektur kami dan berpikir tentang jalan depan dan di mana kesempatan untuk membawa lebih banyak kinerja dan efisiensi energi, itu mulai menjadi jelas bahwa kami akan melihat lebih banyak heterogenitas yang akan menciptakan banyak masalah pada perangkat lunak. Dan kami tidak hanya perlu dapat memprogram arsitektur heterogen dengan produktif, kami harus menangani mereka pada skala pusat data, yang merupakan tantangan yang belum pernah kita temui sebelumnya.

Ini membuat kami khawatir karena terakhir kali kami harus melalui transisi besar adalah ketika industri berpindah dari arsitektur single-core ke multi-core, dan pada saat itu dibutuhkan 10 tahun untuk membuat perangkat lunak bekerja dan orang-orang menggunakan itu. Kami tidak bisa menunggu 10 tahun untuk memahami perangkat lunak untuk heterogenitas pada skala ini, itu harus diselesaikan sekarang. Dan jadi, kami mulai memahami masalah dan apa yang perlu ada agar tumpukan perangkat lunak ini ada.

Kami saat ini berinteraksi dengan banyak perusahaan semikonduktor terkemuka dan penyedia layanan awan/hyperscaler dan akan merilis tumpukan perangkat lunak kami dalam 12 bulan ke depan. Ini adalah model pemrograman yang disatukan dengan compiler dan runtime yang dapat menargetkan targeting any kind of architecture, and orchestrating work across clusters composed of different kinds of hardware, and is capable of scaling from a single node to a thousand node cluster for the highest possible performance. Thank you for the great interview, readers who wish to learn more should visit Lemurian Labs.