Jay Dawani adalah Co-founder & CEO Lemurian Labs – Seri Wawancara

Jay Dawani adalah salah satu pendiri & CEO Lemurian Labs. Lab Lemuria mempunyai misi untuk menghadirkan komputer AI yang terjangkau, mudah diakses, dan efisien, didorong oleh keyakinan bahwa AI tidak boleh menjadi sebuah kemewahan tetapi sebuah alat yang dapat diakses oleh semua orang. Tim pendiri Lemurian Labs menggabungkan keahlian dalam AI, kompiler, algoritma numerik, dan arsitektur komputer, disatukan oleh satu tujuan: untuk menata ulang komputasi yang dipercepat.

Bisakah Anda memandu kami melalui latar belakang Anda dan wApa yang membuatmu tertarik pada AI?

Sangat. Aku sudah memprogram sejak umur 12 tahun dan membuat game sendiri dan sejenisnya, tapi aku mulai terjun ke AI saat umur 15 tahun karena teman ayahku yang menggemari komputer. Dia memuaskan rasa ingin tahu saya dan memberi saya buku untuk dibaca seperti 'The Computer and The Brain' karya Von Neumann, 'Perceptrons' karya Minsky, 'AI A Modern Approach' karya Russel dan Norvig. Buku-buku ini sangat memengaruhi pemikiran saya dan rasanya sudah jelas bahwa AI akan menjadi transformatif dan saya harus menjadi bagian dari bidang ini. 

Ketika tiba waktunya untuk masuk universitas, saya benar-benar ingin belajar AI tetapi saya tidak menemukan universitas mana pun yang menawarkan hal itu, jadi saya memutuskan untuk mengambil jurusan matematika terapan dan beberapa saat setelah saya masuk universitas saya mendengar tentang hasil AlexNet di ImageNet, yang mana sungguh mengasyikkan. Pada saat itu, saya memikirkan momen ini sekarang atau tidak sama sekali dan dengan sungguh-sungguh membaca setiap makalah dan buku yang bisa saya dapatkan terkait dengan jaringan saraf dan mencari semua pemimpin di bidangnya untuk belajar dari mereka, karena bagaimana caranya sering kali Anda berada di sana saat lahirnya industri baru dan belajar dari para pionirnya. 

Saya segera menyadari bahwa saya tidak menyukai penelitian, namun saya menikmati memecahkan masalah dan membuat produk yang mendukung AI. Hal ini mendorong saya untuk mengerjakan mobil dan robot otonom, AI untuk penemuan material, model generatif untuk simulasi multi-fisika, simulator berbasis AI untuk melatih pengemudi mobil balap profesional dan membantu pengaturan mobil, robot luar angkasa, perdagangan algoritmik, dan banyak lagi. 

Kini, setelah melakukan semua hal tersebut, saya mencoba untuk mengendalikan biaya pelatihan dan penerapan AI karena hal tersebut akan menjadi rintangan terbesar yang kita hadapi dalam upaya mewujudkan dunia di mana setiap orang dan perusahaan dapat memiliki akses dan manfaat dari AI. dengan cara yang paling ekonomis.

Banyak perusahaan yang bekerja di bidang komputasi yang dipercepat memiliki pendiri yang telah membangun karir di bidang semikonduktor dan infrastruktur. Menurut Anda, bagaimana pengalaman Anda di bidang AI dan matematika memengaruhi kemampuan Anda memahami pasar dan bersaing secara efektif?

Saya sebenarnya berpikir bahwa tidak berasal dari industri memberi saya keuntungan karena memiliki keuntungan dari pihak luar. Saya sering mendapati bahwa tidak memiliki pengetahuan tentang norma-norma industri atau kearifan konvensional memberikan seseorang kebebasan untuk bereksplorasi lebih bebas dan mendalami lebih dalam dibandingkan kebanyakan orang lain karena Anda tidak terbebani oleh bias. 

Saya mempunyai kebebasan untuk mengajukan pertanyaan-pertanyaan 'bodoh' dan menguji asumsi-asumsi dengan cara yang kebanyakan orang lain tidak akan lakukan karena banyak hal yang merupakan kebenaran yang diterima. Dalam dua tahun terakhir saya telah melakukan beberapa percakapan dengan orang-orang di industri ini dimana mereka sangat dogmatis tentang sesuatu namun mereka tidak dapat memberi tahu saya asal mula ide tersebut, yang menurut saya sangat membingungkan. Saya ingin memahami mengapa pilihan tertentu dibuat, dan asumsi atau kondisi apa yang ada pada saat itu dan apakah asumsi atau kondisi tersebut masih berlaku. 

Berasal dari latar belakang AI, saya cenderung mengambil pandangan perangkat lunak dengan melihat di mana beban kerja saat ini, dan berikut adalah semua kemungkinan perubahannya seiring waktu, dan memodelkan keseluruhan pipeline ML untuk pelatihan dan inferensi guna memahami kemacetan, yang menjelaskan saya di mana peluang untuk memberikan nilai berada. Dan karena saya berasal dari latar belakang matematika, saya suka memodelkan berbagai hal agar sedekat mungkin dengan kebenaran, dan hal itu membimbing saya. Misalnya, kami telah membangun model untuk menghitung kinerja sistem untuk total biaya kepemilikan dan kami dapat mengukur manfaat yang dapat kami berikan kepada pelanggan dengan perangkat lunak dan/atau perangkat keras dan untuk lebih memahami batasan kami dan berbagai tombol yang tersedia bagi kami, dan banyak lagi. model lain untuk berbagai hal. Kami sangat bergantung pada data, dan kami menggunakan wawasan dari model-model ini untuk memandu upaya dan pengorbanan kami. 

Tampaknya kemajuan dalam AI terutama berasal dari penskalaan, yang membutuhkan lebih banyak komputasi dan energi secara eksponensial. Sepertinya kita sedang berlomba senjata dengan setiap perusahaan yang berusaha membangun model terbesar, dan sepertinya tidak ada akhir yang terlihat. Apakah menurut Anda ada jalan keluar dari hal ini?

Selalu ada cara. Penskalaan telah terbukti sangat berguna, dan saya rasa kita belum melihat akhirnya. Kita akan segera melihat model dilatih dengan biaya setidaknya satu miliar dolar. Jika Anda ingin menjadi pemimpin dalam AI generatif dan menciptakan model fondasi yang mutakhir, Anda harus menghabiskan setidaknya beberapa miliar setahun untuk komputasi. Saat ini, terdapat batasan alami dalam penskalaan, seperti kemampuan membuat kumpulan data yang cukup besar untuk model sebesar itu, mendapatkan akses ke orang-orang dengan pengetahuan yang tepat, dan mendapatkan akses ke komputasi yang memadai. 

Peningkatan ukuran model yang berkelanjutan tidak dapat dihindari, namun kita juga tidak dapat mengubah seluruh permukaan bumi menjadi superkomputer seukuran planet untuk melatih dan melayani LLM karena alasan yang jelas. Untuk mengendalikan hal ini, kami memiliki beberapa tombol yang dapat kami gunakan: kumpulan data yang lebih baik, arsitektur model baru, metode pelatihan baru, kompiler yang lebih baik, peningkatan dan eksploitasi algoritmik, arsitektur komputer yang lebih baik, dan seterusnya. Jika kita melakukan semua itu, kira-kira ada tiga tingkat perbaikan yang bisa kita peroleh. Itu jalan keluar terbaik. 

Anda percaya pada pemikiran prinsip pertama, bagaimana hal ini membentuk pola pikir Anda dalam menjalankan Lemurian Labs?

Kami pasti menerapkan banyak prinsip pemikiran pertama di Lemurian. Saya selalu menganggap kebijaksanaan konvensional menyesatkan karena pengetahuan tersebut terbentuk pada titik waktu tertentu ketika asumsi-asumsi tertentu berlaku, namun segala sesuatunya selalu berubah dan Anda perlu sering menguji ulang asumsi-asumsi tersebut, terutama ketika hidup di dunia yang serba cepat. 

Saya sering mendapati diri saya mengajukan pertanyaan seperti “kelihatannya ini ide yang sangat bagus, tapi mengapa ini tidak berhasil”, atau “apa yang harus benar agar ini bisa berhasil”, atau “apa yang kita ketahui yang merupakan kebenaran mutlak dan asumsi apa yang kami buat dan alasannya?”, atau “mengapa kami yakin pendekatan khusus ini adalah cara terbaik untuk memecahkan masalah ini”. Tujuannya adalah untuk membatalkan dan mematikan ide secepat dan semurah mungkin. Kami ingin mencoba dan memaksimalkan jumlah hal yang kami coba pada waktu tertentu. Ini tentang terobsesi dengan masalah yang perlu dipecahkan, dan tidak terlalu berpandangan jauh ke depan tentang teknologi apa yang terbaik. Terlalu banyak orang yang cenderung terlalu fokus pada teknologi dan mereka akhirnya salah memahami masalah pelanggan dan melewatkan transisi yang terjadi di industri yang dapat membuat pendekatan mereka tidak valid sehingga mengakibatkan ketidakmampuan mereka untuk beradaptasi dengan keadaan dunia yang baru.

Namun pemikiran prinsip pertama tidaklah begitu berguna dengan sendirinya. Kita cenderung memasangkannya dengan backcasting, yang pada dasarnya berarti membayangkan hasil masa depan yang ideal atau diinginkan dan bekerja mundur untuk mengidentifikasi berbagai langkah atau tindakan yang diperlukan untuk mewujudkannya. Hal ini memastikan kita berkumpul pada solusi bermakna yang tidak hanya inovatif namun juga didasarkan pada kenyataan. Tidaklah masuk akal untuk menghabiskan waktu untuk menemukan solusi yang tepat hanya untuk menyadari bahwa pembangunan tersebut tidak layak dilakukan karena berbagai kendala di dunia nyata seperti sumber daya, waktu, peraturan, atau membangun solusi yang tampaknya sempurna tetapi kemudian mengetahuinya. Anda telah mempersulit pelanggan untuk mengadopsinya.

Sesekali kita menemukan diri kita dalam situasi di mana kita perlu membuat keputusan tetapi tidak memiliki data, dan dalam skenario ini kita menggunakan hipotesis minimum yang dapat diuji yang memberi kita sinyal apakah sesuatu masuk akal untuk dilakukan dengan jumlah yang paling sedikit atau tidak. pengeluaran energi. 

Semua gabungan ini memberi kami ketangkasan, siklus iterasi yang cepat untuk mengurangi risiko dengan cepat, dan telah membantu kami menyesuaikan strategi dengan keyakinan tinggi, dan membuat banyak kemajuan dalam masalah yang sangat sulit dalam waktu yang sangat singkat. 

Awalnya, Anda fokus pada tepi AI, apa yang menyebabkan Anda kembali fokus dan beralih ke komputasi awan?

Kami memulai dengan edge AI karena pada saat itu saya sangat fokus dalam mencoba memecahkan masalah khusus yang saya hadapi dalam upaya mengantarkan dunia robotika otonom serba guna. Robotika otonom menjanjikan perubahan platform terbesar dalam sejarah kolektif kita, dan sepertinya kita memiliki semua yang dibutuhkan untuk membangun model dasar robotika, namun kita kehilangan chip inferensi ideal dengan keseimbangan yang tepat antara throughput, latensi, dan efisiensi energi. , dan kemampuan program untuk menjalankan model fondasi tersebut.

Saya tidak memikirkan pusat data saat ini karena ada lebih dari cukup perusahaan yang fokus di sana dan saya berharap mereka akan mengetahuinya. Kami merancang arsitektur yang sangat kuat untuk ruang aplikasi ini dan bersiap untuk menerapkannya, dan kemudian menjadi sangat jelas bahwa dunia telah berubah dan masalahnya sebenarnya ada di pusat data. Kecepatan penskalaan dan konsumsi komputasi LLM jauh melampaui laju kemajuan dalam komputasi, dan jika Anda mempertimbangkan penerapannya, hal ini mulai memberikan gambaran yang mengkhawatirkan. 

Rasanya di sinilah kita harus memfokuskan upaya kita, untuk sebisa mungkin menurunkan biaya energi AI di pusat data tanpa membatasi di mana dan bagaimana AI harus berkembang. Jadi, kami harus berupaya memecahkan masalah ini. 

Bisakah Anda berbagi kisah asal usul Co-Founder Lemurian Labs?

Ceritanya dimulai pada awal tahun 2018. Saya sedang mengerjakan pelatihan model dasar untuk otonomi tujuan umum bersama dengan model simulasi multifisika generatif untuk melatih agen dan menyempurnakannya untuk aplikasi yang berbeda, dan beberapa hal lain untuk membantu meningkatkan skala menjadi multi lingkungan -agen. Namun dengan sangat cepat saya menghabiskan jumlah komputasi yang saya miliki, dan saya memperkirakan memerlukan lebih dari 20,000 GPU V100. Saya mencoba mengumpulkan dana yang cukup untuk mendapatkan akses ke komputasi tetapi pasar belum siap untuk skala sebesar itu. Namun hal itu membuat saya berpikir tentang sisi penerapan dan saya duduk untuk menghitung berapa banyak kinerja yang saya perlukan untuk melayani model ini di lingkungan target dan saya menyadari tidak ada chip yang dapat membawa saya ke sana. 

Beberapa tahun kemudian, pada tahun 2020, saya bertemu dengan Vassil – salah satu pendiri saya – untuk berdiskusi dan berbagi tantangan yang saya lalui dalam membangun model landasan otonomi, dan dia menyarankan untuk membangun sebuah chip inferensi yang dapat menjalankan landasan tersebut. model, dan dia berbagi bahwa dia telah banyak memikirkan tentang format angka dan representasi yang lebih baik akan membantu tidak hanya membuat jaringan saraf mempertahankan akurasi pada lebar bit yang lebih rendah tetapi juga dalam menciptakan arsitektur yang lebih kuat. 

Itu adalah ide yang menarik tetapi jauh dari ruang kemudi saya. Namun hal itu tidak meninggalkan saya, yang membuat saya menghabiskan waktu berbulan-bulan mempelajari seluk-beluk arsitektur komputer, set instruksi, runtime, kompiler, dan model pemrograman. Akhirnya, membangun perusahaan semikonduktor mulai masuk akal dan saya membuat tesis seputar apa masalahnya dan bagaimana cara mengatasinya. Dan menjelang akhir tahun kami memulai Lemurian. 

Anda telah berbicara sebelumnya tentang perlunya menangani perangkat lunak terlebih dahulu ketika membangun perangkat keras, dapatkah Anda menguraikan pandangan Anda tentang mengapa masalah perangkat keras adalah masalah perangkat lunak yang pertama dan terutama?

Apa yang banyak orang tidak sadari adalah bahwa sisi perangkat lunak semikonduktor jauh lebih sulit daripada perangkat kerasnya sendiri. Membangun arsitektur komputer yang berguna bagi pelanggan untuk digunakan dan mendapatkan manfaat adalah masalah besar, dan jika Anda tidak memiliki pemahaman dan persiapan, Anda akan mendapatkan arsitektur yang tampak indah yang sangat berkinerja dan efisien. tetapi sama sekali tidak dapat digunakan oleh pengembang, dan itulah yang sebenarnya penting. 

Tentu saja, ada manfaat lain dari mengambil pendekatan yang mengutamakan perangkat lunak, seperti waktu pemasaran yang lebih cepat. Hal ini penting dalam dunia yang bergerak cepat saat ini, karena terlalu optimis terhadap suatu arsitektur atau fitur dapat berarti Anda kehilangan pasar sepenuhnya. 

Tidak mempertimbangkan perangkat lunak secara umum mengakibatkan tidak mengabaikan hal-hal penting yang diperlukan untuk adopsi produk di pasar, tidak mampu merespons perubahan di pasar misalnya ketika beban kerja berkembang secara tidak terduga, dan perangkat keras kurang dimanfaatkan. Semua bukan hal yang hebat. Itulah alasan besar mengapa kami sangat peduli untuk menjadi berpusat pada perangkat lunak dan mengapa pandangan kami adalah bahwa Anda tidak dapat menjadi perusahaan semikonduktor tanpa benar-benar menjadi perusahaan perangkat lunak. 

Bisakah Anda mendiskusikan tujuan tumpukan perangkat lunak langsung Anda?

Ketika kami merancang arsitektur kami dan memikirkan peta jalan ke depan dan peluang yang ada untuk menghasilkan kinerja dan efisiensi energi yang lebih baik, menjadi sangat jelas bahwa kami akan melihat lebih banyak heterogenitas yang akan menciptakan banyak masalah. pada perangkat lunak. Dan kita tidak hanya perlu mampu memprogram arsitektur heterogen secara produktif, kita juga harus menanganinya pada skala pusat data, yang merupakan tantangan yang belum pernah kita temui sebelumnya. 

Hal ini membuat kami khawatir karena terakhir kali kami harus melalui transisi besar adalah ketika industri berpindah dari arsitektur single-core ke multi-core, dan pada saat itu diperlukan waktu 10 tahun agar perangkat lunak berfungsi dan orang-orang menggunakannya. Kita tidak bisa menunggu 10 tahun untuk menemukan perangkat lunak untuk heterogenitas dalam skala besar, hal itu harus diselesaikan sekarang. Jadi, kami harus berupaya memahami masalahnya dan apa yang perlu ada agar tumpukan perangkat lunak ini ada. 

Saat ini kami bekerja sama dengan banyak perusahaan semikonduktor dan penyedia layanan hyperscaler/cloud terkemuka dan akan merilis tumpukan perangkat lunak kami dalam 12 bulan ke depan. Ini adalah model pemrograman terpadu dengan compiler dan runtime yang mampu menargetkan segala jenis arsitektur, dan mengatur pekerjaan di seluruh cluster yang terdiri dari berbagai jenis perangkat keras, dan mampu menskalakan dari satu node ke cluster seribu node untuk kinerja setinggi mungkin. .

Terima kasih atas wawancaranya yang luar biasa, pembaca yang ingin belajar lebih banyak harus berkunjung Lab Lemuria.