Etan Ginsberg, Co-Founder of Martian – Interview Series

Etan Ginsberg adalah Co-Founder dari Martian, sebuah platform yang secara dinamis merutekan setiap prompt ke LLM terbaik. Melalui routing, Martian mencapai kinerja yang lebih tinggi dan biaya yang lebih rendah daripada penyedia individu mana pun, termasuk GPT-4. Sistem ini dibangun di atas teknologi Model Mapping perusahaan yang unik yang membongkar LLM dari kotak hitam kompleks menjadi arsitektur yang lebih dapat diinterpretasikan, membuatnya menjadi aplikasi komersial pertama dari interpretabilitas mekanistik.

Etan telah mengkode, merancang situs web, dan membangun e-bisnis untuk klien sejak dia di sekolah menengah. Seorang polymath Etan adalah Peserta Kejuaraan Memori Dunia dan menduduki peringkat 2 di Kejuaraan Membaca Cepat Dunia di Shenzhen, Cina.

Dia adalah peserta hackathon vid. Penghargaan sebelumnya termasuk 3rd prize di Tech Crunch SZ, finalis top 7 di Princeton Hackathon, dan 3 penghargaan industri di Yale Hackathon.

Anda adalah pendiri startup dua kali sebelumnya, apa perusahaan tersebut dan apa yang Anda pelajari dari pengalaman ini?

Perusahaan pertama saya adalah platform pertama untuk promosi dan pengembangan olahraga American Ninja Warrior. Kembali di tahun 2012, saya melihat American Ninja Warrior sebagai olahraga bawah tanah (seperti MMA di tahun 90-an) dan saya membuat platform pertama di mana orang bisa membeli blueprint, memesan hambatan, dan menemukan gym untuk berlatih. Saya berkonsultasi untuk perusahaan yang ingin memulai gym mereka sendiri termasuk membantu Pasukan Khusus AS dengan kursus pelatihan dan menskalakan fasilitas dari sketsa napkin ke $300k dalam pendapatan dalam 3 bulan pertama. Meskipun saya masih di sekolah menengah, saya memiliki pengalaman pertama saya dalam mengelola tim dengan 20+ pekerja dan belajar tentang manajemen yang efektif dan hubungan antar pribadi.

Perusahaan kedua saya adalah perusahaan manajemen aset alternatif yang saya dirikan pada tahun 2017 sebelum gelombang ICO di crypto. Ini adalah pengalaman pertama saya dengan NLP di mana kami menggunakan analisis sentimen data media sosial sebagai strategi investasi.

Saya belajar banyak keterampilan yang sulit dan lunak yang masuk ke dalam menjalankan sebuah startup — dari cara mengelola tim hingga aspek teknis NLP. Pada saat yang sama, saya juga belajar banyak tentang diri saya sendiri dan tentang apa yang saya ingin kerjakan. Saya percaya bahwa perusahaan yang paling sukses dimulai oleh pendiri yang memiliki visi atau tujuan yang lebih luas. Saya meninggalkan crypto pada tahun 2017 untuk fokus pada NLP karena meningkatkan dan memahami kecerdasan manusia adalah sesuatu yang benar-benar menggerakkan saya. Saya senang menemukannya.

Ketika Anda menghadiri Universitas Pennsylvania, Anda melakukan beberapa penelitian AI, apa yang Anda teliti secara khusus?

Penelitian kami awalnya berfokus pada membangun aplikasi LLM. Secara khusus, kami bekerja pada aplikasi pendidikan LLM dan membangun tutor kognitif LLM-powered pertama. Hasilnya cukup baik – kami melihat perbaikan 0,3 standar deviasi dalam hasil siswa dalam eksperimen awal – dan sistem kami telah digunakan dari Universitas Pennsylvania hingga Universitas Bhutan.

Apakah Anda dapat membahas bagaimana penelitian ini kemudian membawa Anda untuk Co-Founding Martian?

Karena kami adalah beberapa orang pertama yang membangun aplikasi di atas LLM, kami juga adalah beberapa orang pertama yang menghadapi masalah yang dihadapi orang ketika membangun aplikasi di atas LLM. Itu memandu penelitian kami ke lapisan infrastruktur. Misalnya, cukup awal, kami melakukan fine-tuning model yang lebih kecil pada output model yang lebih besar seperti GPT-3, dan fine-tuning model pada sumber data khusus untuk tugas seperti pemecahan masalah matematika dan pemrograman. Itu akhirnya membawa kami ke masalah tentang memahami perilaku model dan tentang routing model.

Asal-usul nama Martian dan hubungannya dengan kecerdasan juga menarik, dapatkah Anda berbagi cerita tentang bagaimana nama ini dipilih?

Perusahaan kami dinamai menurut sekelompok ilmuwan Hongaria-Amerika yang dikenal sebagai “The Martians”. Kelompok ini, yang hidup di abad ke-20, terdiri dari beberapa orang paling cerdas yang pernah hidup:

<li Yang paling terkenal di antara mereka adalah John Von Neumann; dia menemukan teori permainan, arsitektur komputer modern, teori automata, dan membuat kontribusi fundamental di dozens bidang lainnya.
• Paul Erdos adalah matematikawan paling prolifik sepanjang masa, dengan lebih dari 1500 makalah yang diterbitkan.
• Theodore Von Karman mendirikan teori dasar aerodinamika dan membantu mendirikan program antariksa Amerika. Batas antara Bumi dan luar angkasa yang didefinisikan manusia dinamai “garis Karman” sebagai pengakuan atas karyanya.
• Leo Szilard menemukan bom atom, terapi radiasi, dan akselerator partikel.

Ilmuwan-ilmuwan ini dan 14 lainnya seperti mereka (termasuk penemu bom hidrogen, orang yang memperkenalkan teori grup ke dalam fisika modern, dan kontributor fundamental di bidang seperti kombinatorik, teori bilangan, analisis numerik, dan teori probabilitas) memiliki kesamaan yang luar biasa – mereka semua lahir di bagian yang sama dari Budapest. Itu membuat orang bertanya-tanya: apa sumber kecerdasan yang begitu banyak?

Sebagai tanggapan, Szilard bercanda bahwa, “Martians sudah ada di sini, dan mereka menyebut diri mereka sebagai orang Hongaria!” Pada kenyataannya… tidak ada yang tahu.

Umamnitas menemukan diri mereka dalam posisi yang sama hari ini dengan mengenai sekelompok pikiran supercerdas baru: Kecerdasan Buatan. Orang tahu bahwa model dapat sangat cerdas, tetapi tidak ada yang tahu bagaimana mereka bekerja.

Misi kami adalah untuk menjawab pertanyaan itu – untuk memahami dan menghimpun kecerdasan supermodern.

Anda memiliki sejarah prestasi memori yang luar biasa, bagaimana Anda terjun ke dalam tantangan memori ini dan bagaimana pengetahuan ini membantu Anda dengan konsep Martian?

Dalam sebagian besar olahraga, atlet profesional dapat melakukan sekitar 2-3X lebih baik daripada orang rata-rata (bandingkan seberapa jauh orang rata-rata dapat menendang gol atau seberapa cepat mereka melempar bola cepat dibandingkan dengan atlet profesional). Olahraga memori menarik karena atlet terbaik dapat mengingat 100x atau bahkan 1000x lebih banyak daripada orang rata-rata dengan pelatihan yang kurang dari sebagian besar olahraga. Selain itu, ini sering kali orang dengan memori alami yang rata-rata yang mengkreditkan kinerja mereka ke teknik tertentu yang dapat dipelajari oleh siapa saja. Saya ingin memaksimalkan pengetahuan manusia, dan saya melihat kejuaraan memori dunia sebagai wawasan yang tidak dihargai tentang bagaimana kita dapat menghasilkan return luar biasa dengan meningkatkan kecerdasan manusia.

Saya ingin mengimplementasikan teknik memori di seluruh sistem pendidikan sehingga saya mulai menjelajahi bagaimana NLP dan LLM dapat membantu mengurangi biaya pengaturan yang mencegah metode pendidikan paling efektif digunakan dalam sistem pendidikan arus utama. Yash dan saya membuat tutor kognitif LLM-powered pertama dan itu membawa kami menemukan masalah dengan penerapan LLM yang kami selesaikan hari ini.

Martian pada dasarnya adalah mengabstraksikan keputusan tentang LLM mana yang digunakan, mengapa ini saat ini merupakan titik nyeri bagi pengembang?

Semakin mudah untuk membuat model bahasa – biaya komputasi menurun, algoritma menjadi lebih efisien, dan lebih banyak alat sumber terbuka tersedia untuk membuat model ini. Sebagai hasilnya, lebih banyak perusahaan dan pengembang membuat model khusus yang dilatih pada data khusus. Karena model ini memiliki biaya dan kemampuan yang berbeda, Anda dapat mendapatkan kinerja yang lebih baik dengan menggunakan beberapa model, tetapi sulit untuk menguji semuanya dan menemukan model yang tepat untuk digunakan. Kami mengurus itu untuk pengembang.

Apakah Anda dapat membahas bagaimana sistem memahami LLM mana yang terbaik digunakan untuk setiap tugas khusus?

Routing dengan baik pada dasarnya adalah masalah tentang memahami model. Untuk merutekan antara model secara efektif, Anda ingin dapat memahami apa yang menyebabkan mereka gagal atau berhasil. Dengan memahami karakteristik ini dengan model-mapping, kami dapat menentukan seberapa baik model akan berkinerja pada permintaan tanpa harus menjalankan model itu. Sebagai hasilnya, kami dapat mengirim permintaan itu ke model yang akan menghasilkan hasil terbaik.

Apakah Anda dapat membahas jenis penghematan biaya yang dapat dilihat dari optimasi LLM yang digunakan?

Kami membiarkan pengguna menentukan bagaimana mereka mempertukarkan antara biaya dan kinerja. Jika Anda hanya peduli dengan kinerja, kami dapat mengungguli GPT-4 di openai/evals. Jika Anda mencari biaya tertentu untuk membuat ekonomi unit Anda bekerja, kami membiarkan Anda menentukan biaya maksimum untuk permintaan Anda, kemudian menemukan model terbaik untuk menyelesaikan permintaan itu. Dan jika Anda ingin sesuatu yang lebih dinamis, kami membiarkan Anda menentukan berapa banyak yang Anda bersedia membayar untuk jawaban yang lebih baik – sehingga, jika dua model memiliki kinerja yang serupa tetapi perbedaan besar dalam biaya, kami dapat membiarkan Anda menggunakan model yang kurang mahal. Beberapa pelanggan kami telah melihat penurunan biaya hingga 12x.

Apa visi Anda untuk masa depan Martian?

Setiap kali kami meningkatkan pemahaman kami tentang model, itu menghasilkan pergeseran paradigma untuk AI. Fine-tuning adalah paradigma yang dipandu oleh pemahaman output. Prompting adalah paradigma yang dipandu oleh pemahaman input. Perbedaan tunggal dalam pemahaman kami tentang model adalah banyak yang membedakan ML tradisional (“ mari kita latih regresi”) dan AI generatif modern (“ mari kita prompt bayi AGI”).

Tujuan kami adalah untuk terus-menerus menghasilkan terobosan dalam interpretabilitas sampai AI sepenuhnya dipahami dan kami memiliki teori kecerdasan yang sama kuat dengan teori logika atau kalkulus kami.

Bagi kami, ini berarti membangun. Ini berarti menciptakan alat AI yang luar biasa dan meletakkannya di tangan orang. Ini berarti merilis hal-hal yang memecahkan cetakan, yang tidak pernah dilakukan sebelumnya, dan yang — lebih dari apa pun — menarik dan berguna.

Dalam kata-kata Sir Francis Bacon, “Pengetahuan adalah kekuasaan”. Oleh karena itu, cara terbaik untuk memastikan bahwa kami memahami AI adalah dengan merilis alat yang kuat. Menurut pendapat kami, router model adalah alat dari jenis itu. Kami bersemangat untuk membangunnya, tumbuh, dan meletakkannya di tangan orang.

Ini adalah yang pertama dari banyak alat yang akan kami rilis dalam beberapa bulan mendatang. Untuk menemukan teori kecerdasan buatan yang indah, untuk memungkinkan infrastruktur AI baru, untuk membantu membangun masa depan yang lebih cerah bagi manusia dan mesin – kami tidak sabar untuk berbagi alat tersebut dengan Anda.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Martian.