Ludovic Larzul, Pendiri dan CEO Mipsology – Seri Wawancara

Ludovic Larzul adalah pendiri dan CEO Mipsology, sebuah startup yang mempelopori percepatan state-of-the-art untuk inferensi pembelajaran dalam. Mereka telah menciptakan teknologi untuk mempercepat komputasi jaringan saraf dan menyembunyikan akselerator perangkat keras dari pengguna AI. Zebra Mipsology adalah akselerator komersial pertama yang mengemas teknologi tersebut untuk memberikan kinerja tinggi dan kemudahan penggunaan.

Apa yang pertama kali membuat Anda tertarik dengan AI dan mikrochip?

Saya bekerja di perancangan komputer super khusus selama sekitar 20 tahun dengan perusahaan saya sebelumnya EVE, sebelum diakuisisi oleh Synopsys pada 2012. Komputer-komputer tersebut, juga disebut emulator ASIC, digunakan oleh banyak perusahaan yang merancang ASIC di seluruh dunia. Saya sangat menikmati kompleksitas dan keragaman pekerjaan tersebut. Untuk sukses, Anda harus (a) memahami elektronik, perangkat lunak, algoritma kompleks, bagaimana orang merancang chip dan bagaimana membuatnya bekerja dengan baik, arsitektur chip, daya, dan banyak teknologi dalam lainnya, (b) memprediksi kebutuhan pelanggan beberapa tahun sebelumnya, (c) terus-menerus berinovasi, dan (d) sebagai startup, mengalahkan persaingan dengan sumber daya yang jauh lebih sedikit. Setelah 20 tahun sukses, saya mencari tantangan baru. Ini adalah saat ketika AI mulai kembali ke sorotan. AlexNet telah membuat lompatan besar dalam memahami gambar (dan melihat ke belakang, itu masih dalam masa bayi). Pembelajaran dalam adalah baru tetapi menjanjikan (Siapa yang ingat ketika itu membutuhkan hari untuk mendapatkan hasil pada jaringan sederhana?). Saya menemukan itu sangat “menyenangkan”, tetapi mengakui bahwa ada banyak tantangan.

Apa yang menginspirasi Anda untuk meluncurkan Mipsology?

Saya tidak tahu apakah saya akan menggunakan kata “inspirasi.” Ini awalnya lebih seperti: “Bisakah kita melakukan sesuatu yang berbeda dan lebih baik?” Ini dimulai dengan asumsi tentang apa yang diinginkan orang AI dan apa yang mereka lakukan, dan beberapa tahun berikutnya dihabiskan untuk menemukan solusi yang semakin baik berdasarkan itu. Saya rasa lebih dari inspirasi, saya akan mengatakan bahwa orang-orang yang saya kerja sama dengan suka menjadi yang terbaik dalam apa yang mereka ciptakan, dengan sikap kompetisi yang positif. Itu membuat tim yang kuat yang dapat menyelesaikan masalah yang orang lain gagal selesaikan dengan baik.

Mipsology menggunakan papan FPGA bukan GPU. Bisakah Anda menjelaskan apa itu FPGA?

FPGA adalah komponen elektronik yang dapat diprogram pada tingkat perangkat keras. Anda dapat membayangkannya sebagai sekumpulan Lego — beberapa juta dari mereka. Setiap blok kecil melakukan operasi sederhana seperti menyimpan nilai, atau operasi yang sedikit lebih kompleks seperti penambahan. Dengan mengelompokkan semua blok ini, memungkinkan untuk menciptakan perilaku tertentu setelah chip dibuat. Ini adalah kebalikan dari GPU dan hampir semua chip lainnya, yang dirancang untuk fungsi tertentu dan tidak dapat diubah setelahnya.

Beberapa, seperti CPU dan GPU, dapat diprogram, tetapi mereka tidak sejajar dengan FPGA. Pada saat tertentu, FPGA melakukan beberapa juta operasi sederhana. Dan ini dapat terjadi enam sampai tujuh ratus juta kali per detik. Karena mereka dapat diprogram, apa yang mereka lakukan dapat diubah kapan saja untuk menyesuaikan dengan masalah yang berbeda, sehingga kekuatan komputasi luar biasa dapat efektif. FPGA sudah hampir di mana-mana, termasuk stasiun pangkalan ponsel, jaringan, satelit, mobil, dll. Orang tidak mengenal mereka dengan baik, karena mereka tidak terlihat seperti CPU seperti yang ada di laptop Anda.

Apa yang membuat papan FPGA ini menjadi solusi yang lebih unggul daripada GPU yang lebih populer?

FPGA unggul dalam banyak aspek. Mari kita fokus pada beberapa yang paling penting.

GPU dirancang untuk rendering gambar, terutama untuk permainan. Mereka telah ditemukan untuk cocok dengan beberapa komputasi dalam AI karena kesamaan operasi. Tetapi mereka tetap utamanya didedikasikan untuk permainan, yang berarti mereka datang dengan keterbatasan yang tidak sesuai dengan jaringan saraf.

Pemrograman mereka juga terbatas pada instruksi yang diputuskan dua atau tiga tahun sebelum mereka tersedia. Masalahnya adalah jaringan saraf berkembang lebih cepat daripada desain ASIC, dan GPU adalah ASIC. Jadi, itu seperti mencoba memprediksi masa depan: itu tidak sederhana untuk benar. Anda dapat melihat tren, tetapi detailnya yang benar-benar mempengaruhi hasil, seperti kinerja. Sebaliknya, karena FPGA dapat diprogram pada tingkat perangkat keras, kita dapat lebih mudah mengikuti kemajuan AI. Ini memungkinkan kita untuk mengirimkan produk yang lebih baik dengan kinerja yang lebih tinggi, dan memenuhi kebutuhan pelanggan tanpa harus menunggu generasi silikon berikutnya.

Selain itu, GPU dirancang untuk menjadi produk konsumen. Masa pakai mereka yang disengaja singkat, karena perusahaan yang merancang GPU ingin menjual yang baru beberapa tahun kemudian kepada pemain. Ini tidak bekerja dengan baik dalam sistem elektronik yang perlu dapat diandalkan selama bertahun-tahun. FPGA dirancang untuk kuat dan digunakan 24/7 selama bertahun-tahun.

Kelebihan lain dari FPGA termasuk:

• Ada banyak pilihan yang dapat sesuai dengan area tertentu seperti jaringan atau pemrosesan video
• Mereka bekerja dengan baik di pusat data serta di Edge atau tertanam
• Mereka tidak memerlukan pendinginan khusus (jauh lebih sedikit pendinginan air seperti GPU besar)

Satu kelemahan besar adalah bahwa FPGA sulit diprogram. Ini memerlukan pengetahuan khusus. Meskipun perusahaan yang menjual FPGA telah melakukan upaya besar untuk menjembatani kesenjangan kompleksitas, itu masih tidak semudah CPU. Sebenarnya, GPU juga tidak sederhana. Tetapi perangkat lunak yang menyembunyikan pemrograman mereka untuk AI membuat pengetahuan itu tidak perlu. Itulah masalah yang Mipsology adalah yang pertama untuk memecahkan: menghilangkan kebutuhan untuk komputasi AI untuk memprogram atau memiliki pengetahuan tentang FPGA.

Apakah ada keterbatasan saat ini untuk papan FPGA?

Beberapa papan FPGA seperti beberapa papan GPU. Mereka dapat dipasang ke slot PCIe komputer. Salah satu kelebihan yang baik, selain masa pakai yang saya sebutkan sebelumnya, adalah bahwa konsumsi daya biasanya lebih rendah daripada GPU. Yang lain kurang dikenal adalah bahwa ada seleksi yang lebih besar dari papan FPGA daripada papan GPU. Ada lebih banyak FPGA untuk lebih banyak pasar, yang mengarah ke lebih banyak papan yang sesuai dengan area yang berbeda di pasar. Ini berarti bahwa ada lebih banyak kemungkinan untuk menghitung jaringan saraf di mana-mana dengan biaya yang lebih rendah. GPU lebih terbatas; mereka sesuai dengan pusat data, tetapi tidak banyak lagi.

Zebra Mipsology adalah akselerator komersial pertama yang mengemas papan FPGA untuk memberikan kinerja tinggi dan kemudahan penggunaan. Bisakah Anda menjelaskan apa itu Zebra?

Bagi mereka yang familiar dengan AI dan GPU, deskripsi termudah adalah bahwa Zebra adalah untuk FPGA apa yang Cuda/CuDNN untuk GPU. Ini adalah tumpukan perangkat lunak yang sepenuhnya menyembunyikan FPGA di balik kerangka kerja biasa seperti PyTorch atau TensorFlow. Kami utamanya menargetkan inferensi untuk gambar dan video. Zebra memulai dengan jaringan saraf yang dilatih biasanya dalam titik mengambang, dan tanpa upaya manual pengguna atau alat propietary, membuatnya berjalan di kartu berbasis FPGA. Ini sesederhana: pasang papan FPGA, muat pengemudi, sumber lingkungan Zebra, dan luncurkan aplikasi inferensi yang sama seperti yang berjalan di CPU atau GPU. Kami memiliki kuantisasi sendiri yang mempertahankan akurasi, dan kinerja keluar dari kotak. Tidak ada alat propietary yang pengguna harus pelajari, dan itu tidak membutuhkan waktu engineering berjam-jam untuk mendapatkan throughput tinggi atau latensi rendah. Ini berarti transisi yang cepat, yang juga mengurangi biaya dan waktu ke pasar.

Apa jenis aplikasi yang berbeda yang Zebra dirancang untuk?

Zebra adalah mesin akselerasi generik, sehingga dapat mempercepat komputasi untuk aplikasi apa pun yang memerlukan komputasi jaringan saraf, dengan fokus utama pada gambar dan video karena kebutuhan komputasi lebih besar untuk jenis data ini. Kami memiliki permintaan dari pasar yang sangat berbeda, tetapi mereka semua sama ketika datang ke komputasi jaringan saraf. Mereka semua biasanya memerlukan klasifikasi, segmentasi, super resolusi, posisi tubuh, dll.

Karena Zebra berjalan di atas FPGA, kartu apa pun dapat digunakan. Beberapa memiliki throughput tinggi dan biasanya digunakan di pusat data. Yang lain lebih sesuai untuk digunakan di Edge atau tertanam. Visi kami adalah, jika FPGA dapat sesuai, pengguna dapat menggunakan Zebra untuk mempercepat komputasi jaringan saraf mereka segera. Dan jika GPU atau CPU digunakan, Zebra dapat menggantikannya dan mengurangi biaya infrastruktur AI. Sebagian besar perusahaan yang kami ajak bicara mengalami masalah yang sama: mereka bisa menggelar lebih banyak aplikasi berbasis AI, tetapi biayanya membatasi mereka.

Bagi perusahaan yang ingin menggunakan Zebra, apa prosesnya?

Cukup beritahu kami di support@mipsology.com dan kami akan membantu Anda memulai.

Apakah ada yang lain yang Anda ingin bagikan tentang Mipsology?

Kami sangat terdorong oleh umpan balik yang kami terima dari komunitas AI untuk solusi Zebra kami. Secara khusus, kami diberitahu bahwa ini mungkin akselerator terbaik di pasar. Setelah hanya beberapa bulan, kami terus menambahkan ke ekosistem yang tumbuh dari mitra yang tertarik, termasuk Xilinx, Dell, Western Digital (WDC ), Avnet, TUL, dan Advantech, untuk beberapa nama.

Saya sangat menikmati mempelajari teknologi inovatif ini. Pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g