Radu Rusu, CEO & Co-Founder of Fyusion – Interview Series

Radu Rusu, adalah CEO & Co-Founder of Fyusion, sebuah perusahaan yang memiliki tujuan membangun teknologi 3D yang baru dan menakjubkan secara visual yang dapat membantu mereka memecahkan masalah visual yang kompleks dengan kecerdasan buatan. Bersama mereka mengembangkan dan mempatenkan format file baru, yang disebut .fyuse, yang memungkinkan orang untuk mengambil gambar 3D yang menakjubkan dari smartphone mereka, menyebabkan sensasi media sosial dan menarik lebih dari 100 juta pengguna melalui aplikasi mobile konsumen.

Anda telah bekerja pada 3D sejak 2012, Anda saat ini adalah Presiden dan CEO of Open Perception, Inc. Bisakah Anda berbagi apa misi pernyataan dari organisasi nirlaba ini?

Saya memulai karir saya dalam pengolahan data 3D pada awal 2000-an saat melakukan studi pascasarjana, dengan ide di kepala saya bahwa saya akan membuat robot melihat dan memahami dunia dengan lebih baik dari perspektif visual. Itu membawa saya melalui sekitar satu dekade penelitian penglihatan komputer 3D yang terkait dengan robot, dan pada awal 2010-an saya menyadari bahwa apa yang saya kerjakan dapat diterapkan pada serangkaian masalah yang lebih luas. Open Perception dibuat sebagai spinoff dari Willow Garage, dan mengambil salah satu inisiatif sumber terbuka yang dilisensikan BSD—proyek Perpustakaan Awan Titik (PCL)—dan terus mempromosikan pertumbuhannya. Open Perception, Inc. didirikan di California pada April 2012 sebagai organisasi independen yang dibuat dengan tujuan mendukung pengembangan, distribusi, dan adopsi perangkat lunak sumber terbuka untuk pengolahan data sensor 2D/3D, dengan aplikasi dalam penelitian, pendidikan, dan pengembangan produk.

Pada 2014, Anda menjadi Co-Founder dan CEO of Fyusion, Inc. Bisakah Anda berbagi cerita asal mula Fyusion, Inc?

Saat terlibat dalam penelitian robotika, co-pendiri Fyusion dan saya menyadari bahwa bottleneck tidak lagi algoritma tetapi format data. Pembelajaran mesin telah mencapai puncak akurasi sekitar waktu itu di banyak domain karena jenis data yang kita gunakan, terutama dalam format visual, adalah dua dimensi (seperti foto dan video), sedangkan dunia adalah tiga dimensi. Kami merasa ada potensi untuk mengubah cara orang memahami dunia dengan memanfaatkan data 3D dalam platform pembelajaran mesin.

Pada 2014, kami memutuskan untuk membuat jenis data 3D baru, yang dihasilkan melalui perangkat lunak penglihatan komputer dan pembelajaran mesin, dengan menggabungkan beberapa sumber data dan menggunakan perangkat keras komoditas yang sangat scalable yang tersedia di kantong kita—yaitu smartphone kita.

Kami mendirikan Fyusion dengan tujuan membangun teknologi 3D yang baru dan menakjubkan secara visual yang dapat membantu semua orang memecahkan masalah visual yang kompleks dengan kecerdasan buatan.

Bersama kami mengembangkan dan mempatenkan format file baru, yang disebut .fyuse, yang memungkinkan orang untuk mengambil gambar 3D yang menakjubkan dari smartphone mereka. Itu segera menyebabkan sensasi media sosial dan menarik lebih dari 100 juta pengguna melalui aplikasi mobile konsumen.

Apa yang awalnya menarik Anda untuk mengubah makna 3D untuk aplikasi konsumen?

Kami hanya menyadari bahwa tidak ada yang telah menangani ini pada skala besar. Ini adalah masalah yang belum terpecahkan. Seperti dalam program PhD kami, hal-hal yang membuat kami terkesan secara intelektual adalah masalah yang sangat kompleks yang dikatakan tidak dapat diselesaikan.

Dalam kasus ini, sampai batas tertentu, mereka benar. Algoritma yang diperlukan untuk memecahkan ini hanya sebagian dipikirkan dan perangkat keras yang diperlukan untuk menjalankannya tidak ada, terutama pada perangkat edge seperti smartphone. Kami sebenarnya harus menunggu sampai iPhone4S keluar sehingga kami dapat menjalankan kode penglihatan komputer 3D waktu nyata pada smartphone, karena sebelum itu, iPhone hanya memiliki satu inti CPU. Sekali kami melihat apa yang dapat dilakukan oleh perangkat keras smartphone, kami menjadi sangat tertarik untuk mengambil keahlian penelitian kami dalam penglihatan komputer dan robotika dan melihat apa yang dapat kami masukkan ke dalam kamera dan CPU/GPU yang kecil ini. Butuh waktu untuk kembali ke papan gambar dan memikirkan kembali bagaimana membayangkan dan menerapkan penangkapan dan pengolahan lapangan cahaya sepenuhnya melalui perangkat lunak. Sekali kami melihat itu bekerja, Fyusion mulai berjalan.

Kami biasanya memiliki foto 2D dalam bentuk analog, dan kemudian mereka hanya didigitalkan dengan semua hal lain. Satu-satunya contoh yang kami miliki di dunia 3D pada skala besar adalah “jaringan triangle dengan tekstur” (misalnya, format file seperti OBJ) yang berasal dari permainan komputer dan grafik komputer dan dimaksudkan untuk merepresentasikan objek buatan yang dibuat secara artifisial dalam permainan. Mereka sangat bergantung pada geometri yang sempurna, yang mustahil untuk diperoleh—bagaimana Anda menangkap dan merepresentasikan air sebagai jaringan triangle dengan kamera? Apa tentang objek transparan? Daun? Benda-benda yang jauh? Dan seterusnya…

Jelas bahwa seseorang harus menangani kebutuhan akan format 3D yang ramah konsumen. Ini harus didasarkan pada paradigma yang sama sekali berbeda, dan diselesaikan dengan cara “rendering gambar 3D” (yaitu, lapangan cahaya), dan menggabungkan informasi yang tersedia pada saat penangkapan (seperti orientasi kamera melalui sensor giroskop) yang biasanya dibuang saat Anda menangkap gambar 2D. Dan kemudian, tentu saja, kami mencoba menginfer kembali informasi yang dibuang itu melalui pembelajaran mesin.

Ini adalah kesempatan kami, dan ini adalah apa yang harus diimpikan oleh perusahaan rintisan: temukan masalah yang sangat sulit yang Anda minati, tunggu waktu dan kesempatan yang tepat, dan berusaha gila-gilaan untuk memecahkannya.

Inti teknologi memungkinkan siapa saja untuk membuat gambar 3D yang imersif dan interaktif yang disebut .fyuses dengan menggerakkan kamera apa pun di sekitar orang, objek, atau adegan. Bisakah Anda membahas proses untuk membuat fyuses menggunakan aplikasi mobile?

Kami masih dalam masa bayi teknologi ini, tetapi intinya adalah: Anda mengambil smartphone yang memiliki aplikasi yang ditulis oleh Fyusion atau aplikasi mitra yang menggunakan SDK ALIS Fyusion di bawahnya, dan Anda membuka kamera. Anda mendapatkan instruksi tentang apa yang harus dilakukan, dan jika Anda mengikuti instruksi tersebut, Anda akan mendapatkan .fyuse pada perangkat yang merupakan “objek file” yang diproses oleh penglihatan komputer dan pembelajaran mesin yang dapat Anda render pada perangkat, di web, atau pada headset AR/VR/MR apa pun.

Apa teknologi penglihatan komputer dan pembelajaran mesin yang digunakan untuk membuat ini menjadi kenyataan?

Tidak ada peluru perak di sini, tetapi sebuah koktail yang luas dari alat penglihatan komputer 3D dan pembelajaran mesin yang kami ciptakan untuk memecahkan masalah ini. Ada ide dari fotogrametri (karena secara efektif kami membuat sebuah array kamera virtual dengan menggerakkan kamera tunggal di ruang), robotika (masalah fusi sensor yang besar karena kami tidak memiliki kamera tunggal lagi, tetapi sebaliknya sebuah kelompok sensor yang dapat Anda tarik data dari untuk membantu memecahkan masalah ini), grafik komputer (Anda dapat melihat ke dalam pekerjaan Siggraph 2019 kami untuk memahami bagaimana kami merepresentasikan beberapa struktur dasar), dan banyak lagi. Semua ini harus dilakukan pada perangkat dan dapat dijalankan dalam waktu nyata, yang berarti kami menggunakan compute shader dan menulis kode dalam bahasa assembly. Seperti yang disebutkan, ini hanya awal, dan semakin banyak sensor dan daya komputasi yang tersedia bagi kami, semakin banyak kami akan menggunakan throttle ALIS kami untuk memperbaiki beberapa aspek teknologi ini. Ini adalah visi jangka panjang, dan kami memiliki lebih dari satu dekade pekerjaan di depan kami untuk sepenuhnya puas dengan cara adegan dunia nyata yang kompleks terdigitalisasi.

Mudah untuk memvisualisasikan bagaimana .fyuses akan mengganggu aplikasi VR. Bisakah Anda membahas jenis aplikasi VR saat ini yang dapat menggunakan .fyuses?

Kami pikir bahwa APA PUN aplikasi VR di mana mendigitalisasi objek dunia nyata dan kemudian menampilkan adalah penting, seharusnya mendapat manfaat dari menggunakan mesin ALIS kami dan .fyuses. Tidak ada kekurangan vertikal dan aplikasi dalam ecommerce, kesehatan, otomotif, pendidikan, dan lain-lain, dan kami sangat bersemangat tentang masa depan ini.

Apa yang Anda ramalkan sebagai masa depan aplikasi VR untuk Fyuses?

Kami tidak melihat ada batasan pada teknologi saat ini, meskipun fokus kami saat ini lebih pada adegan dan objek kecil hingga menengah, dan bukan lanskap kota yang besar.

Saya dapat dengan mudah memvisualisasikan Fyuses digunakan dalam aplikasi realitas tambah (AR) dan realitas campuran (MR) di masa depan. Apa visi Anda untuk masa depan Fyuses dalam pengaturan AR dan MR?

Kami memperlakukan semua aplikasi AR/VR/MR dengan cara yang sama: Setelah objek 3D telah didigitalisasi menggunakan teknologi kami, itu dapat diekstraksi dari adegan dan ditempatkan di mana saja.

Apakah tim Anda telah membahas gagasan tentang membuat Fyuses dengan asisten virtual atau AI?

Kami belum mengeksplorasi kesempatan untuk membuat avatar virtual interaktif untuk orang-orang. Ini adalah kemungkinan yang menarik, tetapi kami mencoba untuk tetap fokus pada memecahkan serangkaian masalah yang kami kerjakan saat ini.

Apakah ada yang lain yang Anda ingin bagikan tentang Fyuses atau Fyusion, Inc?

Ini mungkin terdengar seperti pitch, tetapi… kami adalah sekelompok roboticis gila dan ilmuwan penglihatan komputer 3D, dicampur dengan fisikawan CERN, hacker dan insinyur yang luar biasa, dan itu hanya menggambarkan anggota tim teknis inti. Kami menyukai keanekaragaman dari semua jenis, karena itu membuat kami lebih pintar dan lebih kuat sebagai tim. Jika apa pun yang kami kerjakan menarik bagi siapa pun yang membaca ini, jangan ragu untuk menghubungi kami. Kami melakukan yang terbaik untuk menjawab semua orang, dan Anda mungkin menemukan diri Anda dalam situasi di mana Anda datang untuk kopi dan kemudian tinggal selama satu dekade.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Fyusion.