Stephen Miller, Co-Founder & SVP of Engineering at Fyusion – Interview Series

Stephen Miller adalah co-founder dan SVP of Engineering di Fyusion, sebuah perusahaan 3D imaging dan computer vision, bagian dari grup Cox Automotive. Sebelum mendirikan Fyusion, ia adalah mahasiswa PhD di Stanford University yang mempelajari Computer Science, dan bekerja pada robotika pribadi seperti lipat pakaian dan mengikat simpul bedah selama studi sarjana di UC Berkeley. Ia adalah Google Hertz Fellow, SAP Stanford Graduate Fellow, dan NSF Fellow alumnus.

Apakah Anda bisa menjelaskan apa itu Fyusion dan bagaimana itu memungkinkan penangkapan dan visualisasi data 3D dengan mudah?

Fyusion adalah perusahaan computer vision yang menyediakan pengalaman pelanggan 3D yang didorong oleh AI. Kami memungkinkan orang untuk menangkap gambar 3D melalui aplikasi smartphone sederhana yang berjalan pada sebagian besar perangkat Android dan iOS. Aplikasi ini memiliki panduan langkah demi langkah dan dirancang untuk digunakan oleh siapa saja, tanpa memandang kemampuan teknis. Ini membutuhkan waktu satu atau dua menit untuk menangkap gambar. Dari sana, mesin AI kami, ALIS, dapat menganalisis gambar 3D dan mengubah data visual menjadi informasi yang dapat digunakan. Saat ini kami fokus menggunakan gambar 3D untuk mendiagnosa kerusakan eksterior mobil.

Apakah Anda bisa menjelaskan bagaimana algoritma menggunakan format file .fyuse untuk memungkinkan kamera smartphone tunggal membuat gambar 3D?

Saya menemukan bahwa membantu untuk mempertimbangkan format .fyuse bersama dengan foto dan video. Sebuah foto menangkap momen dalam waktu dari sudut yang tetap, dan video menangkap serangkaian momen dalam timeline linear. Berbeda dengan itu, gambar .fyuse menangkap apa yang kami sebut “sebuah momen dalam ruang.” Seorang pemirsa tidak terbatas pada satu sudut atau timeline linear: Mereka dapat melihat tidak hanya satu sisi dari sesuatu, tetapi juga sekitarnya.

Untuk membuat gambar .fyuse, fotografer mengelilingi subjek dalam satu arah dengan kamera ponsel. Alternatif, teknologi Fyusion juga kompatibel dengan solusi pengambilan gambar tetap dan solusi pengambilan gambar non-tradisional seperti drone.

Format file .fyuse kami adalah yang membuat gambar-gambar ini hidup. Ini ringan dan memungkinkan interaktivitas multi-faset yang kompleks. Ini juga sepenuhnya kompatibel dengan laptop, tablet, dan smartphone yang pengguna sehari-hari sudah miliki.

Apakah Anda bisa membahas beberapa data yang ditangkap dan dianalisis dengan Fyusion?

Dengan mobil, ALIS mengenali setiap bagian dari kendaraan, dan kemudian dapat menentukan di mana ada kerusakan, ukuran dan tingkat keparahan kerusakan, dan menghilangkan kemungkinan positif palsu, seperti kotoran yang terlempar dari jalan. Teknologi yang kami kembangkan dan patenkan dapat menyelesaikan masalah lain, tetapi ini adalah yang kami fokuskan saat ini.

Apakah Anda bisa membahas apa itu AI-based Lightfield Information Suite (ALIS)?

ALIS adalah mesin di balik setiap produk Fyusion. Ini memungkinkan pengambilan gambar 3D yang ringan dan pemahaman visual yang dalam. Ada tiga bagian yang membuat ALIS: Capture, Engine, dan Viewer. Dalam modul Capture, aplikasi mobile berisi tutorial bawaan dan alur kerja yang dapat disesuaikan yang memungkinkan pengguna menangkap gambar 3D berkualitas tinggi menggunakan sebagian besar smartphone di pasar.

Dalam langkah kedua, Engine, ALIS menganalisis gambar 3D dan mengubahnya menjadi informasi yang dapat digunakan, seperti jenis kerusakan yang diperlukan oleh pelanggan kami. Ini juga dapat menyediakan bukti untuk temuan dengan membuat gambar 2D berkualitas tinggi dari kerusakan yang ditemukan.

Terakhir, Viewer menampilkan format file .fyuse. .fyuse adalah paten dan ringan, dan menyediakan pengalaman 3D yang imersif dengan waktu muat yang cepat. Kami dapat melampirkan berbagai pengalaman dengan .fyuse, termasuk audio, video, dan tentu saja gambar 2D.

Fyusion siap AR dan VR, seberapa besar Anda percaya aplikasi ini akan di masa depan?

Augmented reality adalah industri miliaran dolar yang menjadi lebih mainstream, dan itu semakin mudah untuk menangkap lingkungan dalam 3D berkat perangkat mobile yang kuat dan jaringan rendah-latensi. Ketika teknologi ini memasuki mainstream, harapan pelanggan tentang pengalaman online akan meningkat secepat pembuat konten dapat mengikuti.

Terutama di industri otomotif, dengan pembelian mobil yang semakin online, dalam beberapa tahun ke depan kami antisipasi akan ada lonjakan minat pada AR, VR, dan daftar 3D. Tujuan adalah untuk mengubah halaman detail kendaraan (VDP) menjadi halaman pengalaman kendaraan (VEP), membantu baik dealer otomotif besar maupun kecil untuk terus berkembang. Ini bisa berupa apa saja, dari menambahkan logo 3D dan tag media kaya ke daftar, atau memungkinkan pembeli untuk meletakkan set golf di bagasi mobil untuk melihat bagaimana mereka pas.

Akan menarik untuk melihat bagaimana aplikasi ini mulai bekerja ke dalam penggunaan mainstream. Saya tidak berpikir itu akan membutuhkan waktu lama.

Apakah Anda bisa membahas peningkatan tarif klik dan pendapatan yang dilihat di ecommerce dari menggunakan gambar 3D versus 2D?

Saya paling familiar dengan penjualan grosir dan ritel otomotif. Gambar 3D telah menciptakan tingkat kepercayaan baru bagi pembeli online, yang sangat kritis dengan barang besar seperti mobil.

Data internal kami menunjukkan bahwa gambar 3D meningkatkan keterlibatan pengguna dan waktu yang dihabiskan di halaman detail kendaraan, yang pada gilirannya telah terbukti meningkatkan penjualan mobil. Menyediakan pengalaman 3D yang realistis dari kendaraan juga membangun sentimen positif terhadap penjual dengan meningkatkan kepercayaan.

Salah satu pilihan dengan Fyusion adalah memproses data secara lokal atau di cloud, apakah Anda bisa membahas kelebihan masing-masing?

Secara lokal, edge AI memaksa pengembang untuk bekerja dalam keterbatasan yang signifikan, terutama untuk kasus penggunaan ponsel. Selain kekhawatiran standar untuk pengembang AI – Seberapa dioptimalkan jaringan? Seberapa andal hasilnya? – ada kekhawatiran praktis yang menetapkan batas yang jelas. Tekanan memori, konsumsi baterai, kemungkinan proses Anda dijadikan latar belakang oleh pengguna atau sistem operasi, dll. Dan itu mengasumsikan CPU dan GPU yang setara tersedia di edge. Bahkan untuk perangkat bendera, ini jarang terjadi.

Anda perlu merencanakan setiap kasus sudut yang mungkin; sedangkan di cloud, setiap solusi dapat dipantau dan diperhalus.

Tapi secara kolektif, edge AI bisa dianggap sebagai solusi “autoscaling” yang sempurna: untuk setiap pengguna baru, Anda memiliki mesin baru di disposisi Anda. Jika Anda telah mengoptimalkan jaringan untuk berjalan sepenuhnya di edge, Anda dapat dengan mudah melayani dua, atau dua juta, klien.

Sementara perangkat keras terbesar akan selalu ada di cloud, umumnya diterima bahwa data adalah raja. Semakin banyak data, dan semakin dekat dengan mentah, semakin baik. AI di edge memiliki akses ke data input mentah yang tidak diproses, tanpa batasan. Sedangkan untuk solusi cloud AI, data input harus diproses (ditekan, sebagian) atau sangat besar, pada titik di mana bandwidth menjadi kekhawatiran serius.

Karena itu closest ke pengguna, Edge AI membuka kemungkinan yang tidak dimiliki Cloud AI. Jika dioptimalkan untuk berjalan dalam waktu nyata, itu dapat memberikan umpan balik dalam waktu nyata. Yang berarti Anda dapat membangun solusi yang tidak hanya mengonsumsi data, tetapi juga mendorong pengguna untuk memberikan data yang lebih baik.

Bagaimana 5G akan memungkinkan pertumbuhan cepat dalam aplikasi teknologi visi komputer?

Pada kecepatan koneksi yang lebih cepat, Anda dapat memindahkan lebih banyak pemrosesan ke cloud, yang membuka kemungkinan untuk berbagai aplikasi visi komputer baru. Namun, itu benar-benar tergantung pada aplikasi dan seberapa luas itu akan diadopsi.

5G bisa memiliki dampak yang terfragmentasi dan memperluas kesenjangan digital, karena beberapa bagian dunia memiliki koneksi yang lebih cepat dan lebih cepat, sementara daerah lain akan terus memiliki koneksi yang lambat. Aplikasi yang fokus pada orang dengan akses 5G akan jelas mendapat manfaat. Tapi aplikasi yang lebih luas diadopsi mungkin harus memilih antara menghabiskan waktu dan uang untuk apa yang pada dasarnya akan menjadi dua versi dari aplikasi yang sama, atau tetap dengan satu versi yang kurang kuat tetapi dapat berjalan pada hampir semua koneksi.

Langkah apa yang diambil Fyusion untuk memanfaatkan rollout 5G di masa depan?

Saya ingin memulai dengan mengatakan bahwa Fyusion telah menghabiskan waktu yang cukup untuk memastikan bahwa pelanggan dapat mengakses aplikasi kami bahkan di ponsel lama dengan ketersediaan bandwidth yang buruk. Dengan Manheim saja, teknologi kami telah mengambil gambar lebih dari satu juta mobil, dan kami tidak akan mencapai itu jika tidak.

Itu dikatakan, kami sangat bersemangat dengan apa yang kami lihat sekarang – ini adalah trifecta dari kecepatan pemrosesan yang meningkat, koneksi 5G, dan tidak kurang dari revolusi dalam kamera ponsel. Gabungkan semuanya dan Anda mendapatkan beberapa pengembangan baru yang sayangnya tidak bisa saya bagikan dengan Anda saat ini.

Apakah ada yang lain yang Anda ingin bagikan tentang Fyusion?

Ini adalah waktu yang sangat menyenangkan untuk bekerja di visi komputer – sebagai disiplin, kami memasuki mainstream setelah bertahun-tahun dibicarakan sebagai teknologi masa depan. Fyusion tumbuh dengan cepat dan kami merekrut ilmuwan visi komputer dari seluruh dunia. Anggota tim kami dapat bekerja dari mana saja, tetapi mereka selalu disambut di kantor kami di Potrero Hill.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Fyusion.