Peneliti Menggunakan Pembelajaran Dalam untuk Mengubah Foto Landmark menjadi 4D

Peneliti di Universitas Cornell telah mengembangkan metode baru yang menggunakan pembelajaran dalam untuk mengubah foto landmark dunia menjadi 4D. Tim ini mengandalkan foto-foto wisatawan yang tersedia secara publik dari titik-titik penting seperti Trevi Fountain di Roma, dan hasil akhirnya adalah gambar 3D yang dapat dimanipulasi dan menunjukkan perubahan penampilan seiring waktu.

Metode baru ini menerima dan mensintesis puluhan ribu foto yang tidak diberi tag dan tidak bertanggal, dan ini adalah langkah besar untuk penglihatan komputer.

Karya ini berjudul “Crowdsampling the Plenoptic Function,” dan dipresentasikan pada Konferensi Virtual Eropa tentang Penglihatan Komputer, yang berlangsung antara 23-28 Agustus.

Noah Snavely adalah profesor asosiasi ilmu komputer di Cornell Tech dan penulis senior makalah ini. Kontributor lainnya termasuk mahasiswa doktoral Cornell Zhengqi Li, penulis pertama makalah ini, serta Abe Davis, asisten profesor ilmu komputer di Fakultas Komputasi dan Ilmu Pengetahuan, dan mahasiswa doktoral Cornell Tech Wenqi Xian.

“Ini adalah cara baru untuk memodelkan adegan yang tidak hanya memungkinkan Anda untuk memindahkan kepala dan melihat, misalnya, air mancur dari sudut pandang yang berbeda, tetapi juga memberikan kontrol untuk mengubah waktu,” kata Snavely.

“Jika Anda benar-benar pergi ke Trevi Fountain saat liburan, penampilannya akan tergantung pada waktu Anda pergi – di malam hari, itu akan diterangi oleh lampu sorot dari bawah. Pada siang hari, itu akan diterangi oleh sinar matahari, kecuali Anda pergi pada hari yang berawan,” lanjutnya. “Kami belajar dari koleksi foto yang tidak terorganisir ini, sehingga Anda dapat menjelajahi seluruh rentang penampilan dan secara bersamaan memindahkan diri di sekitar adegan.”

Batasan Penglihatan Komputer Tradisional

Karena ada banyak tekstur yang berbeda yang perlu direproduksi, penglihatan komputer tradisional sulit untuk merepresentasikan tempat-tempat dengan akurat melalui foto.

“Dunia nyata sangat beragam dalam penampilannya dan memiliki berbagai jenis bahan – benda yang mengkilap, air, struktur tipis,” kata Snavely.

Selain hambatan tersebut, penglihatan komputer tradisional juga berjuang dengan data yang tidak konsisten. Fungsi plenoptik adalah bagaimana sesuatu tampak dari setiap sudut pandang yang mungkin di ruang dan waktu, tetapi untuk mereproduksi ini, ratusan kamera web diperlukan di lokasi. Bukan hanya itu, tetapi mereka juga harus merekam sepanjang hari dan malam. Ini bisa dilakukan, tetapi ini adalah tugas yang sangat berat sumber daya ketika melihat jumlah adegan di mana metode ini diperlukan.

Belajar dari Foto Lain

Untuk mengatasi hal ini, tim peneliti mengembangkan metode baru ini.

“Mungkin tidak ada foto yang diambil pada pukul 4 sore dari sudut pandang ini di dataset. Jadi kita harus belajar dari foto yang diambil pada pukul 9 malam di satu lokasi, dan foto yang diambil pada pukul 4:03 dari lokasi lain,” kata Snavely. “Dan kita tidak tahu granularity kapan foto-foto ini diambil. Tetapi dengan menggunakan pembelajaran dalam, kita dapat menyimpulkan bagaimana adegan akan terlihat pada waktu dan tempat tertentu.”

Sebuah representasi adegan baru yang disebut Deep Multiplane Images diperkenalkan oleh peneliti untuk melakukan interpolasi penampilan dalam empat dimensi, yaitu 3D dan perubahan seiring waktu.

Menurut Snavely, “Kita menggunakan ide yang sama yang ditemukan untuk membuat efek 3D di animasi 2D untuk membuat efek 3D di adegan dunia nyata, untuk membuat gambar multilayer dalam dengan memasangnya ke semua pengukuran yang berbeda dari foto-foto wisatawan. Ini menarik bahwa ini sebenarnya berasal dari teknik klasik yang sangat lama yang digunakan dalam animasi.”

Studi ini menunjukkan bahwa model yang dilatih dapat membuat adegan dengan 50.000 gambar yang tersedia secara publik dari berbagai situs. Tim ini percaya bahwa ini dapat memiliki implikasi di banyak bidang, termasuk penelitian penglihatan komputer dan pariwisata virtual.

“Anda dapat merasakan sensasi benar-benar berada di sana,” kata Snavely. “Ini bekerja dengan sangat baik untuk berbagai adegan.”

Proyek ini mendapat dukungan dari mantan CEO Google (GOOGL ) dan filantropis Eric Schmidt, serta Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title