Intel Labs Meningkatkan Pengembangan Visi Komputer dengan Dua Model AI Baru

VI-Depth 1.0 dan MiDaS 3.1 model AI open source meningkatkan estimasi kedalaman untuk visi komputer.

Estimasi kedalaman adalah tugas visi komputer yang menantang yang diperlukan untuk membuat berbagai aplikasi di robotika, realitas tambah (AR) dan realitas virtual (VR). Solusi yang ada seringkali kesulitan untuk memperkirakan jarak dengan benar, yang merupakan aspek penting dalam membantu perencanaan gerakan dan menghindari hambatan saat navigasi visual. Peneliti di Intel (INTC ) Labs menangani masalah ini dengan merilis dua model AI untuk estimasi kedalaman monokular: satu untuk estimasi kedalaman visual-inertial dan satu untuk estimasi kedalaman relatif yang kuat (RDE).

Model RDE terbaru, MiDaS versi 3.1, memprediksi kedalaman relatif yang kuat menggunakan hanya satu gambar sebagai input. Karena pelatihannya pada dataset besar dan beragam, ia dapat berfungsi dengan efektif pada berbagai tugas dan lingkungan. Versi terbaru MiDaS meningkatkan akurasi model untuk RDE sekitar 30% dengan set pelatihan yang lebih besar dan backbone encoder yang diperbarui.

MiDaS telah digunakan dalam banyak proyek, yang paling menonjol adalah Stable Diffusion 2.0, di mana ia memungkinkan fitur depth-to-image yang menginfer kedalaman gambar input dan kemudian menghasilkan gambar baru menggunakan teks dan informasi kedalaman. Sebagai contoh, pembuat digital Scottie Fox menggunakan kombinasi Stable Diffusion dan MiDaS untuk membuat lingkungan VR 360 derajat. Teknologi ini dapat memimpin aplikasi virtual baru, termasuk rekonstruksi tempat kejadian, lingkungan terapi untuk perawatan kesehatan, dan pengalaman bermain game yang imersif.

Sementara RDE memiliki generalisasi yang baik dan berguna, kurangnya skala mengurangi utilitasnya untuk tugas downstream yang memerlukan kedalaman metrik, seperti pemetaan, perencanaan, navigasi, pengenalan objek, rekonstruksi 3D, dan pengeditan gambar. Peneliti di Intel Labs menangani masalah ini dengan merilis VI-Depth, model AI lain yang menyediakan estimasi kedalaman yang akurat.

VI-Depth adalah pipa estimasi kedalaman visual-inertial yang mengintegrasikan estimasi kedalaman monokular dan odometri visual-inertial (VIO) untuk menghasilkan perkiraan kedalaman yang padat dengan skala metrik. Pendekatan ini menyediakan estimasi kedalaman yang akurat, yang dapat membantu dalam rekonstruksi adegan, pemetaan, dan manipulasi objek.

Menggabungkan data inertial dapat membantu menyelesaikan ambiguitas skala. Sebagian besar perangkat mobile sudah memiliki unit pengukuran inertial (IMU). Pemosisian global menentukan skala global yang tepat, sedangkan pemosisian skala padat (SML) beroperasi secara lokal dan mendorong atau menarik wilayah ke arah kedalaman metrik yang benar. Jaringan SML menggunakan MiDaS sebagai backbone encoder. Dalam pipa modular, VI-Depth menggabungkan estimasi kedalaman berbasis data dengan model prediksi kedalaman relatif MiDaS, bersama dengan unit pengukuran sensor IMU. Kombinasi sumber data memungkinkan VI-Depth untuk menghasilkan kedalaman metrik yang lebih andal untuk setiap piksel dalam gambar.

MiDaS 3.1 dan VI-Depth 1.0 tersedia di bawah lisensi MIT open source di GitHub.

Untuk informasi lebih lanjut, lihat “Vision Transformers for Dense Prediction” dan “Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer.”