Mengubah LiDAR menjadi Citra Foto-Real dengan Jaringan Adversarial Generatif

Minggu ini, sebuah video yang menunjukkan sistem autopilot Tesla menabrak sisi kendaraan yang berhenti di jalan raya pada Juni 2021 dirilis. Fakta bahwa mobil itu berwarna gelap dan sulit dilihat telah memicu diskusi tentang keterbatasan mengandalkan penglihatan komputer dalam skenario mengemudi otonom.

Video yang dirilis pada Desember 2021 menunjukkan saat tabrakan. Sumber: https://twitter.com/greentheonly/status/1473307236952940548

Meskipun kompresi video pada video yang banyak dibagikan memberikan kesan yang sedikit dilebih-lebihkan tentang seberapa cepat truk yang diam ‘muncul’ di depan pengemudi dalam kasus ini, video dengan kualitas yang lebih tinggi dari peristiwa yang sama menunjukkan bahwa pengemudi yang sepenuhnya waspada juga akan mengalami kesulitan untuk bereaksi dengan apa pun kecuali dengan manuver yang terlambat atau pengereman yang tidak efektif.

Video tersebut menambah kontroversi seputar keputusan Tesla untuk menghapus sensor radar untuk Autopilot, yang diumumkan pada Mei 2021, dan sikapnya terhadap penggunaan sistem berbasis penglihatan daripada teknologi echo-location lainnya, seperti LiDAR.

Kebetulan, sebuah makalah penelitian baru dari Israel minggu ini menawarkan pendekatan untuk memadukan domain LiDAR dan penglihatan komputer, dengan mengubah awan titik LiDAR menjadi citra foto-real dengan menggunakan Jaringan Adversarial Generatif (GAN).

Dalam proyek baru dari Israel, mobil hitam yang diidentifikasi dalam footage LiDAR diubah menjadi skenario ‘siang hari’ untuk analisis berbasis penglihatan komputer, serupa dengan pendekatan yang diambil oleh Tesla untuk pengembangan sistem Autopilotnya. Sumber: https://arxiv.org/pdf/2112.11245.pdf

Para penulis menyatakan:

‘Model kami telah belajar untuk memprediksi citra yang realistis dari data awan titik, bahkan citra dengan mobil hitam.

‘Mobil hitam sulit dideteksi langsung dari awan titik karena reflektivitas yang rendah. Pendekatan ini mungkin digunakan di masa depan untuk melakukan pengenalan objek visual pada citra foto-real yang dihasilkan dari awan titik LiDAR.’

Citra Foto-Real, Aliran Gambar Berbasis LiDAR

Makalah baru tersebut berjudul Menghasilkan Citra Foto-Real dari Awan Titik LiDAR dengan Jaringan Adversarial Generatif, dan berasal dari tujuh peneliti di tiga fakultas akademik Israel, bersama dengan enam peneliti dari Innoviz Technologies yang berbasis di Israel.

Para peneliti berusaha untuk mengetahui apakah citra sintetis berbasis GAN dapat dihasilkan dengan tingkat yang sesuai dari awan titik yang dihasilkan oleh sistem LiDAR, sehingga aliran citra yang dihasilkan dapat digunakan dalam aliran kerja pengenalan objek dan segmentasi semantik.

Data

Gagasan utama, seperti dalam banyak proyek transliterasi citra [x] > [x] yang baru, adalah untuk melatih algoritma pada data yang dipasangkan, di mana citra awan titik LiDAR (yang bergantung pada cahaya yang dipancarkan oleh perangkat) dilatih melawan bingkai yang sesuai dari kamera depan.

Sejak footage diambil pada siang hari, di mana sistem penglihatan komputer dapat lebih mudah mengidentifikasi kendaraan hitam yang sulit ditemukan (seperti yang dilakukan Tesla menabrak pada Juni), pelatihan ini seharusnya menyediakan kebenaran dasar yang lebih tahan terhadap kondisi gelap.

Data dikumpulkan dengan sensor LiDAR InnovizOne, yang menawarkan tingkat pengambilan 10fps atau 15fps, tergantung pada model.

Data LiDAR yang dikumpulkan oleh perangkat Innoviz. Sumber: https://www.youtube.com/watch?v=wmcaf_VpsQI

Dataset yang dihasilkan berisi sekitar 30.000 citra dan 200.000 titik 3D yang dikumpulkan. Para peneliti melakukan dua tes: satu di mana data awan titik hanya membawa informasi reflektivitas; dan yang kedua, di mana data awan titik memiliki dua saluran, satu untuk reflektivitas dan jarak.

Untuk eksperimen pertama, GAN dilatih hingga 50 epoch, di mana overfitting mulai menjadi masalah.

Citra yang dihasilkan oleh GAN dari eksperimen pertama. Di sebelah kiri, data awan titik; di tengah, bingkai asli dari footage yang dikumpulkan, digunakan sebagai kebenaran dasar; kanan, representasi sintetis yang dihasilkan oleh Jaringan Adversarial Generatif.

Para penulis menyatakan:

‘Set tes adalah rekaman yang sepenuhnya baru yang GAN belum pernah lihat sebelumnya. Ini diprediksi menggunakan hanya informasi reflektivitas dari awan titik.

‘Kami memilih untuk menampilkan bingkai dengan mobil hitam karena mobil hitam biasanya sulit dideteksi dari LiDAR. Kami dapat melihat bahwa generator telah belajar untuk menghasilkan mobil hitam, mungkin dari informasi kontekstual, karena warna dan bentuk objek dalam citra yang diprediksi tidak identik dengan citra asli.’

Untuk eksperimen kedua, para penulis melatih GAN hingga 40 epoch dengan ukuran batch 1, menghasilkan presentasi ‘representatif’ mobil hitam yang diperoleh terutama dari konteks. Konfigurasi ini juga digunakan untuk menghasilkan video yang menampilkan footage GAN yang dihasilkan (digambarkan di atas, dalam gambar contoh di bawah) bersama dengan footage kebenaran dasar.

Evaluasi

Proses evaluasi dan perbandingan dengan metode state-of-the-art yang ada tidak mungkin dilakukan dengan proyek ini, karena sifatnya yang unik. Sebaliknya, para peneliti merancang metrik khusus terkait seberapa besar mobil (bagian kecil dan sesaat dari footage sumber) direpresentasikan dalam footage output.

Mereka memilih 100 pasang citra LiDAR/Generated dari setiap set dan efektif membagi jumlah citra mobil yang ada dalam footage sumber ke jumlah citra mobil yang ada dalam data sintetis yang dihasilkan, menghasilkan skala metrik dari 0 hingga 1.

Para penulis menyatakan:

‘Skor dalam kedua eksperimen berada di antara 0,7 dan 0,8. Mengingat kualitas umum citra yang diprediksi lebih rendah daripada citra asli (lebih sulit secara umum untuk mendeteksi objek dalam citra dengan kualitas yang lebih rendah), skor ini menunjukkan bahwa sebagian besar mobil yang ada dalam kebenaran dasar ada dalam citra yang diprediksi.’

Para peneliti menyimpulkan bahwa deteksi mobil hitam, yang merupakan masalah bagi sistem berbasis penglihatan komputer dan LiDAR, dapat dilakukan dengan mengidentifikasi kekurangan data untuk bagian citra:

‘Fakta bahwa dalam citra yang diprediksi, informasi warna dan bentuk yang tidak identik dengan kebenaran dasar, menunjukkan bahwa prediksi mobil hitam sebagian besar berasal dari informasi kontekstual dan tidak dari reflektivitas LiDAR dari titik-titik itu sendiri.

‘Kami sarankan bahwa, selain sistem LiDAR konvensional, sistem kedua yang menghasilkan citra foto-real dari awan titik LiDAR akan berjalan secara paralel untuk pengenalan objek visual dalam waktu nyata.’

Para peneliti berencana untuk mengembangkan pekerjaan ini di masa depan, dengan dataset yang lebih besar.

Latensi, dan Tumpukan Pengolahan SDV yang Padat

Seorang komentator pada postingan Twitter yang banyak dibagikan tentang kecelakaan Autopilot memperkirakan bahwa, dengan kecepatan sekitar 75mph (110 kaki per detik), umpan video yang beroperasi pada 20fps hanya akan menutupi 5,5 kaki per frame. Namun, jika kendaraan tersebut menjalankan perangkat keras dan perangkat lunak terbaru Tesla, laju frame akan menjadi 36fps (untuk kamera utama), yang menetapkan laju evaluasi pada 110 kaki per detik (tiga kaki per frame).

Selain biaya dan ergonomi, masalah dengan menggunakan LiDAR sebagai aliran data tambahan adalah skala ‘macet’ informasi yang sangat besar dari input sensor ke kerangka pengolahan SDV. Ditambah dengan sifat kritis tugas tersebut, ini tampaknya telah memaksa radar dan LiDAR keluar dari tumpukan Autopilot demi metode evaluasi berbasis citra.

Oleh karena itu, tampaknya tidak mungkin bahwa sistem yang menggunakan LiDAR – yang pada dirinya sendiri akan menambahkan bottleneck pengolahan pada Autopilot – untuk menginfer citra foto-real adalah dapat diterapkan dari sudut pandang Tesla.

Pendiri Tesla, Elon Musk, bukanlah kritikus LiDAR, yang ia tunjukkan digunakan oleh SpaceX untuk prosedur docking, tetapi menganggap bahwa teknologi tersebut ‘tidak berguna’ untuk kendaraan swa-kemudi. Musk menyarankan bahwa panjang gelombang yang dapat menembus oklusi, seperti ~4mm presisi radar, akan lebih berguna.

Namun, hingga Juni 2021, kendaraan Tesla tidak dilengkapi dengan radar. Tidak ada proyek yang dirancang untuk menghasilkan aliran citra dari radar dengan cara yang sama seperti proyek Israel saat ini (meskipun Departemen Energi AS mensponsori satu upaya untuk citra GAN yang bersumber dari radar pada 2018).

Dipublikasikan pertama kali pada 23 Desember 2021.