Meningkatkan Fotorealisme Simulasi Mengemudi dengan Jaringan Adversarial Generatif

Inisiatif penelitian baru antara Amerika Serikat dan Cina telah mengusulkan penggunaan Jaringan Adversarial Generatif (GAN) untuk meningkatkan realisme simulator mengemudi.

Dalam pendekatan baru untuk tantangan produksi skenario mengemudi POV yang fotorealistik, peneliti telah mengembangkan metode hibrida yang memanfaatkan kekuatan pendekatan yang berbeda, dengan mencampur output yang lebih fotorealistik dari sistem berbasis CycleGAN dengan elemen yang dihasilkan secara konvensional, yang memerlukan tingkat detail dan konsistensi yang lebih tinggi, seperti marka jalan dan kendaraan yang diamati dari sudut pandang pengemudi.

Grafis Neural Generatif Hibrid (HGNG) menawarkan arah baru untuk simulasi mengemudi yang mempertahankan akurasi model 3D untuk elemen penting (seperti marka jalan dan kendaraan), sambil memanfaatkan kekuatan GAN dalam menghasilkan detail latar belakang dan ambient yang menarik dan tidak berulang. Sumber

Sistem, yang disebut Grafis Neural Generatif Hibrid (HGNG), menginjeksi output terbatas dari simulator mengemudi berbasis CGI ke dalam pipa GAN, di mana kerangka kerja NVIDIA SPADE mengambil alih pekerjaan generasi lingkungan.

Kelebihan, menurut penulis, adalah bahwa lingkungan mengemudi akan menjadi lebih beragam, menciptakan pengalaman yang lebih imersif. Seperti yang ada sekarang, bahkan mengubah output CGI ke rendering neural fotorealistik tidak dapat menyelesaikan masalah pengulangan, karena footage asli yang memasuki pipa neural dibatasi oleh keterbatasan lingkungan model, dan kecenderungan untuk mengulangi tekstur dan mesh.

Footage yang diubah dari makalah ‘Peningkatan fotorealisme’, yang masih bergantung pada footage CGI, termasuk latar belakang dan detail ambient, yang membatasi variasi lingkungan dalam pengalaman simulasi. Source: https://www.youtube.com/watch?v=P1IcaBn3ej0

Makalah tersebut menyatakan*:

‘Kualitas simulator mengemudi konvensional bergantung pada kualitas pipa grafis komputer, yang terdiri dari model 3D, tekstur, dan mesin rendering. Model 3D dan tekstur yang berkualitas tinggi memerlukan keterampilan, sedangkan mesin rendering harus menjalankan perhitungan fisika yang rumit untuk representasi pencahayaan dan bayangan.’

Makalah baru ini berjudul Fotorealisme dalam Simulasi Mengemudi: Menggabungkan Sintesis Gambar Adversarial Generatif dengan Rendering, dan berasal dari peneliti di Departemen Teknik Elektro dan Komputer di Universitas Negeri Ohio, dan Chongqing Changan Automobile Co Ltd di Chongqing, Cina.

Bahan Latar Belakang

HGNG mengubah tata letak semantik dari adegan CGI yang dihasilkan dengan mencampur bahan foreground yang sebagian dirender dengan lingkungan yang dihasilkan GAN. Meskipun peneliti bereksperimen dengan berbagai dataset untuk melatih model, yang paling efektif terbukti adalah KITTI Vision Benchmark Suite, yang sebagian besar menampilkan cuplikan dari sudut pandang pengemudi di kota Karlsruhe, Jerman.

HGNG menghasilkan tata letak semantik dari output CGI, dan kemudian memasukkan SPADE, dengan pengkodean gaya yang berbeda, untuk menghasilkan gambar latar belakang fotorealistik yang acak dan beragam, termasuk objek di dekatnya dalam adegan perkotaan. Makalah baru ini menyatakan bahwa pola berulang, yang umum dalam pipa CGI yang terbatas, ‘menghancurkan imersi’ untuk pengemudi manusia yang menggunakan simulator, dan bahwa latar belakang yang lebih beragam yang dapat disediakan GAN dapat menghilangkan masalah ini.

Peneliti bereksperimen dengan Conditional GAN (cGAN) dan CYcleGAN (CyGAN) sebagai jaringan generatif, menemukan bahwa masing-masing memiliki kekuatan dan kelemahan: cGAN memerlukan dataset pasangan, dan CyGAN tidak. Namun, CyGAN belum dapat mengungguli negara-negara terdepan dalam simulator konvensional, menunggu perbaikan lebih lanjut dalam adaptasi domain dan konsistensi siklus. Oleh karena itu cGAN, dengan persyaratan data pasangan tambahan, mendapatkan hasil terbaik saat ini.

Arsitektur konseptual HGNG.

Dalam pipa grafis neural HGNG, representasi 2D dibentuk dari adegan CGI yang disintesis. Objek yang dilewatkan ke GAN dari rendering CGI terbatas pada elemen ‘esensial’, termasuk marka jalan dan kendaraan, yang GAN sendiri belum dapat merender dengan konsistensi temporal dan integritas yang memadai untuk simulator mengemudi. Gambar yang disintesis cGAN kemudian digabungkan dengan render berbasis fisika sebagian.

Uji

Untuk menguji sistem, peneliti menggunakan SPADE, yang dilatih pada Cityscapes, untuk mengubah tata letak semantik adegan menjadi output fotorealistik. Sumber CGI berasal dari simulator mengemudi sumber terbuka CARLA, yang menggunakan Unreal Engine 4 (UE4).

Output dari simulator mengemudi sumber terbuka CARLA. Sumber: https://arxiv.org/pdf/1711.03938.pdf

Peneliti menguji untuk retensi semantik – kemampuan gambar output untuk sesuai dengan masker segmentasi semantik awal yang dimaksudkan sebagai template untuk adegan.

Dalam gambar di atas, kita lihat bahwa dalam gambar ‘render saja’ (bawah kiri), render penuh tidak mendapatkan bayangan yang masuk akal. Peneliti mencatat bahwa di sini (lingkaran kuning) bayangan pohon yang jatuh ke trotoar salah diklasifikasikan oleh DeepLabV3 (kerangka segmentasi semantik yang digunakan untuk eksperimen ini) sebagai ‘konten jalan’.

Dalam aliran kolom tengah, kita lihat bahwa cGAN-gambar kendaraan tidak memiliki definisi yang konsisten untuk digunakan dalam simulator mengemudi (lingkaran merah). Dalam aliran kolom kanan, gambar yang digabungkan sesuai dengan definisi semantik asli, sambil mempertahankan elemen CGI-berbasis yang esensial.

Untuk mengevaluasi realisme, peneliti menggunakan Frechet Inception Distance (FID) sebagai metrik kinerja, karena dapat beroperasi pada data pasangan atau data tidak pasangan.

Tiga dataset digunakan sebagai kebenaran dasar: Cityscapes, KITTI, dan ADE20K.

Gambar output dibandingkan satu sama lain menggunakan skor FID, dan dibandingkan dengan pipa berbasis fisika (yaitu, CGI), sementara retensi semantik juga dievaluasi.

Hasil di atas, yang terkait dengan retensi semantik, skor yang lebih tinggi lebih baik, dengan pendekatan piramida cGAN (salah satu pipa yang diuji oleh peneliti) mencetak skor tertinggi.

Hasil yang ditampilkan langsung di atas terkait dengan skor FID, dengan HGNG mencetak skor tertinggi melalui penggunaan dataset KITTI.

Metode ‘Hanya render’ (ditandai sebagai [23]) terkait dengan output dari CARLA, aliran CGI yang tidak diharapkan untuk fotorealistik.

Hasil kualitatif pada mesin rendering konvensional (‘c’ dalam gambar langsung di atas) menunjukkan informasi latar belakang jarak jauh yang tidak realistis, seperti pohon dan vegetasi, sementara memerlukan model yang detail dan penggunaan mesh just-in-time, serta prosedur processor-intensif lainnya. Di tengah (b), kita lihat bahwa cGAN gagal mendapatkan definisi yang memadai untuk elemen esensial, mobil dan marka jalan. Dalam output yang digabungkan yang diusulkan (a), definisi kendaraan dan jalan baik, sementara lingkungan ambient beragam dan fotorealistik.

Makalah tersebut menyimpulkan dengan menyarankan bahwa konsistensi temporal dari bagian GAN yang dihasilkan dalam pipa rendering dapat ditingkatkan melalui penggunaan dataset perkotaan yang lebih besar, dan bahwa pekerjaan masa depan dalam arah ini dapat menawarkan alternatif nyata untuk transformasi neural yang mahal dari aliran CGI, sementara menyediakan realisme dan keberagaman yang lebih besar.

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada 23 Juli 2022.