Disney Menggabungkan CGI dengan Neural Rendering untuk Mengatasi ‘Uncanny Valley’

Divisi penelitian AI Disney telah mengembangkan metode hibrida untuk simulasi wajah berkualitas film, menggabungkan kekuatan rendering neural wajah dengan konsistensi pendekatan berbasis CGI.

Makalah yang akan datang berjudul Rendering dengan Gaya: Menggabungkan Pendekatan Tradisional dan Neural untuk Rendering Wajah Berkualitas Tinggi, dan dipratinjau dalam video 10 menit baru di saluran YouTube Disney Research (disematkan di akhir artikel*).

Meshes digabungkan dengan rendering neural wajah. Lihat video embed di akhir artikel untuk detail dan kualitas yang lebih baik. Sumber: https://www.youtube.com/watch?v=k-RKSGbWLng (sejak digantikan oleh https://www.youtube.com/watch?v=TwpLqTmvqVk)

Seperti yang disebutkan dalam video, rendering neural wajah (termasuk deepfakes) dapat menghasilkan mata dan bagian dalam mulut yang lebih realistis daripada CGI, sedangkan tekstur wajah CGI lebih konsisten dan sesuai untuk output VFX level sinema.

Oleh karena itu, Disney bereksperimen dengan membiarkan generator neural NVIDIA StyleGan2 menangani fitur wajah sekitar dan elemen “kritis” seperti mata, sambil menumpangkan tekstur wajah CGI yang konsisten ke dalam output.

Dari video (lihat akhir artikel), konsep arsitektur di balik pendekatan hibrida Disney, di mana mesh CGI gaya lama, seperti yang digunakan untuk merekayasa ‘muda’ Carrie Fisher dan Peter Cushing yang sudah meninggal untuk Rogue One (2016), diintegrasikan ke dalam lingkungan wajah yang dirender neural.

Video tersebut membuat referensi implisit kepada kritik sering tentang ketidakaslian dan efek ‘uncanny valley’ dari rekreasi CGI aktor Inggris Star Wars yang sudah meninggal, Peter Cushing, di Rogue One (2016), mengakui:

‘[Masih] ada celah besar antara apa yang dapat dengan mudah ditangkap dan dirender versus double digital fotorealistik yang lengkap, dengan rambut, mata, dan bagian dalam mulut. Untuk menutup celah ini, biasanya diperlukan banyak pekerjaan manual dari seniman yang terampil.’

Pada kenyataannya, bahkan sistem capture wajah paling modern tidak mencoba merekayasa mata, bagian dalam mulut, atau rambut, yang memiliki masalah keaslian dalam teknik tersebut (mata) atau konsistensi temporal (rambut).

Video tersebut mengilustrasikan apa yang akan diterima oleh seniman VFX setelah sesi capture wajah modern biasa. Mata, rambut, jenggot, dan bagian dalam mulut semua harus ditangani oleh tim yang terpisah dalam pipeline produksi, selain tekstur dan pencahayaan.

Kontrol Iluminasi

Pendekatan hibrida ini juga bermanfaat dengan relighting – tantangan yang cukup besar untuk rendering neural wajah, karena superimposisi kulit CGI dapat lebih mudah dirender kembali.

Versi animasi dari pendekatan CGI/Neural.

Di lingkungan yang lebih menantang, seperti syuting luar, peneliti telah mengembangkan metode inpainting sekitar zona demiliterisasi yang mengelilingi orang yang ‘dibuat’.

Margin hitam dihasilkan untuk memungkinkan ‘kanvas’ untuk inpainting bagian luar identitas dan mengintegrasikan kulit CGI ke dalam output CGI/neural yang digabungkan.

Video tersebut mencatat:

‘[Render] neural tidak sesuai dengan konstrain latar belakang secara sempurna. – itu hanya dimaksudkan sebagai panduan, karena mengoptimalkan komponen manusia yang realistis seperti rambut, mata, dan gigi adalah tujuan utama. Lebih menantang adalah mencoba mempertahankan identitas yang konsisten, sambil mengubah pencahayaan lingkungan.’

Membuat Mesh CGI dari Render Neural

Tim peneliti juga telah mengembangkan variational autoencoder yang dilatih pada database besar gambar wajah 3D (tidak ditentukan), dan mengklaim bahwa dapat menghasilkan mesh wajah 3D ‘acak tapi masuk akal’ dari data ground truth.

Ada keterbatasan untuk penelitian ini untuk diatasi, termasuk kesulitan membuat rambut tetap konsisten secara temporal dalam rendering neural, dan video (lihat di bawah) menunjukkan beberapa contoh rambut yang berubah dengan cepat dalam putaran yang konsisten di sekitar wajah CGI/neural.

Konsistensi temporal dalam rendering video neural adalah masalah yang jauh lebih luas daripada hanya Disney, dan tampaknya kemungkinan bahwa iterasi selanjutnya dari sistem ini mungkin menggunakan penambahan rambut ‘di pos’, atau berbagai pendekatan lain untuk generasi rambut daripada berharap pendekatan neural baru akan menyelesaikannya.

Penggunaan untuk Generasi Dataset

Metode ini juga diusulkan sebagai metode potensial untuk menghasilkan data sintetis, dan memperkaya lanskap gambar wajah, yang dalam beberapa tahun terakhir telah menjadi sangat monoton.

Disney membayangkan teknik baru memenuhi dataset gambar wajah.

‘[Setiap] hasil fotorealistik yang kami hasilkan memiliki geometri yang mendasarinya, dan peta penampilan, dirender dari sudut kamera yang tidak diketahui dengan pencahayaan yang diketahui. Informasi ‘ground truth’ ini dapat sangat penting untuk melatih aplikasi downstream, seperti rekonstruksi wajah 3D monokular, pengenalan wajah, atau pemahaman adegan. Dan sehingga setiap hasil render dapat dianggap sebagai sampel data, dan kami dapat menghasilkan banyak variasi dari banyak individu yang berbeda.

‘Selain itu, bahkan untuk satu orang yang dirender dalam satu ekspresi dengan satu sudut pandang dan pencahayaan, kami dapat menghasilkan variasi acak dari render fotorealistik dengan mengubah benih acak selama optimasi.’

Peneliti mencatat bahwa keanekaragaman output yang dapat dikonfigurasi ini dapat berguna dalam melatih aplikasi pengenalan wajah, menyimpulkan:

‘[Metode] kami dapat memanfaatkan teknologi saat ini untuk capture, modeling, dan rendering kulit wajah, dan secara otomatis membuat render wajah fotorealistik yang lengkap yang sesuai dengan identitas, ekspresi, dan konfigurasi adegan yang diinginkan. Pendekatan ini memiliki aplikasi dan rendering wajah untuk film dan hiburan, menghemat pekerjaan manual seniman dan juga untuk generasi data di berbagai bidang pembelajaran dalam.’

Untuk melihat lebih dalam tentang pendekatan baru, periksa video 10 menit yang dirilis hari ini:

 * Tautan video asli digantikan dengan yang lain yang tampaknya identik 8 jam setelah artikel ini dipublikasikan. Saya mengubah semua tautan yang relevan, karena tidak ada jejak dari video asli.

8:24 GMT+2 – Video digantikan, karena diubah oleh saluran YouTube Disney Research untuk beberapa alasan.