RigNeRF: Metode Deepfakes Baru yang Menggunakan Neural Radiance Fields

Penelitian baru yang dikembangkan di Adobe menawarkan metode deepfakes yang efektif dan layak berbasis Neural Radiance Fields (NeRF) – mungkin inovasi pertama dalam arsitektur atau pendekatan dalam lima tahun sejak munculnya deepfakes pada 2017.

Metode ini, yang berjudul RigNeRF, menggunakan model wajah morfabel 3D (3DMMs) sebagai lapisan instrumentasi antara input yang diinginkan (yaitu identitas yang akan diterapkan ke dalam render NeRF) dan ruang neural, metode yang telah diterapkan secara luas dalam beberapa tahun terakhir oleh pendekatan sintesis wajah Generative Adversarial Network (GAN), tidak satu pun dari mereka yang telah menghasilkan kerangka kerja penggantian wajah fungsional dan berguna untuk video.

Tidak seperti video deepfakes tradisional, tidak ada konten yang bergerak yang digambarkan di sini yang ‘nyata’, tetapi merupakan ruang neural yang dapat dijelajahi yang telah dilatih pada footage singkat. Di sebelah kanan kita melihat model wajah morfabel 3D (3DMM) yang bertindak sebagai antarmuka antara manipulasi yang diinginkan (‘senyum’, ‘lihat kiri’, ‘lihat atas’, dll.) dan parameter yang biasanya tidak dapat diakses dari visualisasi Neural Radiance Field. Untuk versi high-resolution dari klip ini, serta contoh lainnya, lihat halaman proyek, atau video yang disematkan di akhir artikel ini. Sumber: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

3DMMs secara efektif merupakan model CGI wajah, parameter yang dapat disesuaikan dengan sistem sintesis gambar abstrak, seperti NeRF dan GAN, yang lainnya sulit untuk dikendalikan.

Apa yang Anda lihat di gambar di atas (gambar tengah, pria dengan kemeja biru), serta gambar langsung di bawah (gambar kiri, pria dengan kemeja biru), bukanlah ‘video nyata’ ke dalam yang telah diterapkan patch wajah ‘palsu’, tetapi adegan yang sepenuhnya disintesis yang ada hanya sebagai rendering neural volumetrik – termasuk tubuh dan latar belakang:

Dalam contoh langsung di atas, video nyata di sebelah kanan (wanita dengan gaun merah) digunakan untuk ‘mengendalikan’ identitas yang ditangkap (pria dengan kemeja biru) di sebelah kiri melalui RigNeRF, yang (menurut klaim penulis) merupakan sistem NeRF pertama yang dapat memisahkan pose dan ekspresi sambil dapat melakukan sintesis pandangan baru.

Figur pria di sebelah kiri di atas ‘ditangkap’ dari video smartphone 70 detik, dan data input (termasuk informasi adegan seluruhnya) kemudian dilatih di seluruh 4 V100 GPU untuk mendapatkan adegan.

Sejak rig parametric 3DMM juga tersedia sebagai proxy CGI parametric seluruh tubuh (bukan hanya rig wajah), RigNeRF secara potensial membuka kemungkinan deepfakes seluruh tubuh di mana gerakan manusia nyata, tekstur dan ekspresi dilewatkan ke lapisan parametric CGI, yang kemudian akan menerjemahkan aksi dan ekspresi ke dalam lingkungan NeRF yang dirender dan video.

Bagi RigNeRF – apakah itu memenuhi syarat sebagai metode deepfakes dalam arti yang dimaksudkan oleh headline? Atau apakah itu hanya juga-ran setengah lumpuh lainnya untuk DeepFaceLab dan sistem deepfakes autoencoder lainnya dari era 2017?

Peneliti kertas baru ini tidak ambigu tentang hal ini:

‘Sebagai metode yang dapat menghidupkan kembali wajah, RigNeRF rentan terhadap penyalahgunaan oleh aktor jahat untuk menghasilkan deep-fakes.’

Kertas baru ini berjudul RigNeRF: Potret Neural 3D yang Sepenuhnya Dapat Dikendalikan, dan berasal dari ShahRukh Atha dari Universitas Stonybrook, magang di Adobe selama pengembangan RigNeRF, dan empat penulis lain dari Adobe Research.

Melampaui Deepfakes Berbasis Autoencoder

Sebagian besar deepfakes viral yang telah menarik perhatian selama beberapa tahun terakhir diproduksi oleh sistem autoencoder-based, yang berasal dari kode yang dipublikasikan di subreddit r/deepfakes yang dilarang pada 2017 – meskipun tidak sebelum disalin ke GitHub, di mana saat ini telah difork lebih dari seribu kali, tidak kurang ke dalam distribusi populer (meskipun kontroversial) DeepFaceLab, dan juga proyek FaceSwap.

Selain GAN dan NeRF, kerangka kerja autoencoder juga telah bereksperimen dengan 3DMM sebagai ‘pedoman’ untuk kerangka sintesis wajah yang ditingkatkan. Contoh dari ini adalah proyek HifiFace dari Juli 2021. Namun, tidak ada inisiatif yang dapat digunakan atau populer yang tampaknya telah dikembangkan dari pendekatan ini hingga saat ini.

Data untuk adegan RigNeRF diperoleh dengan menangkap video smartphone singkat. Untuk proyek ini, peneliti RigNeRF menggunakan iPhone XR atau iPhone 12 untuk semua eksperimen. Untuk setengah pertama dari penangkapan, subjek diminta untuk melakukan berbagai ekspresi wajah dan berbicara sambil menjaga kepala tetap diam saat kamera dipindahkan di sekitar mereka.

Untuk setengah kedua dari penangkapan, kamera mempertahankan posisi tetap sementara subjek harus memindahkan kepala mereka di sekitar sambil menunjukkan berbagai ekspresi. Footage yang dihasilkan 40-70 detik (sekitar 1200-2100 frame) mewakili seluruh dataset yang akan digunakan untuk melatih model.

Mengurangi Pengumpulan Data

Dibandingkan dengan sistem autoencoder seperti DeepFaceLab, yang memerlukan pengumpulan dan kurasi foto yang relatif melelahkan, seringkali diambil dari video YouTube dan saluran media sosial lainnya, serta dari film (dalam kasus deepfakes selebriti).

Model autoencoder yang dilatih yang dihasilkan seringkali dimaksudkan untuk digunakan dalam berbagai situasi. Namun, ‘deepfakes’ selebriti yang paling teliti mungkin melatih model seluruhnya dari awal untuk satu video, meskipun pelatihan dapat memakan waktu seminggu atau lebih.

Meskipun peringatan dari peneliti kertas baru, ‘patchwork’ dan dataset yang disusun secara luas yang memuat AI porn serta ‘deepfake recastings’ populer di YouTube/TikTok tampaknya tidak mungkin menghasilkan hasil yang dapat diterima dan konsisten dalam sistem deepfakes seperti RigNeRF, yang memiliki metodologi spesifik adegan. Diberikan batasan pada penangkapan data yang diuraikan dalam karya baru ini, ini bisa membuktikan, sampai batas tertentu, sebagai perlindungan tambahan terhadap penyalahgunaan identitas oleh deepfakes jahat.

Mengadaptasi NeRF untuk Video Deepfake

NeRF adalah metode berbasis fotogrametri di mana sejumlah kecil gambar sumber yang diambil dari berbagai sudut dipasang menjadi ruang neural 3D yang dapat dijelajahi. Pendekatan ini mendapat perhatian awal tahun ini ketika NVIDIA memperkenalkan sistem Instant NeRF-nya, yang dapat memotong waktu pelatihan NeRF yang luar biasa menjadi menit, atau bahkan detik:

Instant NeRF. Sumber: https://www.youtube.com/watch?v=DJ2hcC1orc4

Hasilnya adalah adegan Neural Radiance Field yang pada dasarnya merupakan lingkungan statis yang dapat dijelajahi, tetapi yang sulit untuk diedit. Peneliti mencatat bahwa dua inisiatif NeRF sebelumnya – HyperNeRF + E/P dan NerFACE – telah mencoba sintesis video wajah, dan (secara tampaknya untuk kepentingan kelengkapan dan ketekunan) telah menetapkan RigNeRF melawan dua kerangka kerja ini dalam putaran pengujian:

Perbandingan kualitatif antara RigNeRF, HyperNeRF, dan NerFACE. Lihat video sumber dan PDF yang terkait untuk versi dengan kualitas lebih tinggi. Sumber gambar statis: https://arxiv.org/pdf/2012.03065.pdf

Namun, dalam kasus ini hasilnya, yang mendukung RigNeRF, cukup anomali, karena dua alasan: pertama, penulis mengamati bahwa ‘tidak ada perbandingan yang setara’; kedua, ini telah memerlukan pembatasan kemampuan RigNeRF untuk sebagian mencocokkan fungsionalitas yang lebih terbatas dari sistem sebelumnya.

Karena hasilnya bukanlah peningkatan inkremental atas karya sebelumnya, tetapi lebih merupakan ‘pemecahan’ dalam editability dan utilitas NeRF, kita akan meninggalkan putaran pengujian, dan melihat apa yang dilakukan RigNeRF secara berbeda dari pendahulunya.

Kelebihan Gabungan

Batasan utama NerFACE, yang dapat membuat kontrol pose/ekspresi dalam lingkungan NeRF, adalah bahwa itu menganggap footage sumber akan ditangkap dengan kamera statis. Ini secara efektif berarti bahwa itu tidak dapat menghasilkan pandangan baru yang melampaui batasan penangkapan. Ini menghasilkan sistem yang dapat membuat ‘potret bergerak’, tetapi yang tidak cocok untuk video deepfakes.

HyperNeRF, di sisi lain, meskipun dapat menghasilkan pandangan baru dan hiper-real, tidak memiliki instrumentasi yang memungkinkan untuk mengubah pose kepala atau ekspresi wajah, yang lagi-lagi tidak menghasilkan kompetitor untuk deepfakes berbasis autoencoder.

RigNeRF dapat menggabungkan dua fungsionalitas yang terisolasi ini dengan membuat ‘ruang kanonikal’, baseline default dari mana deviasi dan deformasi dapat dilakukan melalui input dari modul 3DMM.

Membuat ‘ruang kanonikal’ (tidak ada pose, tidak ada ekspresi), di mana deformasi (yaitu pose dan ekspresi) yang dihasilkan melalui modul 3DMM dapat bertindak.

Karena sistem 3DMM tidak akan cocok dengan subjek yang ditangkap, penting untuk mengkompensasi ini dalam proses. RigNeRF mencapai ini dengan bidang deformasi sebelumnya yang dihitung dari Multilayer Perceptron (MLP) yang berasal dari footage sumber.

Parameter kamera yang diperlukan untuk menghitung deformasi diperoleh melalui COLMAP, sementara parameter ekspresi dan bentuk untuk setiap frame diperoleh dari DECA.

Pengaturan lebih dioptimalkan melalui penyesuaian landmark dan parameter kamera COLMAP, dan, karena keterbatasan sumber daya komputasi, output video di-downsample ke resolusi 256×256 untuk pelatihan (proses pengurangan yang juga mempengaruhi adegan deepfakes autoencoder).

Setelah itu, jaringan deformasi dilatih pada empat V100 – perangkat keras yang kuat yang tidak mungkin berada dalam jangkauan penggemar biasa (namun, di mana pelatihan pembelajaran mesin yang bersangkutan, seringkali memungkinkan untuk menukar kekuatan dengan waktu, dan hanya menerima bahwa pelatihan model akan menjadi masalah hari atau bahkan minggu).

Dalam kesimpulan, peneliti menyatakan:

‘Berbeda dengan metode lain, RigNeRF, berkat penggunaan modul deformasi yang dipandu 3DMM, dapat memodelkan pose kepala, ekspresi wajah dan adegan potret 3D sepenuhnya dengan fidelitas tinggi, sehingga memberikan rekonstruksi yang lebih baik dengan detail yang tajam.’

Lihat video yang disematkan di bawah untuk detail lebih lanjut dan cuplikan hasil.

Dipublikasikan pertama kali pada 15 Juni 2022.