Membuat Full Body Deepfakes dengan Menggabungkan Beberapa NeRF

Penelitian sintesis gambar sedang dipenuhi dengan proposal baru untuk sistem yang dapat membuat video dan gambar tubuh penuh orang muda – terutama wanita muda – dalam berbagai jenis pakaian. Sebagian besar gambar yang dihasilkan adalah statis; terkadang, representasi bahkan bergerak, meskipun tidak selalu sangat baik.

Kecepatan penelitian ini relatif lambat dibandingkan dengan kemajuan yang cepat di bidang terkait seperti model difusi laten; namun, kelompok penelitian, sebagian besar di Asia, terus bekerja tanpa henti pada masalah ini.

Salah satu dari banyak sistem ‘virtual try-on’ yang diusulkan atau diluncurkan sebagian dari 10-15 tahun terakhir, di mana tubuh dievaluasi melalui pengenalan objek berbasis mesin pembelajaran dan disesuaikan dengan item pakaian yang diusulkan. Sumber: https://www.youtube.com/watch?v=2ZXrgGyhbak

Tujuan adalah menciptakan sistem baru untuk memungkinkan ‘virtual try-ons’ untuk pasar fashion dan pakaian – sistem yang dapat disesuaikan dengan pelanggan dan produk yang saat ini tersedia atau akan dirilis, tanpa kekakuan superimposisi waktu nyata dari pakaian, atau kebutuhan untuk meminta pelanggan mengirimkan gambar yang sedikit tidak pantas untuk pipa rendering berbasis ML.

Tidak ada arsitektur sintesis populer yang tampaknya mudah disesuaikan dengan tugas ini: ruang laten Jaringan Adversarial Generatif (GAN) tidak cocok untuk menghasilkan gerakan temporal yang meyakinkan (atau bahkan untuk editing secara umum); meskipun sangat mampu menghasilkan gerakan manusia yang realistis, Lapangan Radiasi Neural (NeRF) biasanya secara alami resisten terhadap jenis editing yang diperlukan untuk ‘mengganti’ orang atau pakaian sesuka hati; autoencoder akan memerlukan pelatihan yang melelahkan untuk orang/pakaian tertentu; dan model difusi laten, seperti GAN, tidak memiliki mekanisme temporal asli, untuk generasi video.

EVA3D

Meskipun demikian, makalah dan proposal terus berlanjut. Yang terbaru adalah sangat menarik dalam garis penelitian yang tidak terlalu menonjol dan eksklusif berorientasi bisnis.

EVA3D, dari Universitas Teknologi Nanyang Singapura, adalah indikasi pertama dari pendekatan yang telah lama ditunggu-tunggu – penggunaan banyak Jaringan Radiasi Neural, masing-masing diarahkan pada bagian tubuh yang terpisah, dan kemudian disusun menjadi visualisasi yang koheren.

Seorang wanita muda yang disusun dari beberapa jaringan NeRF, untuk EVA3D. Sumber: https://hongfz16.github.io/projects/EVA3D.html

Hasilnya, dalam hal gerakan, adalah…okay. Meskipun visualisasi EVA3D tidak keluar dari lembah yang aneh, mereka setidaknya dapat melihat jalan keluar dari tempat mereka berdiri.

Apa yang membuat EVA3D luar biasa adalah bahwa peneliti di baliknya, hampir unik di sektor sintesis gambar tubuh penuh, telah menyadari bahwa satu jaringan (GAN, NeRF atau lainnya) tidak akan dapat menangani generasi tubuh penuh manusia yang dapat diedit dan fleksibel untuk beberapa tahun – sebagian karena kecepatan penelitian, dan sebagian karena keterbatasan perangkat keras dan logistik lainnya.

Oleh karena itu, tim Nanyang telah membagi tugas menjadi 16 jaringan dan beberapa teknologi – pendekatan yang sudah diadopsi untuk rendering neural lingkungan perkotaan di Block-NeRF dan CityNeRF, dan yang tampaknya akan menjadi langkah setengah jalan yang menarik dan potensial untuk mencapai deepfakes tubuh penuh dalam lima tahun mendatang, tergantung pada pengembangan konseptual atau perangkat keras baru.

Tidak semua tantangan dalam menciptakan ‘virtual try-on’ ini bersifat teknis atau logistik, dan makalah tersebut menguraikan beberapa masalah data, terutama dalam hal pembelajaran tidak terawasi:

‘[Dataset fashion] sebagian besar memiliki pose manusia yang sangat terbatas (sebagian besar adalah pose berdiri yang sama), dan sudut pandang yang tidak seimbang (sebagian besar adalah pandangan depan). Distribusi data 2D yang tidak seimbang ini dapat menghambat pembelajaran tidak terawasi dari GAN 3D, menyebabkan kesulitan dalam sintesis pose/tampilan baru. Oleh karena itu, strategi pelatihan yang tepat diperlukan untuk mengurangi masalah ini.’

Alur kerja EVA3D membagi tubuh manusia menjadi 16 bagian yang berbeda, masing-masing dihasilkan melalui jaringan NeRF sendiri. Jelas, ini menciptakan cukup ‘bagian yang tidak beku’ untuk dapat menggerakkan figur melalui motion capture atau jenis data gerakan lainnya. Selain keuntungan ini, itu juga memungkinkan sistem untuk mengalokasikan sumber daya maksimum ke bagian tubuh yang ‘menjual’ kesan secara keseluruhan.

Sebagai contoh, kaki manusia memiliki rentang artikulasi yang sangat terbatas, sedangkan otentisitas wajah dan kepala, selain kualitas gerakan tubuh secara keseluruhan, kemungkinan besar akan menjadi token otentisitas untuk rendering.

Perbandingan kualitatif antara EVA3D dan metode sebelumnya.

Pendekatan ini berbeda secara radikal dari proyek NeRF-terpusat yang terkait konsepnya – 2021’s A-NeRF, dari Universitas British Columbia dan Reality Labs Research, yang berusaha menambahkan kerangka internal yang dapat dikendalikan ke dalam representasi NeRF ‘satu potong’ yang konvensional, membuatnya lebih sulit untuk mengalokasikan sumber daya pemrosesan ke bagian tubuh yang berbeda berdasarkan kebutuhan.

Gerakan sebelumnya – A-NeRF memasang NeRF ‘matang’ dengan jenis rigging yang sama yang digunakan industri VFX untuk menganimasi karakter CGI. Sumber: https://lemonatsu.github.io/anerf/

Bersama dengan sebagian besar proyek manusia-terpusat yang mencoba memanfaatkan ruang laten dari pendekatan populer, EVA3D menggunakan Model Linear Multi-Person yang Dikuliti (SMPL), metode CGI-berbasis ‘tradisional’ untuk menambahkan instrumentasi ke abstraksi sintesis saat ini.

Hasil kualitatif EVA3D pada DeepFashion.

Metode

Model SMPL yang digunakan dalam proses ini disesuaikan dengan ‘prior’ manusia – orang yang, pada dasarnya, sedang melakukan deepfaking secara sukarela oleh EVA3D, dan bobot kulitnya menegosiasikan perbedaan antara ruang kanonik (yaitu pose ‘istirahat’, atau ‘netral’ dari model SMPL) dan cara akhir penampilan yang dihasilkan.

Alur kerja konseptual untuk EVA3D. Sumber: https://arxiv.org/pdf/2210.04888.pdf

Seperti yang terlihat pada ilustrasi di atas, kotak pembatas SMPL digunakan sebagai definisi batas untuk 16 jaringan yang akan menyusun tubuh. Algoritma Linear Blend Skinning (LBS) dari SMPL kemudian digunakan untuk mentransfer sinar yang diambil secara terlihat ke ruang pose pasif (kanonik). Kemudian, 16 sub-jaringan diperiksa, berdasarkan konfigurasi ini, dan akhirnya disesuaikan menjadi render akhir.

Komposit NeRF keseluruhan kemudian digunakan untuk membangun kerangka GAN manusia 3D.

Render dari kerangka GAN tahap kedua akan dilatih melawan koleksi gambar 2D asli manusia/fashion.

Setiap sub-jaringan yang mewakili bagian tubuh manusia terdiri dari Multi-Layer Perceptrons (MLP) yang ditumpuk dengan SIREN (Sinusoidal Representation Networks) aktivasi. Meskipun SIREN memecahkan banyak masalah dalam alur kerja seperti ini, dan dalam proyek serupa, itu cenderung overfit daripada umum, dan peneliti menyarankan bahwa perpustakaan alternatif dapat digunakan di masa depan (lihat akhir artikel).

Data, Pelatihan, dan Pengujian

EVA3D dihadapkan pada masalah data yang tidak biasa, karena keterbatasan dan gaya template dari pose yang tersedia dalam dataset fashion, yang cenderung kekurangan pandangan alternatif atau baru, dan mungkin sengaja repetitif, untuk fokus perhatian pada pakaian daripada manusia yang mengenakannya.

Karena distribusi pose yang tidak seimbang ini, EVA3D menggunakan prior manusia (lihat di atas) berdasarkan geometri template SMPL, dan kemudian memprediksi Lapangan Jarak Tanda (SDF) offset dari pose ini, bukan pose target langsung.

Untuk eksperimen pendukung, peneliti menggunakan empat dataset: DeepFashion; SHHQ; UBCFashion; dan AIST Dance Video Database (AIST Dance DB).

Dua yang terakhir mengandung pose yang lebih bervariasi daripada dua yang pertama, tetapi mewakili individu yang sama berulang kali, yang membatalkan keanekaragaman ini; singkatnya, data lebih dari menantang, mengingat tugas.

Contoh dari SSHQ. Sumber: https://arxiv.org/pdf/2204.11823.pdf

Baseline yang digunakan adalah ENARF-GAN, proyek pertama yang merender visual NeRF dari dataset gambar 2D; Stanford dan NVIDIA’s (NVDA ) EG3D; dan StyleSDF, kolaborasi antara Universitas Washington, Adobe (ADBE ) Research, dan Universitas Stanford – semua metode yang memerlukan perpustakaan super-resolusi untuk meningkatkan resolusi asli ke resolusi tinggi.

Metri yang diadopsi adalah kontroversial Jarak Inception Frechet (FID) dan Jarak Inception Kernel (KID), bersama dengan Persentase Kunci yang Benar (PCKh@0.5).

Dalam evaluasi kuantitatif, EVA3D memimpin pada semua metri di empat dataset:

Hasil kuantitatif.

Peneliti mencatat bahwa EVA3D mencapai tingkat kesalahan terendah untuk rendering geometri, faktor kritis dalam proyek ini. Mereka juga mengamati bahwa sistem mereka dapat mengontrol pose yang dihasilkan dan mencapai skor PCKh@0.5 yang lebih tinggi, berbeda dengan EG3D, metode kompetitif yang mencetak skor lebih tinggi dalam satu kategori.

EVA3D beroperasi asli pada resolusi 512x512px, meskipun dapat dengan mudah ditingkatkan menjadi resolusi HD dengan menambahkan lapisan upscale, seperti yang baru-baru ini dilakukan oleh Google dengan penawaran video-ke-teks 1024 resolusi Imagen Video.

Metode ini tidak tanpa keterbatasan. Makalah tersebut mencatat bahwa aktivasi SIREN dapat menyebabkan artefak melingkar, yang dapat diperbaiki di versi masa depan dengan menggunakan representasi dasar alternatif, seperti EG3D, dalam kombinasi dengan decoder 2D. Selain itu, sulit untuk menyesuaikan SMPL dengan akurat ke sumber data fashion.

Akhirnya, sistem tidak dapat dengan mudah menampung item pakaian yang lebih besar dan lebih cair, seperti gaun besar; pakaian jenis ini menampilkan dinamika fluida yang sama yang membuat pembuatan rambut yang di-render secara neural sangat menantang. Presumably, solusi yang tepat dapat membantu mengatasi kedua masalah ini.

Dipublikasikan pertama kali pada 12 Oktober 2022.