Metode Deepfake Baru Menyelesaikan Masalah ‘Face Host’

Meskipun beberapa tahun terakhir media membahas potensi gambar deepfake untuk menghancurkan kepercayaan kita pada keaslian video, semua metode populer saat ini bergantung pada menemukan ‘face host’ yang secara umum mirip dengan wajah target.

Di mana footage asli menampilkan wajah lebar, tetapi subjek target memiliki wajah sempit, hasilnya selalu bermasalah, karena transfer seperti itu melibatkan memotong sebagian wajah asli dan merekonstruksi latar belakang yang terbuka. Paket saat ini seperti DeepFaceLab dan FaceSwap dapat menghasilkan hasil terbatas ketika konfigurasi dibalik (sempit>lebar), tetapi tidak memiliki fasilitas untuk menangani skenario ini dengan meyakinkan.

Sekarang, kolaborasi antara Tencent dan Universitas Xiamen Cina telah mengembangkan pendekatan baru, yang disebut HifiFace, untuk mengatasi kekurangan ini.

Dua HifiFace deepfakes, yang pertama dari Anne Hathaway, di mana kesamaan yang baik diperoleh meskipun bentuk wajah host yang tidak kompatibel. HifiFace juga berfungsi dengan baik pada target dengan kacamata, yang tradisional merupakan hambatan dalam deepfakes. Sumber: https://arxiv.org/pdf/2106.09965.pdf

Mengubah Wajah Deepfake

Pendekatan sebelumnya, seperti Subject Agnostic Face Swapping and Reenactment (FSGAN), telah bergantung pada 3DMM fitting (3D Morphable Models) atau metodologi lain yang berbasis pada pengenalan garis wajah atau transformasi, di mana garis wajah wajah yang akan “ditimpa” hampir menentukan batas pertukaran;

Deteksi garis wajah 3DMM. Sumber: https://github.com/Yinghao-Li/3DMM-fitting

Metode lain yang bersaing telah menggunakan fitur yang diambil dari jaringan pengenalan wajah, tetapi ini sebagian besar ditujukan untuk merekonstruksi tekstur daripada struktur, dan juga menghasilkan efek “masker” dalam kasus di mana wajah host tidak sepenuhnya kompatibel (yaitu batas dan bentuk garis rambut, rahang, dan pipi).

Untuk mengatasi masalah ini, peneliti Cina, yang berbasis di Laboratorium Media Analytics dan Komputasi di Departemen Kecerdasan Buatan universitas, mengembangkan jaringan ujung-ke-ujung yang mengurangi koefisien wajah target dan sumber menggunakan model rekonstruksi 3D, yang kemudian digabungkan sebagai informasi bentuk, dan dihubungkan dengan vektor identitas dari jaringan pengenalan wajah.

Informasi geometris ini kemudian dimasukkan ke dalam model encoder-decoder sebagai informasi struktural, yang digabungkan dengan ekspresi dan disposisi wajah target, yang digunakan sebagai sumber bantu untuk transfer yang akurat.

Fusi Wajah Semantik

Selain itu, HifiFace juga memiliki komponen Fusi Wajah Semantik (SFF), yang menggunakan fitur tingkat rendah dalam encoder untuk melestarikan informasi spasial dan tekstur, tanpa mengorbankan identitas gambar target. Fitur dari encoder dan decoder diintegrasikan ke dalam masker adaptif yang dipelajari, dan informasi latar belakang digabungkan ke dalam output melalui masker wajah yang dipelajari.

HifiFace dalam aksi. Sumber: https://johann.wang/HifiFace/

Dengan cara ini, HifiFace berbeda dari penggunaan batas wajah asli sebagai batas keras, dengan menggunakan segmentasi wajah semantik yang diperluas, di mana model dapat melakukan fusi adaptif yang lebih baik pada batas tepi wajah.

Dua pendekatan sebelumnya (kiri atas dan bawah), dan arsitektur HifiFace baru, yang terdiri dari encoder, decoder, pengambil identitas bentuk 3D, dan modul SFF.

Dalam perbandingan dengan metode sebelumnya FSGAN, SimSwap dan FaceShifter, HifiFace menunjukkan rekonstruksi bentuk wajah yang superior, karena tidak mengapproximasi elemen “hantu” di mana batas wajah membingungkan pemetaan identitas>identitas, tetapi merekonstruksi mereka dengan pasti.

Pengujian

Peneliti menerapkan sistem menggunakan dataset VGGFace2 dan DeepGlint Asian-Celeb. Wajah diatur melalui 5 landmark luar dan dipotong ulang menjadi 256×256 piksel. Jaringan penguatan potret juga digunakan untuk menghasilkan versi 512×512 piksel, untuk model yang lebih tinggi. Model ini dilatih di bawah Adam.

Meskipun FaceShifter melestarikan identitas dengan baik, tidak dapat menangani masalah seperti ekspresi, warna, dan oklusi seefektif HifiFace, dan memiliki struktur jaringan yang lebih kompleks. FSGAN memiliki masalah dalam mentransfer pencahayaan dari sumber ke target.

Peneliti menggunakan FaceForensics++ untuk perbandingan kuantitatif, mengambil sampel sepuluh frame masing-masing dalam batch video yang dikonversi di seluruh metode yang bersaing, dan menemukan bahwa HifiFace mencapai skor pengambilan ID yang superior. Dalam pengujian berbagai faktor lain, seperti kualitas gambar, peneliti juga menemukan bahwa metode mereka outperformed metodologi saingan.

Garis wajah Benedict Cumberbatch direproduksi dengan setia.

Hasil kerja ini mewakili langkah lebih lanjut menuju abstraksi materi sumber sehingga hanya menjadi template kasar ke dalamnya identitas yang akurat dapat ditransfer. Beberapa paket FOSS saat ini, termasuk DeepFaceLab, memiliki fungsionalitas nascent untuk penggantian kepala penuh, tetapi, seperti HifiFace, ini tidak memperhitungkan rambut, dan lebih efektif dalam “membangun” wajah daripada mengukirnya untuk mencocokkan sumber target yang diinginkan.