Metode Deepfake Baru dan Lebih Sederhana yang Mengungguli Pendekatan Sebelumnya

Kolaborasi antara grup penelitian AI Tiongkok dan peneliti AS telah mengembangkan apa yang mungkin merupakan inovasi pertama dalam teknologi deepfake sejak fenomena ini muncul empat tahun yang lalu.

Metode baru ini dapat melakukan pertukaran wajah yang mengungguli semua kerangka kerja deepfake lain yang ada pada tes perseptual standar, tanpa perlu mengumpulkan dan mengkurasi dataset khusus yang besar dan melatihnya selama hingga satu minggu untuk hanya satu identitas. Untuk contoh yang disajikan dalam makalah baru, model dilatih pada keseluruhan dari dua dataset selebriti populer, pada satu NVIDIA Tesla P40 GPU selama sekitar tiga hari.

Video lengkap tersedia di akhir artikel ini. Dalam contoh dari video dalam bahan tambahan yang disediakan oleh salah satu penulis makalah baru, wajah Scarlett Johansson dipindahkan ke video sumber. CihaNet menghilangkan masalah edge-masking saat melakukan pertukaran, dengan membentuk dan melaksanakan hubungan yang lebih dalam antara identitas sumber dan target, yang berarti akhir dari ‘batas yang jelas’ dan kesalahan superimposisi lainnya yang terjadi pada pendekatan deepfake tradisional. Sumber: Sumber: https://mitchellx.github.io/#video

Pendekatan baru ini menghilangkan kebutuhan untuk ‘menempel’ identitas yang dipindahkan secara kasar ke video target, yang sering menghasilkan artefak yang muncul di mana wajah palsu berakhir dan wajah asli yang mendasarinya dimulai. Sebaliknya, ‘peta halusinasi’ digunakan untuk melakukan pencampuran yang lebih dalam dari aspek visual, karena sistem memisahkan identitas dari konteks jauh lebih efektif daripada metode saat ini, dan oleh karena itu dapat mencampur identitas target pada tingkat yang lebih mendalam.

Dari makalah. Transformasi CihaNet difasilitasi melalui peta halusinasi (baris bawah). Sistem menggunakan informasi konteks (yaitu arah wajah, rambut, kacamata, dan halangan lainnya, dll.) sepenuhnya dari gambar ke dalam identitas baru akan disisipkan, dan informasi identitas wajah sepenuhnya dari orang yang akan disisipkan ke gambar. Kemampuan untuk memisahkan wajah dari konteks ini sangat penting untuk keberhasilan sistem. Sumber: https://dl.acm.org/doi/pdf/10.1145/3474085.3475257

Secara efektif, peta halusinasi baru ini menyediakan konteks yang lebih lengkap untuk pertukaran, sebagai lawan dari masker keras yang sering memerlukan kurasi ekstensif (dan dalam kasus DeepFaceLab, pelatihan terpisah) sambil menyediakan fleksibilitas terbatas dalam hal inkorporasi nyata dari kedua identitas.

Dari contoh yang disediakan dalam bahan tambahan, menggunakan kedua dataset FFHQ dan Celeb-A HQ, di seluruh VGGFace dan Forensics++. Dua kolom pertama menunjukkan gambar asli yang dipilih secara acak untuk dipertukarkan. Empat kolom berikutnya menunjukkan hasil pertukaran menggunakan empat metode paling efektif yang saat ini tersedia, sementara kolom terakhir menunjukkan hasil dari CihaNet. Repositori FaceSwap telah digunakan, bukan DeepFaceLab yang lebih populer, karena kedua proyek tersebut merupakan fork dari kode asli deepfakes 2017 di GitHub. Meskipun kedua proyek tersebut telah menambahkan model, teknik, antarmuka pengguna yang beragam, dan alat tambahan, kode yang mendasari yang membuat deepfakes memungkinkan tidak pernah berubah, dan tetap umum untuk keduanya. Sumber: https://dl.acm.org/action/downloadSupplement?doi=10.1145%2F3474085.3475257&file=mfp0519aux.zip

Makalah tersebut, berjudul One-stage Context and Identity Hallucination Network, ditulis oleh peneliti yang berafiliasi dengan JD AI Research, dan Universitas Massachusetts Amherst, dan didukung oleh Program R&D Kunci Nasional Tiongkok di bawah Grant No. 2020AAA0103800. Makalah tersebut diperkenalkan pada Konferensi Internasional ke-29 ACM tentang Multimedia, pada tanggal 20-24 Oktober, di Chengdu, Tiongkok.

Tidak Perlu ‘Keseimbangan Wajah’

Baik perangkat lunak deepfake paling populer saat ini, DeepFaceLab, dan fork yang bersaing FaceSwap, melakukan alur kerja yang panjang dan seringkali dikurasi dengan tangan untuk mengidentifikasi arah wajah, apa hambatan yang menghalangi (lagi, secara manual), dan harus mengatasi banyak hambatan yang menjengkelkan (termasuk pencahayaan) yang membuat penggunaannya jauh dari pengalaman ‘point-and-click’ yang tidak akurat digambarkan dalam media sejak munculnya deepfakes.

Sebaliknya, CihaNet tidak memerlukan bahwa dua gambar menghadap kamera secara langsung untuk mengekstrak dan mengeksploitasi informasi identitas yang berguna dari satu gambar.

Dalam contoh ini, sejumlah perangkat lunak deepfake yang bersaing diberi tugas untuk menukar wajah yang tidak hanya berbeda dalam identitas, tetapi juga tidak menghadap arah yang sama. Perangkat lunak yang berasal dari repositori deepfakes asli (seperti DeepFaceLab dan FaceSwap yang sangat populer, seperti yang ditunjukkan di atas) tidak dapat menangani perbedaan sudut antara dua gambar yang akan dipertukarkan (lihat kolom ketiga). Sementara itu, CihaNet dapat mengabstraksikan identitas dengan benar, karena ‘pose’ wajah tidak secara intrinsik merupakan bagian dari informasi identitas.

Arsitektur

Proyek CihaNet, menurut penulis, terinspirasi oleh kolaborasi 2019 antara Microsoft Research dan Peking University, yang disebut FaceShifter, meskipun membuat beberapa perubahan penting dan kritis pada arsitektur inti metode yang lebih lama.

FaceShifter menggunakan dua jaringan Adaptive Instance Normalization (AdaIN) untuk menangani informasi identitas, yang kemudian dipindahkan ke gambar target melalui masker, dengan cara yang mirip dengan perangkat lunak deepfake populer saat ini (dan dengan semua keterbatasannya), menggunakan jaringan HEAR-Net tambahan (yang mencakup sub-jaringan yang dilatih secara terpisah pada hambatan oklusi – lapisan kompleksitas tambahan).

Sebaliknya, arsitektur baru ini langsung menggunakan ‘informasi konteks’ ini untuk proses transformasi itu sendiri, melalui operasi Cascading Adaptive Instance Normalization (C-AdaIN) dua langkah, yang menyediakan konsistensi konteks (yaitu kulit wajah dan oklusi) dari area yang relevan dengan ID.

Sub-jaringan kedua yang penting untuk sistem ini disebut Blok Pertukaran (SwapBlk), yang menghasilkan fitur terintegrasi dari konteks gambar referensi dan informasi ‘identitas’ yang tertanam dari gambar sumber, melewati beberapa tahap yang diperlukan untuk mencapai ini dengan cara konvensional.

Untuk membantu membedakan antara konteks dan identitas, peta halusinasi dibuat untuk setiap tingkat, yang berfungsi sebagai masker segmentasi lunak, dan bertindak pada rentang fitur yang lebih luas untuk bagian kritis dari proses deepfake ini.

Ketika nilai peta halusinasi (digambarkan di sebelah kanan) meningkat, jalur yang lebih jelas antara identitas muncul.

Dengan cara ini, seluruh proses pertukaran diselesaikan dalam satu tahap dan tanpa pemrosesan pasca.

Data dan Pengujian

Untuk mencoba sistem ini, peneliti melatih empat model pada dua dataset gambar terbuka yang sangat populer dan beragam – CelebA-HQ dan Dataset Flickr-Faces-HQ NVIDIA (FFHQ), masing-masing berisi 30.000 dan 70.000 gambar.

Tidak ada pemangkasan atau penyaringan yang dilakukan pada dataset dasar ini. Dalam setiap kasus, peneliti melatih keseluruhan dataset pada satu GPU Tesla selama tiga hari, dengan tingkat pembelajaran 0,0002 pada optimasi Adam.

Mereka kemudian merender seri pertukaran acak di antara ribuan kepribadian yang ditampilkan dalam dataset, tanpa memperhatikan apakah wajah-wajah tersebut mirip atau bahkan cocok secara gender, dan membandingkan hasil CihaNet dengan output dari empat kerangka deepfake terkemuka: FaceSwap (yang berdiri untuk DeepFaceLab yang lebih populer, karena berbagi basis kode yang sama dengan repositori asli 2017 yang membawa deepfakes ke dunia); FaceShifter yang disebutkan sebelumnya; FSGAN; dan SimSwap.

Dalam membandingkan hasil melalui VGG-Face, FFHQ, CelebA-HQ, dan FaceForensics++, penulis menemukan bahwa model baru mereka mengungguli semua model sebelumnya, seperti yang ditunjukkan pada tabel di bawah.

Tiga metrik yang digunakan dalam mengevaluasi hasil adalah Kesamaan Struktural (SSIM), kesalahan estimasi pose, dan akurasi pengambilan ID, yang dihitung berdasarkan persentase pasangan yang berhasil diambil.

Peneliti berpendapat bahwa CihaNet mewakili pendekatan yang lebih unggul dalam hal hasil kualitatif, dan kemajuan yang signifikan pada keadaan saat ini dalam teknologi deepfake, dengan menghilangkan beban arsitektur masking yang ekstensif dan laborius, dan mencapai pemisahan identitas dari konteks yang lebih berguna dan dapat dioperasikan.

Lihat contoh video lebih lanjut dari teknik baru ini di bawah. Anda dapat menemukan video lengkap di sini.

Dari bahan tambahan untuk makalah baru, CihaNet melakukan pertukaran wajah pada berbagai identitas. Sumber: https://mitchellx.github.io/#video