Fajar Emosi Deepfaked

Peneliti telah mengembangkan teknik pembelajaran mesin baru untuk mengimposkan emosi baru pada wajah dalam video secara sewenang-wenang, dengan mengadaptasi teknologi yang ada yang baru-baru ini muncul sebagai solusi untuk mencocokkan gerakan bibir dengan dubbing bahasa asing.

Penelitian ini adalah kolaborasi yang setara antara Universitas Northeastern di Boston dan Media Lab di MIT, dan berjudul Invertable Frowns: Video-to-Video Facial Emotion Translation. Meskipun peneliti mengakui bahwa kualitas awal hasilnya harus dikembangkan melalui penelitian lebih lanjut, mereka mengklaim bahwa teknik ini, yang disebut Wav2Lip-Emotion, adalah yang pertama dari jenisnya untuk secara langsung mengatasi modifikasi ekspresi video penuh melalui teknik jaringan saraf.

Kode dasar telah dirilis di GitHub, meskipun model checkpoint akan ditambahkan ke repositori sumber terbuka kemudian, para peneliti berjanji.

Di sebelah kiri, sebuah ‘sedih’ frame dari video sumber. Di sebelah kanan, sebuah ‘gembira’ frame. Di tengah adalah dua pendekatan baru untuk mensintesis emosi alternatif – baris atas: sebuah wajah yang sepenuhnya ditutupi masker di mana seluruh permukaan ekspresi telah digantikan; baris bawah: metode Wav2Lip yang lebih tradisional, yang hanya menggantikan bagian bawah wajah. Sumber: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Video Tunggal sebagai Data Sumber

Secara teori, manipulasi seperti itu dapat diperoleh sekarang melalui pelatihan penuh pada repositori deepfake tradisional seperti DeepFaceLab atau FaceSwap. Namun, alur kerja standar akan melibatkan menggunakan identitas alternatif untuk ‘target’ identitas, seperti aktor yang meniru target, yang ekspresinya akan dipindahkan ke individu lain, bersama dengan sisa penampilan. Selain itu, teknik penggantian suara deepfake biasanya diperlukan untuk menyelesaikan ilusi.

Lebih lanjut, mengubah ekspresi target1>target1 dalam video sumber tunggal di bawah kerangka kerja populer ini akan melibatkan mengubah vektor penyelarasan wajah dengan cara yang arsitektur ini tidak memfasilitasi saat ini.

Wav2Lip-Emotion mempertahankan sinkronisasi bibir dari dialog audio asli video sambil mengubah ekspresi yang terkait.

Sebagai gantinya, Wav2Lip-Emotion secara efektif mencari untuk ‘menyalin dan menempel’ ekspresi yang terkait emosi dari satu bagian video dan menggantinya ke titik lain, dengan kemiskinan data sumber yang dipaksakan yang dimaksudkan untuk menawarkan metode yang lebih rendah untuk manipulasi ekspresi.

Model offline dapat dikembangkan kemudian yang dilatih pada video alternatif dari pembicara, yang menghilangkan kebutuhan untuk satu video yang berisi ‘palet’ keadaan ekspresi untuk memanipulasi video.

Tujuan Potensial

Para peneliti menyarankan sejumlah aplikasi untuk modifikasi ekspresi, termasuk filter video langsung untuk mengkompensasi efek PTSD dan palsy wajah. Makalah tersebut mengamati:

‘Individu dengan atau tanpa ekspresi wajah yang terhambat dapat mendapat manfaat dari menyesuaikan ekspresi mereka untuk lebih sesuai dengan keadaan sosial mereka. Seseorang mungkin ingin mengubah ekspresi dalam video yang ditampilkan kepada mereka. Pembicara mungkin berteriak satu sama lain selama konferensi video, tetapi tetap ingin mengumpulkan konten dalam pertukaran mereka tanpa ekspresi yang tidak menyenangkan. Atau seorang sutradara film mungkin ingin meningkatkan atau mengurangi ekspresi aktor.’

Karena ekspresi wajah adalah indikator utama dan inti dari niat, bahkan di mana mungkin menggosok melawan kata-kata yang diucapkan, kemampuan untuk mengubah ekspresi juga menawarkan, sampai batas tertentu, kemampuan untuk mengubah bagaimana komunikasi diterima.

Pekerjaan Sebelumnya

Minat dalam perubahan ekspresi pembelajaran mesin kembali setidaknya ke tahun 2012, ketika kolaborasi antara Adobe, Facebook, dan Universitas Rutgers mengusulkan metode untuk mengubah ekspresi dengan menggunakan pendekatan rekonstruksi geometri 3D berbasis Tensor, yang dengan susah payah mengimposkan mesh CGI ke setiap frame video target untuk menghasilkan perubahan.

Penelitian Adobe/Facebook 2012 memanipulasi ekspresi dengan mengimposkan perubahan CGI tradisional pada footage video. Ekspresi dapat ditingkatkan atau ditekan. Sumber: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Meskipun hasilnya menjanjikan, teknik ini memakan waktu lama dan sumber daya yang dibutuhkan cukup besar. Pada saat itu, CGI jauh lebih maju daripada pendekatan berbasis visi komputer untuk manipulasi fitur langsung dan pixel.

Lebih terkait dengan makalah baru adalah MEAD, dataset dan model generasi ekspresi yang dirilis pada 2020, yang dapat menghasilkan video ‘talking-head’, meskipun tanpa tingkat kesophistikasi yang potensial dapat diperoleh dengan memodifikasi video sumber langsung.

Generasi ekspresi dengan MEAD 2020, kolaborasi antara SenseTime Research, Carnegie Mellon, dan tiga universitas Tiongkok. Sumber: https://wywu.github.io/projects/MEAD/MEAD.html

Pada 2018, makalah lain, berjudul GANimation: Anatomically-aware Facial Animation from a Single Image, muncul sebagai kolaborasi penelitian akademis AS/Spanyol, dan menggunakan Jaringan Adversarial Generatif untuk meningkatkan atau mengubah ekspresi pada gambar statis saja.

Mengubah ekspresi pada gambar statis dengan GANimation. Sumber: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Sebagai gantinya, proyek baru ini didasarkan pada Wav2Lip, yang mendapat perhatian pada 2020 dengan menawarkan metode potensial untuk menyelaraskan kembali gerakan bibir ke ucapan baru (atau lagu) input yang tidak pernah ditampilkan dalam video asli.

Arsitektur Wav2Lip asli dirilis di GitHub, dan dilatih pada korpus kalimat yang diucapkan dari arsip BBC. Untuk mengadaptasi Wav2Lip ke tugas perubahan ekspresi, para peneliti ‘menghaluskan’ arsitektur pada dataset MEAD yang disebutkan sebelumnya.

MEAD terdiri dari 40 jam video yang menampilkan 60 aktor membaca kalimat yang sama sambil melakukan berbagai ekspresi wajah. Aktor tersebut berasal dari 15 negara berbeda dan menawarkan berbagai karakteristik internasional yang bertujuan untuk membantu proyek (dan proyek turunan) untuk menghasilkan sintesis ekspresi yang dapat diterapkan dan umum.

Pada saat penelitian, MEAD hanya merilis bagian pertama dari dataset, yang menampilkan 47 individu yang melakukan ekspresi seperti ‘marah’, ‘jijik’, ‘takut’, ‘hina’, ‘gembira’, ‘sedih’, dan ‘terkejut’. Dalam debut ini ke dalam pendekatan baru, para peneliti membatasi ruang lingkup proyek untuk mengimposkan atau mengubah emosi ‘gembira’ dan ‘sedih’, karena ini adalah yang paling mudah dikenali.

Metode dan Hasil

Arsitektur Wav2Lip asli hanya menggantikan bagian bawah wajah, sedangkan Wav2Lip-Emotion juga bereksperimen dengan masker penggantian wajah penuh dan sintesis ekspresi. Oleh karena itu, para peneliti harus memodifikasi metode evaluasi yang ada, karena ini tidak dirancang untuk konfigurasi wajah penuh.

Para penulis memperbaiki kode asli dengan mempertahankan input audio asli, mempertahankan konsistensi gerakan bibir.

Elemen generator fitur enkoder identitas, enkoder ucapan, dan dekoder wajah, sesuai dengan pekerjaan sebelumnya. Elemen ucapan dikodekan tambahan sebagai konvolusi 2D yang ditumpuk yang kemudian dikonkatkan ke frame yang terkait.

Di samping elemen generatif, arsitektur yang dimodifikasi fitur tiga komponen diskriminator utama, yang menargetkan kualitas sinkronisasi bibir, elemen tujuan emosi, dan tujuan kualitas visual yang dilatih secara adversarial.

Untuk rekonstruksi wajah penuh, pekerjaan Wav2Lip asli tidak memiliki preseden, dan oleh karena itu model dilatih dari awal. Untuk pelatihan wajah bawah (setengah-masker), para peneliti melanjutkan dari checkpoint yang disertakan dalam kode Wav2Lip asli.

Di samping evaluasi otomatis, para peneliti menggunakan opini yang diberikan oleh platform layanan semi-otomatis. Para pekerja umumnya menilai output dengan tinggi dalam hal mengenali emosi yang diimposkan, sementara hanya melaporkan evaluasi ‘moderat’ untuk kualitas gambar.

Para penulis menyarankan bahwa, di samping memperbaiki kualitas video yang dihasilkan dengan penyempurnaan lebih lanjut, iterasi masa depan dari pekerjaan ini dapat mencakup berbagai emosi yang lebih luas, dan bahwa pekerjaan ini juga dapat diterapkan di masa depan pada data sumber yang dilabeli atau diinferensikan secara otomatis dan dataset, yang akhirnya akan mengarah pada sistem yang autentik di mana emosi dapat ditekan atau dinaikkan sesuai dengan keinginan pengguna, atau pada akhirnya digantikan oleh emosi yang kontras dengan video sumber asli.