Mengubah Emosi dalam Footage Video dengan AI

Peneliti dari Yunani dan Inggris telah mengembangkan pendekatan deep learning baru untuk mengubah ekspresi dan mood yang tampak dari orang-orang dalam footage video, sambil mempertahankan kesetiaan gerakan bibir mereka terhadap audio asli dengan cara yang belum pernah dicapai oleh upaya sebelumnya.

Dari video yang menyertain paper (disematkan di akhir artikel ini), cuplikan singkat aktor Al Pacino memiliki ekspresinya yang halus diubah oleh NED, berdasarkan konsep semantik tingkat tinggi yang mendefinisikan ekspresi wajah individual dan emosi yang terkait. Metode ‘Reference-Driven’ di sebelah kanan mengambil emosi yang ditafsirkan dari video sumber dan menerapkannya pada seluruh urutan video. Sumber: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Bidang ini termasuk dalam kategori yang tumbuh dari emosi deepfaked, di mana identitas pembicara asli dipertahankan, tetapi ekspresi dan mikro-ekspresi mereka diubah. Ketika teknologi AI ini matang, itu menawarkan kemungkinan bagi produksi film dan TV untuk membuat perubahan halus pada ekspresi aktor – tetapi juga membuka kategori baru dari ‘video deepfaked yang diubah emosinya’.

Changing Faces

Ekspresi wajah untuk tokoh publik, seperti politisi, sangat hati-hati; pada 2016, ekspresi wajah Hillary Clinton dibawah pengawasan media yang ketat karena dampak negatif potensialnya pada prospek elektoralnya; ekspresi wajah, ternyata, juga merupakan topik minat bagi FBI; dan mereka merupakan indikator kritis dalam wawancara kerja, membuat prospek (yang masih jauh) filter ‘kontrol ekspresi’ langsung menjadi pengembangan yang diinginkan bagi pencari kerja yang mencoba melewati pra-penyaringan di Zoom.

Studi 2005 dari Inggris Raya menyatakan bahwa penampilan wajah mempengaruhi keputusan pemilu, sementara fitur 2019 Washington Post mengeksaminasi penggunaan klip video ‘di luar konteks’, yang saat ini merupakan hal terdekat yang dimiliki oleh pendukung berita palsu untuk mengubah bagaimana seorang tokoh publik tampaknya berperilaku, merespons, atau merasa.

Towards Neural Expression Manipulation

Saat ini, keadaan seni dalam memanipulasi afek wajah cukup rudimenter, karena melibatkan disentanglement konsep tingkat tinggi (seperti sedih, marah, gembira, tersenyum) dari konten video sebenarnya. Meskipun arsitektur deepfake tradisional tampaknya mencapai disentanglement ini dengan cukup baik, memantulkan emosi di seluruh identitas yang berbeda masih memerlukan bahwa dua set wajah pelatihan mengandung ekspresi yang sesuai untuk setiap identitas.

Contoh gambar wajah dalam dataset yang digunakan untuk melatih deepfakes. Saat ini, Anda hanya dapat memanipulasi ekspresi wajah seseorang dengan membuat jalur ekspresi-ke-ekspresi khusus-ID dalam jaringan neural deepfake. Perangkat lunak deepfake 2017 tidak memiliki pemahaman intrinsik, semantik tentang ‘senyum’ – itu hanya memetakan dan mencocokkan perubahan geometri wajah yang dipersepsikan di seluruh dua subjek.

Apa yang diinginkan, dan belum sepenuhnya dicapai, adalah mengenali bagaimana subjek B (misalnya) tersenyum, dan hanya membuat ‘senyum’ switch dalam arsitektur, tanpa perlu memetakan ke gambar yang setara dari subjek A yang tersenyum.

Makalah baru ini berjudul Neural Emotion Director: Kontrol Semantik Ekspresi Wajah yang Mempertahankan Suara dalam Video “di alam liar”, dan berasal dari peneliti di Sekolah Teknik Elektro dan Ilmu Komputer di Universitas Teknik Nasional Athena, Institut Ilmu Komputer di Yayasan Penelitian dan Teknologi Hellas (FORTH), dan Fakultas Teknik, Matematika, dan Ilmu Fisik di Universitas Exeter di Inggris.

Tim telah mengembangkan kerangka kerja yang disebut Neural Emotion Director (NED), yang mencakup jaringan manipulator emosi berbasis 3D, 3D-Based Emotion Manipulator.

NED mengambil urutan parameter ekspresi yang diterima dan menerjemahkannya ke domain target. Ini dilatih pada data yang tidak sejajar, yang berarti bahwa tidak perlu dilatih pada dataset di mana setiap identitas memiliki ekspresi wajah yang sesuai.

Video, ditampilkan di akhir artikel ini, menjalankan serangkaian tes di mana NED menerapkan keadaan emosional yang tampak pada footage dari dataset YouTube.

Para penulis mengklaim bahwa NED adalah metode video pertama untuk ‘mengarahkan’ aktor dalam situasi yang acak dan tidak terduga, dan telah membuat kode tersedia di halaman proyek NED.

Metode dan Arsitektur

Sistem ini dilatih pada dua dataset video besar yang telah dianotasi dengan label ’emosi’.

Output diaktifkan oleh renderer wajah video yang merender emosi yang diinginkan ke video menggunakan teknik sintesis gambar wajah tradisional, termasuk segmentasi wajah, penyelarasan landmark wajah, dan pencampuran, di mana hanya area wajah yang disintesis, dan kemudian diterapkan pada footage asli.

Arsitektur untuk pipeline Neural Emotion Detector (NED). Sumber: https://arxiv.org/pdf/2112.00585.pdf

Sistem ini pada awalnya mendapatkan pemulihan wajah 3D dan menerapkan penyelarasan landmark wajah pada frame input untuk mengidentifikasi ekspresi. Setelah itu, parameter ekspresi yang dipulihkan ini diteruskan ke 3D-Based Emotion Manipulator, dan vektor gaya dihitung dengan cara label semantik (seperti ‘gembira’) atau berkas referensi.

Berkas referensi adalah video yang menggambarkan ekspresi/emosi tertentu, yang kemudian diterapkan pada seluruh video target, menggantikan ekspresi asli.

Tahap dalam pipeline transfer emosi, menampilkan aktor yang diambil dari video YouTube.

Bentuk wajah 3D yang dihasilkan akhirnya kemudian digabungkan dengan Koordinat Wajah Rata-Rata Normal (NMFC) dan gambar mata (titik merah di atas), dan diteruskan ke renderer neural, yang melakukan manipulasi akhir.

Hasil

Para peneliti melakukan studi ekstensif, termasuk studi pengguna dan ablasio, untuk mengevaluasi efektivitas metode ini dibandingkan dengan karya sebelumnya, dan menemukan bahwa dalam sebagian besar kategori, NED outperforms keadaan seni saat ini dalam sub-sektor manipulasi wajah neural.

Para penulis makalah ini membayangkan bahwa implementasi lanjutan dari karya ini, dan alat dengan sifat serupa, akan berguna terutama dalam industri TV dan film, dengan menyatakan:

‘Metode kami membuka berbagai kemungkinan baru untuk aplikasi yang berguna dari teknologi rendering neural, mulai dari pasca-produksi film dan permainan video hingga avatar afektif yang realistis.’

Ini adalah karya awal dalam bidang ini, tetapi salah satu yang pertama mencoba reenactment wajah dengan video daripada gambar statis. Meskipun video pada dasarnya adalah banyak gambar statis yang berjalan sangat cepat, ada pertimbangan temporal yang membuat aplikasi transfer emosi sebelumnya kurang efektif. Dalam video yang menyertain, dan contoh dalam makalah, para penulis menyertakan perbandingan visual dari output NED dibandingkan dengan metode lain yang serupa.

Perbandingan yang lebih rinci, dan banyak contoh NED, dapat ditemukan dalam video lengkap di bawah:

3 Desember 2021, 18:30 GMT+2 – Atas permintaan salah satu penulis makalah, koreksi dilakukan terkait ‘berkas referensi’, yang saya salah nyatakan sebagai foto statis (padahal sebenarnya adalah klip video). Juga, perubahan pada nama Institut Ilmu Komputer di Yayasan Penelitian dan Teknologi. 3 Desember 2021, 20:50 GMT+2 – Permintaan kedua dari salah satu penulis makalah untuk perubahan lebih lanjut pada nama lembaga yang disebutkan di atas.