Mengapa Deepfakes Tidak Dapat Mengungkapkan Keserasian Emosi Saat Ini

Kemarin, debut episode 6 dari serial Star Wars spin-off The Book of Boba Fett tampaknya telah membagi pendapat penggemar. Diterima dengan pujian umum, ada asumsi luas di jaringan sosial bahwa reka ulang Mark Hamill yang jauh lebih baik (dibandingkan dengan penampilan sebelumnya di season 2 finale The Mandalorian pada 2020) adalah hasil langsung dari Industrial Light and Magic yang merekrut praktisi deepfakes amatir Shamook (yang telah memperbaiki pekerjaannya dengan perangkat lunak open source); dan bahwa reka ulang karakter tersebut harus merupakan kombinasi dari teknologi deepfakes, mungkin dibersihkan dengan CGI.

Saat ini, masih terdapat konfirmasi terbatas tentang hal ini, meskipun Shamook telah mengatakan sedikit kepada dunia sejak NDA kontrak ILM turun. Namun, pekerjaan ini merupakan perbaikan luar biasa dari CGI 2020; menampilkan beberapa ‘kilap’ yang terkait dengan model deepfakes yang dihasilkan dari karya arsip; dan secara umum sesuai dengan standar visual terbaik saat ini untuk deepfakes.

Benang lain dari pendapat penggemar adalah bahwa upaya baru untuk ‘Muda Luke’ memiliki set kesalahan yang berbeda daripada yang sebelumnya. Mungkin yang paling mengungkapkan, kurangnya ekspresivitas dan emosi halus dalam urutan panjang yang menampilkan reka ulang Skywalker baru lebih khas deepfakes daripada CGI; The Verge telah menggambarkannya dalam ‘wajah kosong yang membeku dari wajah Mark Hamill 1983’.

Tidak peduli teknologi apa yang digunakan untuk reka ulang ILM baru, transformasi deepfakes memiliki masalah mendasar dengan keserasian emosi yang sulit diatasi baik dengan perubahan arsitektur maupun dengan memperbaiki bahan pelatihan sumber, dan yang biasanya dihindari dengan pilihan yang hati-hati yang dilakukan oleh pembuat deepfakes viral ketika memilih video target.

Batasan Pemosisian Wajah

Dua repositori deepfakes FOSS yang paling umum digunakan adalah DeepFaceLab (DFL) dan FaceSwap, keduanya berasal dari kode sumber anonim dan kontroversial 2017, dengan DFL memiliki keunggulan besar di industri VFX, meskipun instrumentality terbatas.

Kedua paket ini awalnya ditugaskan untuk mengekstrak landmark wajah dari wajah yang telah diidentifikasi dari bahan sumber (yaitu bingkai video dan/atau gambar diam).

Facial Alignment Network (FAN) dalam aksi, dari repositori resmi. Sumber: https://github.com/1adrianb/face-alignment

Kedua DFL dan FaceSwap menggunakan library Facial Alignment Network (FAN). FAN dapat membuat landmark 2D dan 3D (lihat gambar di atas) untuk wajah yang diekstrak. Landmark 3D dapat mempertimbangkan orientasi wajah yang dirasakan, hingga profil ekstrem dan sudut akut.

Namun, jelas bahwa ini adalah pedoman yang sangat dasar untuk mengarahkan dan mengevaluasi piksel:

Dari forum FaceSwap, indikator kasar dari landmark yang tersedia untuk garis wajah. Sumber: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Garisi wajah dasar yang paling dasar diizinkan: mata dapat melebar dan menutup, begitu juga rahang, sementara konfigurasi dasar mulut (seperti tersenyum, mengerutkan kening, dll.) dapat dilacak dan disesuaikan. Wajah dapat berputar ke arah mana pun hingga sekitar 200 derajat dari sudut pandang kamera.

Di luar itu, ini adalah pagar yang cukup kasar untuk perilaku piksel dalam batasan ini, dan mewakili pedoman wajah yang benar-benar matematis dan presisi dalam proses deepfakes seluruhnya. Proses pelatihan itu sendiri hanya membandingkan cara piksel diposisikan dalam atau dekat batasan ini.

Pelatihan di DeepFaceLab. Sumber: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Karena tidak ada ketentuan untuk topologi sub-bagian wajah (konveksitas dan konkavitas pipi, detail penuaan, lesung pipi, dll.), tidak mungkin berusaha untuk mencocokkan fitur sub-halus seperti itu antara sumber (‘wajah yang ingin ditulis ulang’) dan target (‘wajah yang ingin ditempelkan’) identitas.

Mengatasi Keterbatasan Data

Mendapatkan data yang cocok antara dua identitas untuk tujuan pelatihan deepfakes tidak mudah. Semakin tidak biasa sudut yang perlu dicocokkan, semakin banyak Anda mungkin harus mengorbankan apakah (sudut yang jarang) cocok antara identitas A dan B sebenarnya menampilkan ekspresi yang sama.

Dekat, tapi tidak persis cocok.

Di contoh di atas, kedua identitas cukup mirip dalam disposisi, tapi ini adalah seberapa dekat dataset ini bisa mendapatkan kesamaan yang persis.

Perbedaan yang jelas masih ada: sudut dan lensa tidak persis cocok, dan tidak juga pencahayaan; subjek A tidak memiliki matanya yang benar-benar tertutup, tidak seperti subjek B; kualitas gambar dan kompresi lebih buruk di subjek A; dan entah bagaimana subjek B tampaknya lebih bahagia daripada subjek A.

Tapi, Anda tahu, itu semua yang kita miliki, jadi kita harus melatihnya terlepas dari itu.

Karena pasangan A><B ini memiliki banyak elemen yang tidak biasa, Anda dapat yakin bahwa ada sedikit, jika ada, pasangan serupa di set. Oleh karena itu, pelatihan akan underfit atau overfit itu.

Underfit: Jika pasangan ini adalah minoritas sejati (yaitu dataset induk cukup besar, dan tidak sering menampilkan karakteristik dari kedua foto), maka itu tidak akan mendapatkan banyak waktu pelatihan dibandingkan dengan pasangan yang lebih ‘populer’ (yaitu mudah/netral). Konsekuensinya, sudut/ekspresi ini tidak akan terwakili dengan baik dalam deepfake yang dibuat dengan model terlatih.

Overfit: Dalam keputusasaan karena sedikitnya data-matches untuk pasangan A><B yang langka, pembuat deepfakes terkadang menggandakan pasangan itu beberapa kali di dataset, sehingga mendapatkan kesempatan yang lebih baik untuk menjadi fitur dalam model akhir. Ini akan menyebabkan overfitting, di mana deepfake video yang dibuat dengan model kemungkinan akan pedantically mengulangi ketidakcocokan yang jelas antara kedua foto, seperti perbedaan seberapa banyak mata tertutup.

Di gambar di bawah, kita melihat Vladimir Putin sedang dilatih di DeepFaceLab untuk melakukan swap ke Kevin Spacey. Di sini, pelatihan relatif maju di 160.000 iterasi.

Sumber: https://i.imgur.com/OdXHLhU.jpg

Pengamat kasual mungkin berpendapat bahwa Putin terlihat sedikit, well, spacier daripada Spacey dalam swap-test ini. Mari kita lihat apa yang dipikirkan program pengenalan emosi online tentang ketidakcocokan ekspresi:

Sumber: https://www.noldus.com/facereader/measure-your-emotions

Menurut oracle ini, yang menganalisis topografi wajah yang jauh lebih rinci daripada DFL dan Faceswap, Spacey kurang marah, jijik, dan merendahkan daripada deepfake Putin yang dihasilkan dalam pasangan ini.

Ekspresi yang tidak sama datang sebagai bagian dari paket yang terjalin, karena aplikasi deepfakes yang populer tidak memiliki kapasitas untuk mendaftar atau mencocokkan ekspresi atau emosi, kecuali secara implisit, sebagai pemetaan piksel-ke-piksel mentah.

Untuk kita, perbedaan itu besar. Kita belajar untuk membaca ekspresi wajah sebagai teknik dasar untuk bertahan hidup dari tahun-tahun awal kita, dan terus mengandalkan keterampilan ini dalam masa dewasa untuk tujuan integrasi sosial dan kemajuan, kawin, dan sebagai kerangka penilaian ancaman yang berkelanjutan. Karena kita sangat sensitif terhadap ekspresi mikro, teknologi deepfakes akhirnya perlu mempertimbangkan ini.

Menentang Arus

Meskipun revolusi deepfakes telah membawa janji untuk memasukkan ‘bintang film klasik’ ke dalam film dan TV modern, AI tidak bisa kembali ke masa lalu dan syuting karya klasik mereka dengan definisi dan kualitas yang lebih kompatibel, yang sangat penting untuk kasus penggunaan ini.

Atas asumsi (dan untuk tujuan kita, tidak masalah jika itu salah) bahwa reka ulang Hamill Boba Fett sebagian besar adalah hasil dari model deepfakes terlatih, dataset untuk model tersebut harus mengeksploitasi footage dari periode dekat dengan timeline acara (yaitu Hamill sebagai awal tiga puluhan sekitar waktu produksi Return of the Jedi, 1981-83).

Film itu difilmkan dengan Eastman Color Negative 250T 5293/7293 stok, sebuah 250ASA emulsi yang dianggap medium hingga halus pada saat itu, tetapi telah dilampaui dalam kejelasan, rentang warna, dan fidelitas bahkan pada akhir 1980-an. Ini adalah stok dari masanya, dan cakupan operatik Jedi memberikan sedikit close-up bahkan untuk aktor utamanya, membuat masalah butiran lebih kritis, karena wajah sumber hanya menduduki sebagian dari bingkai.

Rentang adegan Hamill di Return of the Jedi (1983).

Tambah lagi, banyak footage VFX yang menampilkan Hamill telah dijalankan melalui printer optik, meningkatkan butiran film. Namun, akses ke arsip Lucasfilm – yang telah merawat master negatif dan bisa menawarkan jam-jam tambahan footage mentah yang tidak digunakan – bisa mengatasi masalah ini.

Terkadang, memungkinkan untuk mencakup rentang tahun dari output aktor untuk meningkatkan dan membedakan dataset deepfakes. Dalam kasus Hamill, pembuat deepfakes terhambat oleh perubahan penampilannya setelah kecelakaan mobil pada 1977, dan fakta bahwa dia segera memulai karir suara yang sangat dihargai setelah Jedi, membuat bahan sumber relatif langka.

Jangkauan Emosi yang Terbatas?

Jika Anda membutuhkan aktor deepfaked untuk mengunyah latar belakang, Anda akan membutuhkan footage sumber yang berisi rentang ekspresi wajah yang tidak biasa. Mungkin saja footage yang paling sesuai dengan usia hanya tidak menampilkan banyak ekspresi tersebut.

Sebagai contoh, pada saat arc cerita Return of the Jedi datang, karakter Hamill telah sebagian besar menguasai emosinya, sebuah perkembangan yang sangat penting bagi mitologi waralaba asli. Oleh karena itu, jika Anda membuat model deepfakes Hamill dari data Jedi, Anda akan harus bekerja dengan rentang emosi yang lebih terbatas dan komposisi wajah yang tidak biasa yang dituntut oleh perannya pada saat itu, dibandingkan dengan entri sebelumnya dalam waralaba.

Meskipun Anda mungkin mempertimbangkan bahwa ada saat-saat dalam Return of the Jedi di mana karakter Skywalker berada di bawah stres, dan bisa memberikan bahan untuk rentang ekspresi yang lebih besar, bahan wajah dalam adegan-adegan ini tidaklah seimbang;

Generalisasi: Penggabungan Emosi

Jika reka ulang Skywalker Boba Fett memang sebuah deepfakes, kurangnya rentang ekspresif yang dituduhkan dari beberapa pihak tidak akan sepenuhnya karena keterbatasan bahan sumber. Proses encoder-decoder pelatihan deepfakes mencari model yang diterapkan secara umum yang berhasil menyuling fitur pusat dari ribuan gambar, dan setidaknya berusaha untuk membuat deepfakes sudut yang hilang atau jarang dalam dataset.

Jika tidak karena fleksibilitas ini, arsitektur deepfakes hanya akan menyalin dan menempelkan morf dasar pada basis per-frame, tanpa mempertimbangkan adaptasi temporal atau konteks.

Namun, pertukaran yang menyakitkan untuk fleksibilitas ini adalah bahwa kesetiaan ekspresi kemungkinan akan menjadi korban dari proses ini, dan ekspresi yang benar-benar ‘halus’ mungkin tidak tepat. Kita semua memainkan wajah kita seperti orkestra 100-potong, dan sangat terampil untuk melakukannya, sedangkan perangkat lunak deepfakes secara argumentatif kehilangan setidaknya bagian string.

Perbedaan Efek dalam Ekspresi

Gerakan wajah dan efeknya pada kita tidak merupakan bahasa seragam di semua wajah; alis yang terangkat yang terlihat santai pada Roger Moore mungkin terlihat kurang sopan pada Seth Rogan, sementara daya tarik mempesona dari Marilyn Monroe mungkin diterjemahkan menjadi emosi negatif jika deepfaked ke orang yang peran data-tersedia paling banyak adalah ‘marah’ atau ‘terpengaruh’ (seperti karakter Aubrey Plaza selama tujuh musim Parks and Recreation).

Oleh karena itu, kesetaraan piksel-ke-piksel di seluruh set wajah A/B tidak selalu membantu dalam hal ini; tapi itu semua yang ditawarkan dalam perangkat lunak deepfakes FOSS saat ini.

Apa yang secara argumentatif diperlukan adalah kerangka kerja deepfakes yang tidak hanya dapat mengenali ekspresi dan menyimpulkan emosi, tetapi memiliki kemampuan untuk menjelmakan konsep tingkat tinggi seperti marah, mempesona, bosan, lelah, dll., dan untuk mengategorikan emosi-emosi tersebut dan ekspresi terkait dalam kedua identitas set wajah, bukan memeriksa dan mereplikasi disposisi mulut atau kelopak mata.