Revolusi Deepfake Berikutnya adalah Disentanglement

Penggunaan data augmentasi CGI sedang digunakan dalam proyek baru untuk mendapatkan kontrol yang lebih besar atas citra deepfake. Meskipun Anda masih tidak dapat menggunakan kepala CGI untuk mengisi celah yang hilang dalam dataset wajah deepfake, gelombang penelitian baru tentang disentanglement identitas dari konteks berarti bahwa segera, Anda mungkin tidak perlu lagi.

Pembuat beberapa video deepfake viral paling sukses dalam beberapa tahun terakhir memilih video sumber mereka dengan sangat hati-hati, menghindari profil yang berkelanjutan (yaitu, jenis potret samping yang populer oleh prosedur penangkapan polisi), sudut akut dan ekspresi yang tidak biasa atau berlebihan. Semakin banyak, video demonstrasi yang diproduksi oleh pembuat deepfake viral adalah kompilasi yang diedit yang memilih sudut dan ekspresi ‘paling mudah’ untuk deepfake.

Pada kenyataannya, target video yang paling mudah untuk disisipkan deepfake selebriti adalah video di mana orang asli (yang identitasnya akan dihapus oleh deepfake) memandang langsung ke kamera, dengan rentang ekspresi minimal.

Sebagian besar deepfake populer dalam beberapa tahun terakhir menunjukkan subjek yang menghadap langsung ke kamera, dan baik membawa ekspresi populer (seperti tersenyum), yang dapat dengan mudah diekstrak dari output paparazzi merah, atau (seperti deepfake 2019 dari Sylvester Stallone sebagai Terminator, seperti yang ditunjukkan di sebelah kiri), idealnya tanpa ekspresi sama sekali, karena ekspresi netral sangat umum, membuatnya mudah untuk dimasukkan ke dalam model deepfake.

Karena teknologi deepfake seperti DeepFaceLab dan FaceSwap melakukan pertukaran yang lebih sederhana dengan sangat baik, kita cukup terpesona oleh apa yang mereka capai sehingga kita tidak memperhatikan apa yang mereka tidak mampu lakukan, dan – sering – tidak bahkan mencoba:

Cuplikan dari video deepfake yang diakui yang mengubah Arnold Schwarzenegger menjadi Sylvester Stallone – kecuali jika sudutnya terlalu sulit. Profil tetap menjadi masalah yang berkelanjutan dengan pendekatan deepfake saat ini, sebagian karena perangkat lunak sumber terbuka yang digunakan untuk mendefinisikan pose wajah dalam kerangka deepfake tidak dioptimalkan untuk tampilan samping, tetapi terutama karena kurangnya bahan sumber yang sesuai dalam salah satu atau kedua dataset yang diperlukan. Sumber: https://www.youtube.com/watch?v=AQvCmQFScMA

Penelitian baru dari Israel mengusulkan metode baru menggunakan data sintetis, seperti kepala CGI, untuk membawa deepfaking ke tahun 2020-an, dengan benar-benar memisahkan identitas wajah (yaitu, karakteristik wajah esensial dari ‘Tom Cruise’, dari semua sudut) dari konteks (yaitu, memandang ke atas, memandang ke samping, mengerutkan alis, mengerutkan alis dalam kegelapan, alisan mengerut, mata tertutup, dll.).

Sistem baru ini secara terpisah memisahkan pose dan konteks (yaitu, mengedipkan mata) dari pengkodean identitas individu, menggunakan data wajah sintetis yang tidak terkait (seperti yang ditunjukkan di sebelah kiri). Pada baris atas, kita melihat ‘kedipan’ yang dipindahkan ke identitas Barack Obama, dipicu oleh jalur nonlinier yang dipelajari dari ruang laten GAN, yang diwakili oleh gambar CGI di sebelah kiri. Pada baris di bawah, kita melihat sudut mulut yang ditarik ke identitas mantan presiden. Bagian bawah kanan, kita melihat kedua karakteristik tersebut diterapkan secara bersamaan. Sumber: https://arxiv.org/pdf/2111.08419.pdf

Ini bukanlah deepfake head-puppetry, sebuah teknik yang lebih cocok untuk avatar dan lip-synching parsial, dan yang memiliki potensi terbatas untuk transformasi video deepfake yang lengkap.

Sebaliknya, ini mewakili cara maju untuk pemisahan instrumen yang mendasar (seperti ‘ubah sudut kepala’, ‘buat kerutan’) dari identitas, menawarkan jalur untuk sintesis gambar berbasis deepfake yang lebih tinggi daripada ‘turunan’.

Makalah baru ini berjudul Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, menggunakan Beberapa Sampel Sintetis, dan berasal dari peneliti di Technion – Israel Institute of Technology.

Untuk memahami apa yang dimaksud dengan penelitian ini, mari kita lihat bagaimana deepfakes saat ini diproduksi di mana-mana, dari situs web deepfake hingga Industrial Light and Magic (karena repositori sumber terbuka DeepFaceLab saat ini mendominasi baik ‘amateur’ maupun deepfaking profesional).

Apa yang Menghambat Teknologi Deepfake Saat Ini?

Deepfakes saat ini dibuat dengan melatih model pembelajaran mesin encoder/decoder pada dua folder gambar wajah – orang yang ingin ‘dicat’ (dalam contoh sebelumnya, itu Arnie) dan orang yang ingin disisipkan ke dalam video (Sly).

Contoh pose dan kondisi pencahayaan yang bervariasi di seluruh dua set wajah. Perhatikan ekspresi yang khas di akhir baris ketiga di kolom A, yang tidak mungkin memiliki ekivalen yang dekat di dataset lain.

Sistem encoder/decoder kemudian membandingkan setiap gambar di setiap folder dengan yang lain, mempertahankan, meningkatkan, dan mengulangi operasi ini selama ratusan ribu iterasi (sering selama seminggu), sampai memahami karakteristik esensial dari kedua identitas dengan cukup baik untuk menukarnya sesuka hati.

Untuk setiap dari dua orang yang dipertukarkan dalam proses, apa yang dipelajari oleh arsitektur deepfake tentang identitas terjalin dengan konteks. Tidak dapat mempelajari dan menerapkan prinsip tentang pose generik ‘sekali dan untuk selamanya’, tetapi perlu contoh yang melimpah dalam dataset pelatihan, untuk setiap identitas yang akan terlibat dalam pertukaran wajah:

Karena karakteristik wajah dan pose saat ini masih sangat terkait, keseimbangan yang luas dari ekspresi, pose kepala, dan (sampai batas tertentu) pencahayaan diperlukan di seluruh dua dataset wajah untuk melatih model deepfake yang efektif pada sistem seperti DeepFaceLab. Semakin sedikit konfigurasi tertentu (seperti ‘tampilan samping/tersenyum/pencahayaan matahari’) yang ditampilkan dalam kedua set wajah, semakin tidak akurat rendernya dalam video deepfake, jika diperlukan.

Jika set A mengandung pose yang tidak biasa, tetapi set B tidak memiliki pose tersebut, Anda hampir tidak beruntung; tidak peduli seberapa lama Anda melatih model, itu tidak akan pernah belajar untuk mereproduksi pose tersebut dengan baik antara identitas, karena hanya memiliki setengah informasi yang diperlukan saat dilatih.

Bahkan jika Anda memiliki gambar yang cocok, itu mungkin tidak cukup: jika set A memiliki pose yang sesuai, tetapi dengan pencahayaan samping yang keras, dibandingkan dengan pose yang sesuai dengan pencahayaan datar di set wajah lain, kualitas pertukaran tidak akan sebaik jika kedua set memiliki karakteristik pencahayaan yang sama.

Mengapa Data Langka

Kecuali Anda sering ditangkap, Anda mungkin tidak memiliki banyak foto profil samping. Yang muncul, Anda mungkin membuangnya. Karena agen foto juga melakukan hal yang sama, foto profil samping sulit ditemukan.

Deepfakers sering menyertakan beberapa salinan dari data profil samping yang terbatas yang mereka miliki untuk identitas dalam set wajah, hanya agar pose tersebut mendapatkan sedikit perhatian dan waktu selama pelatihan, bukan diabaikan sebagai outlier.

Tetapi ada banyak jenis foto wajah samping yang mungkin daripada yang mungkin tersedia untuk dimasukkan dalam dataset – tersenyum, mengerutkan, bersorak, menangis, pencahayaan gelap, meremehkan, bosan, gembira, pencahayaan kilat, memandang ke atas, memandang ke bawah, mata terbuka, mata tertutup… dan seterusnya. Setiap pose ini, dalam kombinasi yang berbeda, mungkin diperlukan dalam video deepfake target.

Dan itu hanya profil. Berapa banyak foto yang Anda miliki dari diri Anda sendiri yang memandang langsung ke atas? Apakah Anda memiliki cukup untuk mewakili 10.000 ekspresi yang mungkin yang mungkin Anda kenakan saat mempertahankan pose yang sama dari sudut kamera yang sama, mencakup setidaknya beberapa satu juta lingkungan pencahayaan yang mungkin?

Anda mungkin tidak memiliki satupun foto dari diri Anda sendiri yang memandang ke atas. Dan itu hanya dua sudut dari ratusan yang diperlukan untuk cakupan penuh.

Bahkan jika memungkinkan untuk menghasilkan cakupan penuh wajah dari semua sudut di bawah berbagai kondisi pencahayaan, dataset yang dihasilkan akan terlalu besar untuk dilatih, sekitar ratusan ribu gambar; dan bahkan jika memungkinkan untuk dilatih, sifat proses pelatihan untuk kerangka deepfake saat ini akan membuang sebagian besar data tambahan itu demi sejumlah fitur yang terbatas, karena kerangka saat ini bersifat reduksionis dan tidak sangat scalable.

Penggantian Sintetis

Sejak awal deepfakes, deepfakers telah bereksperimen dengan menggunakan citra gaya CGI, kepala yang dibuat dalam aplikasi 3D seperti Cinema4D dan Maya, untuk menghasilkan ‘pose yang hilang’.

Tidak perlu AI; seorang aktris dibuat ulang dalam program CGI tradisional, Cinema 4D, menggunakan mesh dan tekstur bitmap – teknologi yang berasal dari tahun 1960-an, meskipun mencapai penggunaan yang luas hanya dari tahun 1990-an. Secara teori, model wajah ini dapat digunakan untuk menghasilkan data sumber deepfake untuk pose, gaya pencahayaan, dan ekspresi wajah yang tidak biasa. Dalam kenyataannya, ini telah terbukti memiliki sedikit atau tidak ada gunanya dalam deepfaking, karena ‘kepalsuan’ dari rendernya cenderung bocor ke video yang dipertukarkan. Sumber: Gambar penulis artikel ini di https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Metode ini umumnya ditinggalkan lebih awal oleh praktisi deepfake baru, karena walaupun dapat menyediakan pose dan ekspresi yang tidak tersedia, penampilan sintetis dari wajah CGI biasanya bocor ke dalam pertukaran karena keterjalinan ID dan informasi kontekstual/semantik.

Ini dapat menyebabkan kilasan wajah ‘lembah yang tidak nyaman’ dalam video deepfake yang sebaliknya cukup meyakinkan, karena algoritma mulai mengandalkan data yang hanya tersedia untuk pose atau ekspresi yang tidak biasa – wajah palsu yang jelas.

Di antara subjek yang paling populer untuk deepfakers, algoritma deepfake 3D untuk aktris Australia Margot Robbie disertakan dalam instalasi default DeepFaceLive, versi DeepFaceLab yang dapat melakukan deepfakes dalam siaran langsung, seperti sesi webcam. Versi CGI, seperti yang ditunjukkan di atas, dapat digunakan untuk mendapatkan pose ‘hilang’ yang tidak biasa dalam dataset deepfake. Sumber: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

Wajah CGI sebagai Panduan Konseptual yang Terpisah

Sebaliknya, metode Delta-GAN Encoder (DGE) baru dari peneliti Israel lebih efektif, karena informasi pose dan konteks dari gambar CGI telah sepenuhnya dipisahkan dari ‘identitas’ target.

Kita dapat melihat prinsip ini dalam aksi di gambar di bawah, di mana berbagai orientasi kepala telah diperoleh dengan menggunakan citra CGI sebagai panduan. Karena fitur identitas tidak terkait dengan fitur kontekstual, tidak ada kebocoran baik dari penampilan sintetis yang terlihat palsu dari wajah CGI, maupun dari identitas yang digambarkan di dalamnya:

Dengan metode baru, Anda tidak perlu menemukan tiga gambar sumber nyata yang terpisah untuk melakukan deepfake dari beberapa sudut – Anda hanya perlu memutar kepala CGI, yang fitur abstrak tingkat tinggi diimposkan ke identitas tanpa kebocoran informasi ID.

Delta-GAN-Encoder. Kelompok kiri atas: sudut gambar sumber dapat diubah dalam satu detik untuk menghasilkan gambar sumber baru, yang tercermin dalam output; kelompok kanan atas: pencahayaan juga dipisahkan dari identitas, memungkinkan superimposisi gaya pencahayaan; kelompok kiri bawah: beberapa detail wajah diubah untuk membuat ekspresi ‘sedih’; kelompok kanan bawah: satu detail ekspresi wajah tunggal diubah, sehingga mata menjadi mengerut.

Pemisahan identitas dan konteks ini dicapai pada tahap pelatihan. Pipa untuk arsitektur deepfake baru ini mencari vektor laten dalam Generative Adversarial Network (GAN) pra-terlatih yang cocok dengan gambar yang akan diubah — metodologi Sim2Real yang membangun pada proyek 2018 dari bagian penelitian AI IBM.

Para peneliti mengamati:

‘Dengan hanya beberapa sampel, yang berbeda oleh atribut tertentu, satu dapat mempelajari perilaku yang dipisahkan dari model generatif yang terjalin sebelumnya. Tidak perlu sampel dunia nyata yang tepat untuk mencapai tujuan itu, yang tidak perlu dicapai.

‘Dengan menggunakan sampel data yang tidak realistis, tujuan yang sama dapat dicapai berkat memanfaatkan semantik dari vektor laten yang dikodekan. Menerapkan perubahan yang diinginkan pada sampel data yang ada dapat dilakukan tanpa eksplorasi perilaku ruang laten yang eksplisit.’

Para peneliti memprediksi bahwa prinsip-prinsip dasar disentanglement yang dijelajahi dalam proyek ini dapat dipindahkan ke domain lain, seperti simulasi arsitektur interior, dan bahwa metode Sim2Real yang diadopsi untuk Delta-GAN-Encoder akhirnya dapat memungkinkan instrumentasi deepfake berdasarkan sketsa, bukan input gaya CGI.

Bisa dibilang bahwa seberapa besar sistem Israel baru ini mungkin atau mungkin tidak dapat mensintesis video deepfake adalah jauh menos signifikan daripada kemajuan yang telah dibuat dalam memisahkan konteks dari identitas, dengan demikian mendapatkan kontrol yang lebih besar atas ruang laten GAN.

Disentanglement adalah bidang penelitian yang aktif dalam sintesis gambar; pada Januari 2021, sebuah makalah yang dipimpin oleh Amazon menunjukkan kontrol pose dan disentanglement yang serupa, dan pada 2018 sebuah makalah dari Shenzhen Institutes of Advanced Technology di Chinese Academy of Sciences membuat kemajuan dalam menghasilkan sudut pandang sewenang-wenang dalam GAN.