Mengidentifikasi Selebriti Deepfakes Dari Daerah Wajah Luar

Kolaborasi baru antara Microsoft dan sebuah universitas Tiongkok telah mengusulkan metode baru untuk mengidentifikasi selebriti deepfakes, dengan memanfaatkan kelemahan teknik deepfake saat ini untuk mengenali identitas yang telah ‘diprojeksikan’ ke orang lain.

Pendekatan ini disebut Identity Consistency Transformer (ICT), dan bekerja dengan membandingkan bagian luar wajah (rahang, tulang pipi, garis rambut, dan lain-lain) dengan bagian dalam wajah. Sistem ini memanfaatkan data gambar publik yang tersedia secara luas dari orang-orang terkenal, yang membatasi efektivitasnya pada selebriti yang populer, yang gambar-gambarnya tersedia dalam jumlah besar di dataset penglihatan komputer dan di internet.

The forgery coverage of faked faces across seven techniques: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; and DF-VAE. Popular packages such as DeepFaceLab and FaceSwap provide similarly constrained coverage. Source: https://arxiv.org/pdf/2203.01318.pdf

Seperti gambar di atas, metode deepfaking yang populer saat ini cukup terbatas, dan bergantung pada ‘host-faces’ yang sesuai (gambar atau video seseorang yang akan memiliki identitasnya digantikan oleh deepfake) untuk meminimalkan bukti penggantian wajah.

Meskipun metode yang berbeda mungkin mencakup seluruh dahi dan sebagian besar area pipi dan rahang, semua metode tersebut lebih atau kurang terbatas di dalam bingkai wajah host.

A saliency map that emphasizes the ‘inner’ and ‘outer’ identities calculated by ICT. Where an inner facial match is established but an outer identity does not correspond, ICT evaluates the image as false.

Dalam pengujian, ICT terbukti dapat mendeteksi konten deepfake dalam video dengan resolusi rendah, di mana konten video secara keseluruhan terdegradasi oleh artefak kompresi, membantu menyembunyikan bukti residual proses deepfake – suatu keadaan yang membingungkan banyak metode deteksi deepfake lainnya.

ICT outperforms contenders in recognizing deepfake content. See video embedded at end of article for more examples and better resolution. See embedded source video at end of article for further examples. Source: https://www.youtube.com/watch?v=zgF50dcymj8

Makalah paper ini berjudul Protecting Celebrities with Identity Consistency Transformer, dan berasal dari sembilan peneliti yang berafiliasi dengan Universitas Sains dan Teknologi Tiongkok, Microsoft Research Asia, dan Microsoft Cloud + AI.

The Credibility Gap

Ada beberapa alasan mengapa algoritma face-swapping populer seperti DeepFaceLab dan FaceSwap mengabaikan area luar wajah yang paling luar.

Pertama, pelatihan model deepfake membutuhkan waktu dan sumber daya yang kritikal, dan adopsi ‘host-faces’ yang sesuai membebaskan siklus GPU dan epoch untuk fokus pada area dalam wajah yang relatif tidak berubah, yang kita gunakan untuk membedakan identitas (karena variabel seperti fluktuasi berat badan dan penuaan kurang mungkin mengubah ciri-ciri wajah inti dalam jangka pendek).

Kedua, sebagian besar pendekatan deepfake (dan ini benar untuk DeepFaceLab, perangkat lunak yang digunakan oleh praktisi paling populer atau paling terkenal) memiliki kemampuan terbatas untuk mereplikasi ‘margin’ wajah seperti area pipi dan rahang, dan terbatas oleh kenyataan bahwa kode upstream (2017) tidak secara ekstensif menangani masalah ini.

Dalam kasus di mana identitas tidak cocok, algoritma deepfake harus ‘inpaint’ area latar belakang di sekitar wajah, yang dilakukan dengan tidak canggih, bahkan di tangan deepfaker terbaik, seperti Ctrl Shift Face, yang outputnya digunakan dalam studi makalah ini.

The best of the best: stills from a deepfake video from acclaimed deepfaker Ctrl-Shift-Face, swapping Jim Carrey over Gary Oldman. This work arguably represents some of the best output currently available via DeepFaceLab and post-processing techniques. Nonetheless, the swaps remain limited to the relatively scant attention that DFL gives to the outer face, requiring a Herculean effort of data curation and training to address the outermost lineaments. Source: https://www.youtube.com/watch?v=x8igrh1eyLk

‘Sleight of hand’ ini, atau defleksi perhatian, sebagian besar luput dari perhatian publik dalam kekhawatiran saat ini tentang realisme deepfake yang meningkat, karena kemampuan kritis kita tentang deepfake masih berkembang melampaui tahap ‘shock and awe’.

Split Identities

Makalah baru ini mencatat bahwa sebagian besar metode deteksi deepfake sebelumnya bergantung pada artefak yang mengkhianati proses swap, seperti pose kepala yang tidak konsisten dan berkedip, di antara teknik lainnya. Hanya minggu ini, makalah deteksi deepfake baru telah proposed menggunakan ‘tanda tangan’ dari jenis model yang berbeda dalam kerangka FaceSwap untuk membantu mengidentifikasi video palsu yang dibuat dengan itu (lihat gambar di bawah).

Identifying deepfakes by characterizing the signatures of different model types in the FaceSwap framework. Source: https://arxiv.org/pdf/2202.12951.pdf

Dengan kontras, arsitektur ICT menciptakan dua identitas terpisah yang bersarang untuk seseorang, keduanya harus diverifikasi sebelum identitas keseluruhan dapat disimpulkan sebagai ‘benar’ atau ‘palsu’.

Architecture for the training and testing phases of ICT.

Pemisahan identitas difasilitasi oleh Transformer penglihatan, yang melakukan identifikasi wajah sebelum membagi wilayah yang disurvei menjadi token yang termasuk dalam identitas dalam atau luar.

Distributing patches among the two parallel identity signifiers.