Mengidentifikasi Selebriti Deepfakes Dari Wilayah Wajah Luar

Kolaborasi baru antara Microsoft dan sebuah universitas di Tiongkok telah mengusulkan metode baru untuk mengidentifikasi selebriti deepfakes, dengan memanfaatkan kelemahan teknik deepfake saat ini untuk mengenali identitas yang telah “diprojeksikan” ke orang lain.

Pendekatan ini disebut Identity Consistency Transformer (ICT), dan bekerja dengan membandingkan bagian luar wajah (rahang, tulang pipi, garis rambut, dan lain-lain) dengan bagian dalam wajah. Sistem ini memanfaatkan data gambar publik yang tersedia dari selebriti, yang membatasi efektivitasnya pada selebriti yang terkenal, yang gambar-gambarnya tersedia dalam jumlah besar dalam dataset penglihatan komputer dan di internet.

The forgery coverage of faked faces across seven techniques: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; and DF-VAE. Popular packages such as DeepFaceLab and FaceSwap provide similarly constrained coverage. Source: https://arxiv.org/pdf/2203.01318.pdf

Sebagaimana gambar di atas, metode deepfaking yang populer saat ini cukup terbatas, dan bergantung pada “wajah tuan rumah” (gambar atau video seseorang yang akan memiliki identitasnya digantikan oleh deepfake) untuk meminimalkan bukti penggantian wajah.

Metode yang berbeda mungkin mencakup seluruh dahi dan sebagian besar area pipi dan rahang, tetapi semua metode tersebut lebih atau kurang terbatas di dalam bingkai wajah tuan rumah.

A saliency map that emphasizes the ‘inner’ and ‘outer’ identities calculated by ICT. Where an inner facial match is established but an outer identity does not correspond, ICT evaluates the image as false.

Dalam pengujian, ICT terbukti dapat mendeteksi konten deepfake dalam kondisi yang tidak menguntungkan, seperti video resolusi rendah, di mana konten video seluruhnya terdegradasi oleh artefak kompresi, membantu menyembunyikan bukti residual proses deepfake – suatu keadaan yang membingungkan banyak metode deteksi deepfake lainnya.

ICT outperforms contenders in recognizing deepfake content. See video embedded at end of article for more examples and better resolution. See embedded source video at end of article for further examples. Source: https://www.youtube.com/watch?v=zgF50dcymj8

Makalah paper ini berjudul Protecting Celebrities with Identity Consistency Transformer, dan berasal dari sembilan peneliti yang bergabung dengan Universitas Sains dan Teknologi Tiongkok, Microsoft Research Asia, dan Microsoft Cloud + AI.

Gap Kredibilitas

Ada beberapa alasan mengapa algoritma face-swapping yang populer seperti DeepFaceLab dan FaceSwap mengabaikan area luar wajah.

Pertama, pelatihan model deepfake membutuhkan waktu dan sumber daya yang besar, dan adopsi “wajah tuan rumah” yang kompatibel membebaskan siklus GPU dan epoch untuk fokus pada area dalam wajah yang relatif tidak berubah, yang kita gunakan untuk membedakan identitas (karena variabel seperti fluktuasi berat badan dan penuaan kurang mungkin mengubah ciri wajah inti dalam jangka pendek).

Kedua, sebagian besar pendekatan deepfake (dan ini pasti terjadi dengan DeepFaceLab, perangkat lunak yang digunakan oleh praktisi paling populer atau terkenal) memiliki kemampuan terbatas untuk mereplikasi “batas wajah” seperti area pipi dan rahang, dan terbatas oleh kenyataan bahwa kode upstream (2017) tidak secara ekstensif menangani masalah ini.

Dalam kasus di mana identitas tidak cocok, algoritma deepfake harus “mengisi” area latar belakang di sekitar wajah, yang dilakukan dengan cara yang kurang elegan, bahkan di tangan deepfaker terbaik, seperti Ctrl Shift Face, yang outputnya digunakan dalam studi makalah.

The best of the best: stills from a deepfake video from acclaimed deepfaker Ctrl-Shift-Face, swapping Jim Carrey over Gary Oldman. This work arguably represents some of the best output currently available via DeepFaceLab and post-processing techniques. Nonetheless, the swaps remain limited to the relatively scant attention that DFL gives to the outer face, requiring a Herculean effort of data curation and training to address the outermost lineaments. Source: https://www.youtube.com/watch?v=x8igrh1eyLk

Hal ini “sleight of hand”, atau defleksi perhatian ini sebagian besar lolos dari perhatian publik dalam kekhawatiran saat ini tentang realisme deepfakes yang meningkat, karena kemampuan kritis kita tentang deepfakes masih berkembang melampaui tahap “kaget dan takjub”.

Identitas Terpisah

Makalah baru ini mencatat bahwa sebagian besar metode deteksi deepfake sebelumnya bergantung pada artefak yang mengkhianati proses swap, seperti pose kepala yang tidak konsisten dan berkedip, di antara banyak teknik lain. Hanya beberapa hari yang lalu, makalah deteksi deepfake baru telah proposed menggunakan “tanda tangan” dari jenis model yang berbeda dalam kerangka FaceSwap untuk membantu mengidentifikasi video palsu yang dibuat dengan itu (lihat gambar di bawah).

Identifying deepfakes by characterizing the signatures of different model types in the FaceSwap framework. Source: https://arxiv.org/pdf/2202.12951.pdf

Sebaliknya, arsitektur ICT menciptakan dua identitas terpisah untuk seseorang, keduanya harus diverifikasi sebelum identitas seluruhnya disimpulkan sebagai “benar” atau “palsu”.

Architecture for the training and testing phases of ICT.

Pemisahan identitas ini difasilitasi oleh Transformer penglihatan, yang melakukan identifikasi wajah sebelum membagi area yang disurvei menjadi token yang termasuk dalam identitas dalam atau luar.

Distributing patches among the two parallel identity signifiers.

Makalah ini menyatakan:

‘Unfortunately existing face verification [methods] tend to characterize the most discriminative region, i.e., the inner face for verification and fail to capture the identity information in the outer face. With Identity Consistency Transformer, we train a model to learn a pair of identity vectors, one for the inner face and the other for the outer face, by designing a Transformer such that the inner and the outer identities can be learned simultaneously in a seamlessly unified model.’

Karena tidak ada model yang ada untuk protokol identifikasi ini, penulis telah merancang kerugian konsistensi baru yang dapat bertindak sebagai metrik untuk keaslian. “Token dalam” dan “token luar” yang dihasilkan dari model ekstraksi identitas ditambahkan ke patch embedding yang lebih konvensional yang dihasilkan oleh kerangka identifikasi wajah.

Data dan Pelatihan

Jaringan ICT dilatih pada dataset MS-Celeb-1M dari Microsoft Research, yang berisi 10 juta gambar wajah selebriti yang mencakup satu juta identitas, termasuk aktor, politisi, dan banyak jenis tokoh terkenal lainnya. Menurut prosedur metode sebelumnya Face X-ray (inisiatif Microsoft Research lainnya), rutinitas pembuatan palsu ICT sendiri menukar area dalam dan luar wajah yang diambil dari dataset ini untuk membuat materi yang digunakan untuk menguji algoritma.

Untuk melakukan pertukaran internal ini, ICT mengidentifikasi dua gambar dalam dataset yang menunjukkan pose kepala dan landmark wajah yang mirip, menghasilkan masker area fitur sentral (ke dalam yang dapat dilakukan pertukaran), dan melakukan swap deepfake dengan koreksi warna RGB.

Alasan ICT terbatas pada identifikasi selebriti adalah karena bergantung (dalam variasi paling efektif) pada himpunan referensi baru yang menggabungkan vektor wajah yang dihasilkan dari korpus sentral (dalam hal ini MS-Celeb-1M, meskipun referensi dapat diperluas ke gambar yang tersedia di jaringan, yang hanya mungkin ada dalam kualitas dan kuantitas yang cukup untuk tokoh publik yang terkenal).

Vektor-vektor yang dihasilkan dari metode ini bertindak sebagai token keaslian untuk memverifikasi area wajah dalam dan luar secara bersamaan.

Penulis mencatat bahwa token yang diperoleh dari metode ini mewakili “fitur tingkat tinggi”, yang menghasilkan proses deteksi deepfake yang lebih mungkin untuk bertahan dalam lingkungan yang menantang seperti video resolusi rendah atau terdegradasi.

Kritis, ICT tidak mencari bukti berdasarkan artefak, tetapi lebih fokus pada metode verifikasi identitas yang lebih sesuai dengan teknik pengenalan wajah – pendekatan yang sulit dengan data volume rendah, seperti dalam kasus penyelidikan insiden deepfake revenge porn terhadap target yang tidak terkenal.

Pengujian

Dilatih pada MS-Celeb-1M, ICT kemudian dibagi menjadi versi referensi dan “buta” dari algoritma, dan diuji terhadap berbagai dataset dan metode yang bersaing. Ini termasuk FaceForensics++ (FF++), dataset 1000 video asli dan deepfake yang dibuat melalui empat metode termasuk Face2Face dan FaceSwap; Google’s Deepfake Detection (DFD), juga terdiri dari ribuan video deepfake yang dibuat oleh Google; Celeb-DeepFake v1 (CD1), yang menampilkan 408 video asli dan 795 video sintetis dengan artefak rendah; Celeb-DeepFake v2, ekstensi dari V1 yang berisi 590 video asli dan 5.639 video palsu; dan China’s 2020 Deeper-Forensics (Deeper).

Itulah dataset; metode deteksi dalam tantangan pengujian adalah Multi-task, MesoInc4, Capsule, Xception-c0, c2 (metode yang digunakan dalam FF++), FWA/DSP-FW dari Universitas Albany, Two-Branch, PCL+I2G, dan metode konteks-discrepancy oleh Yuval Nirkin.

Metode deteksi yang disebutkan di atas ditujukan untuk mendeteksi jenis manipulasi wajah tertentu. Selain itu, penulis makalah baru ini juga menguji penawaran deteksi deepfake yang lebih umum Face X-ray, FFD dari Universitas Michigan, CNNDetection, dan Patch-Forensics dari MIT CSAIL.

Hasil paling jelas dari pengujian adalah bahwa metode yang bersaing secara drastis menurun dalam efektivitas ketika resolusi dan kualitas video menurun. Karena beberapa potensi paling serius untuk deepfake memasuki kemampuan diskriminatif kita terletak (tidak hanya saat ini) dalam video non-HD atau terdegradasi, ini tampaknya merupakan hasil yang signifikan.

Dalam grafik hasil di atas, garis biru dan merah menunjukkan ketahanan metode ICT terhadap degradasi gambar di semua area kecuali hambatan kebisingan Gaussian (yang tidak mungkin terjadi dalam footage Zoom dan webcam), sedangkan metode yang bersaing menurun drastis.

Dalam tabel hasil di bawah, kita melihat efektivitas metode deteksi deepfake yang berbeda pada dataset yang tidak terlihat. Hasil abu-abu dan bintang menunjukkan perbandingan dari hasil yang diterbitkan sebelumnya dalam proyek tertutup, yang tidak dapat diverifikasi secara eksternal. Di sebagian besar kerangka yang dapat dibandingkan, ICT outperforms pendekatan deteksi deepfake lainnya (ditunjukkan dengan tebal) di atas dataset yang diuji.

Sebagai pengujian tambahan, penulis menjalankan konten dari saluran YouTube yang terkenal deepfaker Ctrl Shift Face, dan menemukan bahwa metode yang bersaing mencapai skor identifikasi yang jauh lebih rendah:

Yang menonjol di sini adalah bahwa metode FF++ (Xception-c23) dan FFD, yang mencapai beberapa skor tertinggi di beberapa data pengujian dalam pengujian umum makalah baru, mencapai skor yang jauh lebih rendah daripada ICT dalam konteks “dunia nyata” dari konten deepfake yang sangat berusaha.

Penulis menyimpulkan makalah dengan harapan bahwa hasilnya akan mengarahkan komunitas deteksi deepfake ke inisiatif serupa yang fokus pada fitur tingkat tinggi yang lebih mudah digeneralisasi, dan menjauh dari “perang dingin” deteksi artefak, di mana metode terbaru secara teratur dibatalkan oleh perkembangan dalam kerangka deepfake, atau oleh faktor lain yang membuat metode tersebut kurang tangguh.

Periksa video tambahan yang disertakan di bawah untuk contoh lebih lanjut dari ICT yang mengidentifikasi konten deepfake yang sering mengalahkan metode alternatif.

Dipublikasikan pertama kali pada 4 Maret 2022.