Sudut Anderson

Mengidentifikasi Deepfake Selebriti dari Bagian Luar Wajah

Martin Anderson
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaICT mendeteksi deepfake dengan membandingkan identitas wajah bagian dalam dan luar…
Lihat selengkapnya
  • ICT mendeteksi deepfake dengan membandingkan identitas wajah bagian dalam dan luar, bukan artefak pertukaran.
  • Metode ini mengungguli pesaing pada video resolusi rendah di mana deteksi berbasis artefak gagal.
  • ICT bergantung pada data MS-Celeb-1M yang membatasi efektivitasnya hanya pada selebriti dengan banyak gambar publik.

Kolaborasi baru antara Microsoft (MSFT ) dan sebuah universitas di Tiongkok telah mengusulkan metode baru untuk mengidentifikasi deepfake selebriti, dengan memanfaatkan kelemahan teknik deepfake saat ini untuk mengenali identitas yang telah “diprojeksikan” ke orang lain.

Pendekatan ini disebut Identity Consistency Transformer (ICT), dan bekerja dengan membandingkan bagian luar wajah (rahang, tulang pipi, garis rambut, dan lain-lain) dengan bagian dalam wajah. Sistem ini memanfaatkan data gambar publik yang tersedia dari selebriti, yang membatasi efektivitasnya pada selebriti yang terkenal, yang gambar-gambarnya tersedia dalam jumlah besar dalam dataset penglihatan komputer dan di internet.

Cakupan pemalsuan wajah pada tujuh teknik: DeepFake pada FF+ dan Google DeepFake Detection, DeepFaceLab, Face2Face, FSGAN, serta DF-VAE. Paket populer seperti DeepFaceLab dan FaceSwap memiliki cakupan yang sama terbatasnya.

Cakupan pemalsuan wajah pada tujuh teknik: DeepFake pada FF+ dan Google DeepFake Detection, DeepFaceLab, Face2Face, FSGAN, serta DF-VAE. Paket populer seperti DeepFaceLab dan FaceSwap memiliki cakupan yang sama terbatasnya. Sumber: https://arxiv.org/pdf/2203.01318.pdf

Sebagaimana gambar di atas, metode deepfaking yang populer saat ini cukup terbatas, dan bergantung pada “wajah tuan rumah” (gambar atau video seseorang yang akan memiliki identitasnya digantikan oleh deepfake) untuk meminimalkan bukti penggantian wajah.

Metode yang berbeda mungkin mencakup seluruh dahi dan sebagian besar area pipi dan rahang, tetapi semua metode tersebut lebih atau kurang terbatas di dalam bingkai wajah tuan rumah.

Peta saliensi yang menyoroti identitas bagian dalam dan luar yang dihitung ICT. Jika identitas bagian dalam cocok tetapi bagian luar tidak, ICT menilai gambar sebagai palsu.

Peta saliensi yang menyoroti identitas bagian dalam dan luar yang dihitung ICT. Jika identitas bagian dalam cocok tetapi bagian luar tidak, ICT menilai gambar sebagai palsu.

Dalam pengujian, ICT terbukti dapat mendeteksi konten deepfake dalam kondisi yang menguntungkan pemalsuan, seperti video resolusi rendah, di mana konten video seluruhnya terdegradasi oleh artefak kompresi, membantu menyembunyikan bukti residual proses deepfake – suatu keadaan yang membingungkan banyak metode deteksi deepfake lainnya.

ICT mengungguli metode lain dalam mengenali deepfake. Video sumber di akhir artikel menyediakan contoh tambahan dengan resolusi lebih baik.

ICT mengungguli metode lain dalam mengenali deepfake. Video sumber di akhir artikel menyediakan contoh tambahan dengan resolusi lebih baik. Sumber: https://www.youtube.com/watch?v=zgF50dcymj8

Makalah paper ini berjudul Protecting Celebrities with Identity Consistency Transformer, dan berasal dari sembilan peneliti yang bergabung dengan Universitas Sains dan Teknologi Tiongkok, Microsoft Research Asia, dan Microsoft Cloud + AI.

Gap Kredibilitas

Ada beberapa alasan mengapa algoritma face-swapping yang populer seperti DeepFaceLab dan FaceSwap mengabaikan area luar wajah.

Pertama, pelatihan model deepfake membutuhkan waktu dan sumber daya yang besar, dan adopsi “wajah tuan rumah” yang kompatibel membebaskan siklus GPU dan epoch untuk fokus pada area dalam wajah yang relatif tidak berubah, yang kita gunakan untuk membedakan identitas (karena variabel seperti fluktuasi berat badan dan penuaan kurang mungkin mengubah ciri wajah inti dalam jangka pendek).

Kedua, sebagian besar pendekatan deepfake (dan ini pasti terjadi dengan DeepFaceLab, perangkat lunak yang digunakan oleh praktisi paling populer atau terkenal) memiliki kemampuan terbatas untuk mereplikasi “batas wajah” seperti area pipi dan rahang, dan terbatas oleh kenyataan bahwa kode dasar terdahulu (2017) tidak secara ekstensif menangani masalah ini.

Dalam kasus di mana identitas tidak cocok, algoritma deepfake harus “mengisi” area latar belakang di sekitar wajah, yang dilakukan dengan cara yang kurang elegan, bahkan di tangan deepfaker terbaik, seperti Ctrl Shift Face, yang outputnya digunakan dalam studi makalah.

Cuplikan deepfake karya Ctrl Shift Face yang menempatkan wajah Jim Carrey pada Gary Oldman. Ini merupakan salah satu hasil terbaik DeepFaceLab dan pascapemrosesan saat itu, tetapi keterbatasan perhatian DFL pada tepi wajah menuntut upaya besar dalam kurasi data dan pelatihan.

Cuplikan deepfake karya Ctrl Shift Face yang menempatkan wajah Jim Carrey pada Gary Oldman. Ini merupakan salah satu hasil terbaik DeepFaceLab dan pascapemrosesan saat itu, tetapi keterbatasan perhatian DFL pada tepi wajah menuntut upaya besar dalam kurasi data dan pelatihan. Sumber: https://www.youtube.com/watch?v=x8igrh1eyLk

Trik pengalihan perhatian ini sebagian besar lolos dari perhatian publik dalam kekhawatiran saat ini tentang realisme deepfakes yang meningkat, karena kemampuan kritis kita tentang deepfakes masih berkembang melampaui tahap “kaget dan takjub”.

Identitas Terpisah

Makalah baru ini mencatat bahwa sebagian besar metode deteksi deepfake sebelumnya bergantung pada artefak yang mengkhianati proses swap, seperti pose kepala yang tidak konsisten dan berkedip, di antara banyak teknik lain. Hanya beberapa hari yang lalu, makalah deteksi deepfake baru telah mengusulkan menggunakan “tanda tangan” dari jenis model yang berbeda dalam kerangka FaceSwap untuk membantu mengidentifikasi video palsu yang dibuat dengan itu (lihat gambar di bawah).

Mengidentifikasi deepfake dengan mengenali ciri khas berbagai jenis model dalam kerangka FaceSwap.

Mengidentifikasi deepfake dengan mengenali ciri khas berbagai jenis model dalam kerangka FaceSwap. Sumber: https://arxiv.org/pdf/2202.12951.pdf

Sebaliknya, arsitektur ICT menciptakan dua identitas terpisah untuk seseorang, keduanya harus diverifikasi sebelum identitas seluruhnya disimpulkan sebagai rekaman atau gambar asli.

Arsitektur tahap pelatihan dan pengujian ICT.

Arsitektur tahap pelatihan dan pengujian ICT.

Pemisahan identitas ini difasilitasi oleh Transformer visual, yang melakukan identifikasi wajah sebelum membagi area yang disurvei menjadi token yang termasuk dalam identitas dalam atau luar.

Mendistribusikan potongan gambar di antara dua penanda identitas paralel.

Mendistribusikan potongan gambar di antara dua penanda identitas paralel.

Makalah ini menyatakan:

Sayangnya, metode verifikasi wajah yang ada cenderung merepresentasikan bagian yang paling mampu membedakan identitas, yaitu bagian dalam wajah, dan gagal menangkap informasi identitas pada bagian luar. Dengan Identity Consistency Transformer, kami melatih model untuk mempelajari sepasang vektor identitas, satu untuk bagian dalam dan satu untuk bagian luar wajah. Transformer dirancang agar kedua identitas dapat dipelajari secara bersamaan dalam satu model yang terintegrasi dengan mulus.

Karena tidak ada model yang ada untuk protokol identifikasi ini, penulis telah merancang kerugian konsistensi baru yang dapat bertindak sebagai metrik untuk keaslian. “Token dalam” dan “token luar” yang dihasilkan dari model ekstraksi identitas ditambahkan ke patch embedding yang lebih konvensional yang dihasilkan oleh kerangka identifikasi wajah.

Data dan Pelatihan

Jaringan ICT dilatih pada dataset MS-Celeb-1M dari Microsoft Research, yang berisi 10 juta gambar wajah selebriti yang mencakup 100.000 identitas, termasuk aktor, politisi, dan banyak jenis tokoh terkenal lainnya. Menurut prosedur metode sebelumnya Face X-ray (inisiatif Microsoft Research lainnya), rutinitas pembuatan palsu ICT sendiri menukar area dalam dan luar wajah yang diambil dari dataset ini untuk membuat materi yang digunakan untuk menguji algoritma.

Untuk melakukan pertukaran internal ini, ICT mengidentifikasi dua gambar dalam dataset yang menunjukkan pose kepala dan landmark wajah yang mirip, menghasilkan masker area fitur sentral (ke dalam yang dapat dilakukan pertukaran), dan melakukan swap deepfake dengan koreksi warna RGB.

Alasan ICT terbatas pada identifikasi selebriti adalah karena bergantung (dalam variasi paling efektif) pada himpunan referensi baru yang menggabungkan vektor wajah yang dihasilkan dari korpus sentral (dalam hal ini MS-Celeb-1M, meskipun referensi dapat diperluas ke gambar yang tersedia di jaringan, yang hanya mungkin ada dalam kualitas dan kuantitas yang cukup untuk tokoh publik yang terkenal).

Vektor-vektor yang dihasilkan dari metode ini bertindak sebagai token keaslian untuk memverifikasi area wajah dalam dan luar secara bersamaan.

Penulis mencatat bahwa token yang diperoleh dari metode ini mewakili “fitur tingkat tinggi”, yang menghasilkan proses deteksi deepfake yang lebih mungkin untuk bertahan dalam lingkungan yang menantang seperti video resolusi rendah atau terdegradasi.

Kritis, ICT tidak mencari bukti berdasarkan artefak, tetapi lebih fokus pada metode verifikasi identitas yang lebih sesuai dengan teknik pengenalan wajah – pendekatan yang sulit dengan data volume rendah, seperti dalam kasus penyelidikan insiden deepfake revenge porn terhadap target yang tidak terkenal.

Pengujian

Dilatih pada MS-Celeb-1M, ICT kemudian dibagi menjadi versi referensi dan “buta” dari algoritma, dan diuji terhadap berbagai dataset dan metode yang bersaing. Ini termasuk FaceForensics++ (FF++), dataset 1000 video asli dan deepfake yang dibuat melalui empat metode termasuk Face2Face dan FaceSwap; Google’s Deepfake Detection (DFD), juga terdiri dari ribuan video deepfake yang dibuat oleh Google; Celeb-DeepFake v1 (CD1), yang menampilkan 408 video asli dan 795 video sintetis dengan artefak rendah; Celeb-DeepFake v2, ekstensi dari V1 yang berisi 590 video asli dan 5.639 video palsu; dan China’s 2020 Deeper-Forensics (Deeper).

Itulah dataset; metode deteksi dalam tantangan pengujian adalah Multi-task, MesoInc4, Capsule, Xception-c0, c2 (metode yang digunakan dalam FF++), FWA/DSP-FW dari Universitas Albany, Two-Branch, PCL+I2G, dan metode konteks-discrepancy oleh Yuval Nirkin.

Metode deteksi yang disebutkan di atas ditujukan untuk mendeteksi jenis manipulasi wajah tertentu. Selain itu, penulis makalah baru ini juga menguji penawaran deteksi deepfake yang lebih umum Face X-ray, FFD dari Universitas Michigan, CNNDetection, dan Patch-Forensics dari MIT CSAIL.

Hasil paling jelas dari pengujian adalah bahwa metode yang bersaing secara drastis menurun dalam efektivitas ketika resolusi dan kualitas video menurun. Karena beberapa potensi paling serius untuk deepfake memasuki kemampuan diskriminatif kita terletak (tidak hanya saat ini) dalam video non-HD atau terdegradasi, ini tampaknya merupakan hasil yang signifikan.

Dalam grafik hasil di atas, garis biru dan merah menunjukkan ketahanan metode ICT terhadap degradasi gambar di semua area kecuali hambatan kebisingan Gaussian (yang tidak mungkin terjadi dalam footage Zoom dan webcam), sedangkan metode yang bersaing menurun drastis.

Dalam tabel hasil di bawah, kita melihat efektivitas metode deteksi deepfake yang berbeda pada dataset yang belum pernah dilihat sebelumnya. Hasil abu-abu dan bintang menunjukkan perbandingan dari hasil yang diterbitkan sebelumnya dalam proyek tertutup, yang tidak dapat diverifikasi secara eksternal. Di sebagian besar kerangka yang dapat dibandingkan, ICT mengungguli pendekatan deteksi deepfake lainnya (ditunjukkan dengan tebal) di atas dataset yang diuji.

Sebagai pengujian tambahan, penulis menjalankan konten dari saluran YouTube yang terkenal deepfaker Ctrl Shift Face, dan menemukan bahwa metode yang bersaing mencapai skor identifikasi yang jauh lebih rendah:

Yang menonjol di sini adalah bahwa metode FF++ (Xception-c23) dan FFD, yang mencapai beberapa skor tertinggi di beberapa data pengujian dalam pengujian umum makalah baru, mencapai skor yang jauh lebih rendah daripada ICT dalam konteks “dunia nyata” dari konten deepfake yang dibuat dengan upaya tinggi.

Penulis menyimpulkan makalah dengan harapan bahwa hasilnya akan mengarahkan komunitas deteksi deepfake ke inisiatif serupa yang fokus pada fitur tingkat tinggi yang lebih mudah digeneralisasi, dan menjauh dari “perang dingin” deteksi artefak, di mana metode terbaru secara teratur dibatalkan oleh perkembangan dalam kerangka deepfake, atau oleh faktor lain yang membuat metode tersebut kurang tangguh.

Periksa video tambahan yang disertakan di bawah untuk contoh lebih lanjut dari ICT yang mengidentifikasi konten deepfake yang sering mengalahkan metode alternatif.

 

 

Dipublikasikan pertama kali pada 4 Maret 2022.

Penulis tentang pembelajaran mesin, spesialis domain dalam sintesis gambar manusia. Mantan kepala konten riset di Metaphysic.ai, hingga dibubarkannya menjadi Brahma.ai milik DNEG.
Website: martinanderson.ai
Kontak: martin@martinanderson.ai