Fidelitas vs. Realisme dalam Video Deepfake

Tidak semua praktisi deepfake memiliki tujuan yang sama: dorongan dari sektor penelitian sintesis gambar – yang didukung oleh pendukung berpengaruh seperti Adobe, NVIDIA dan Facebook – adalah untuk memajukan keadaan seni sehingga teknik pembelajaran mesin dapat merekam atau mensintesis aktivitas manusia dengan resolusi tinggi dan dalam kondisi yang paling menantang (fidelitas)).

Sebaliknya, tujuan mereka yang ingin menggunakan teknologi deepfake untuk menyebarkan disinformasi adalah untuk menciptakan simulasi yang masuk akal dari orang-orang nyata dengan berbagai metode selain kebenaran wajah deepfaked. Dalam skenario ini, faktor-faktor seperti konteks dan kemungkinan hampir setara dengan potensi video untuk mensimulasikan wajah (realisme).

Pendekatan ‘sleight-of-hand’ ini diperluas ke degradasi kualitas gambar akhir dari video deepfake, sehingga seluruh video (dan tidak hanya bagian yang menipu yang diwakili oleh wajah deepfaked) memiliki ‘tampilan’ yang kohesif yang akurat untuk kualitas yang diharapkan untuk medium.

‘Kohesif’ tidak harus berarti ‘baik’ – cukup bahwa kualitasnya konsisten di seluruh asli dan konten yang dimasukkan, dan memenuhi harapan. Dalam hal output streaming VOIP pada platform seperti Skype dan Zoom, batang dapat sangat rendah, dengan video yang terputus-putus, jerky, dan berbagai artefak kompresi potensial, serta algoritma ‘smoothing’ yang dirancang untuk mengurangi efeknya – yang pada gilirannya merupakan efek ‘tidak asli’ tambahan yang telah kita terima sebagai konsekuensi dari keterbatasan dan keanehan live streaming.

DeepFaceLive dalam aksi: versi streaming dari perangkat lunak deepfake premier DeepFaceLab dapat menyediakan realisme kontekstual dengan menampilkan palsu dalam konteks kualitas video yang terbatas, lengkap dengan masalah pemutaran dan artefak koneksi lainnya. Sumber: https://www.youtube.com/watch?v=IL517EgYH8U

Degradasi Bawaan

Memang, dua paket deepfake paling populer (keduanya berasal dari kode sumber kontroversial 2017) mengandung komponen yang dimaksudkan untuk mengintegrasikan wajah deepfaked ke dalam konteks ‘historis’ atau video dengan kualitas lebih rendah dengan mengurangi kualitas wajah yang dihasilkan. Di DeepFaceLab, parameter bicubic_degrade_power mencapai ini, dan di FaceSwap, pengaturan ‘grain’ dalam konfigurasi Ffmpeg juga membantu integrasi wajah palsu dengan mempertahankan grain selama pengkodean*.

Pengaturan ‘grain’ di FaceSwap membantu integrasi yang autentik ke dalam konten video non-HQ, dan konten warisan yang mungkin menampilkan efek grain film yang relatif jarang ini hari.

Seringkali, bukan video deepfake yang lengkap dan terintegrasi, deepfakers akan menghasilkan serangkaian file PNG yang terisolasi dengan saluran alpha, masing-masing menampilkan hanya wajah sintetis yang dihasilkan, sehingga aliran gambar dapat diubah menjadi video di platform dengan kemampuan efek ‘mengurangi’ yang lebih canggih, seperti Adobe After Effects, sebelum palsu dan elemen asli digabungkan untuk video akhir.

Selain degradasi yang disengaja, konten pekerjaan deepfake sering direkompresi, baik secara algoritmik (di mana platform media sosial mencoba menghemat bandwidth dengan menghasilkan versi yang lebih ringan dari unggahan pengguna) di platform seperti YouTube dan Facebook, atau dengan memproses kembali pekerjaan asli menjadi GIF animasi, bagian detail, atau alur kerja yang beragam yang memperlakukan rilis asli sebagai titik awal, dan kemudian memperkenalkan kompresi tambahan.

Konteks Deteksi Deepfake Realistis

Dengan ini, sebuah makalah baru dari Swiss telah mengusulkan perubahan metodologi di balik pendekatan deteksi deepfake, dengan mengajarkan sistem deteksi untuk mempelajari karakteristik konten deepfake ketika disajikan dalam konteks yang sengaja didegradasi.

Augmentasi data stokastik diterapkan pada salah satu dataset yang digunakan dalam makalah baru, menampilkan noise Gaussian, koreksi gamma, dan blur Gaussian, serta artefak dari kompresi JPEG. Sumber: https://arxiv.org/pdf/2203.11807.pdf

Di makalah baru, peneliti berargumen bahwa paket deteksi deepfake vanguard bergantung pada kondisi benchmark yang tidak realistis untuk konteks metrik yang diterapkan, dan bahwa output deepfake ‘didegradasi’ dapat jatuh di bawah ambang batas kualitas minimum untuk deteksi, meskipun konten ‘kotor’ yang realistisnya kemungkinan akan menipu pemirsa karena perhatian yang tepat pada konteks.

Peneliti telah memperkenalkan proses degradasi data ‘dunia nyata’ yang baru yang berhasil memperbaiki generalisasi detektor deepfake terkemuka, dengan hanya sedikit kehilangan akurasi pada tingkat deteksi asli yang diperoleh oleh data ‘bersih’. Mereka juga menawarkan kerangka penilaian baru yang dapat mengevaluasi ketahanan detektor deepfake dalam kondisi dunia nyata, didukung oleh studi ablasion yang luas.

Makalah ini berjudul Pendekatan Baru untuk Meningkatkan Deteksi Deepfake Berbasis Pembelajaran dalam Kondisi Realistis, dan berasal dari peneliti di Multimedia Signal Processing Group (MMSPG) dan Ecole Polytechnique Federale de Lausanne (EPFL), keduanya berbasis di Lausanne.

Kebingungan yang Berguna

Upaya sebelumnya untuk menggabungkan output yang didegradasi ke dalam pendekatan deteksi deepfake termasuk Mixup neural network, sebuah penawaran 2018 dari MIT dan FAIR, dan AugMix, sebuah kolaborasi 2020 antara DeepMind dan Google, keduanya metode augmentasi data yang mencoba ‘mengacaukan’ material pelatihan dengan cara yang cenderung membantu generalisasi.

Peneliti makalah baru juga mencatat studi sebelumnya yang menerapkan noise Gaussian dan artefak kompresi pada data pelatihan untuk menetapkan batas-batas hubungan antara fitur yang dihasilkan dan noise di mana ia terbenam.

Studi baru menawarkan pipa yang mensimulasikan kondisi yang kompromi dari proses akuisisi untuk pengambilan gambar dan kompresi serta algoritma lain yang dapat lebih lanjut merusak output gambar dalam proses distribusi. Dengan menggabungkan alur kerja dunia nyata ini ke dalam kerangka evaluatif, memungkinkan untuk menghasilkan data pelatihan untuk detektor deepfake yang lebih tahan terhadap artefak.

Logika konseptual dan alur kerja untuk pendekatan baru.

Proses degradasi diterapkan pada dua dataset populer dan sukses yang digunakan untuk deteksi deepfake: FaceForensics++ dan Celeb-DFv2. Selain itu, kerangka detektor deepfake terkemuka Capsule-Forensics dan XceptionNet dilatih pada versi yang didegradasi dari dua dataset.

Detektor dilatih dengan optimizer Adam untuk 25 dan 10 epoch masing-masing. Untuk transformasi dataset, 100 frame secara acak dipilih dari setiap video pelatihan, dengan 32 frame diekstrak untuk pengujian, sebelum penambahan proses degradasi.

Distorsi yang dipertimbangkan untuk alur kerja adalah noise, di mana noise Gaussian dengan mean nol diterapkan pada enam tingkat yang berbeda; resizing, untuk mensimulasikan resolusi yang lebih rendah dari footage luar ruangan yang khas, yang dapat memengaruhi detektor; compression, di mana berbagai tingkat kompresi JPEG diterapkan di seluruh data; smoothing, di mana tiga filter smoothing yang umum digunakan dalam ‘denoising’ dievaluasi untuk kerangka; enhancement, di mana kontras dan kecerahan disesuaikan; dan combinations, di mana campuran dari tiga metode sebelumnya diterapkan secara bersamaan pada satu gambar.

Pengujian dan Hasil

Dalam menguji data, peneliti mengadopsi tiga metrik: Akurasi (ACC); Area Under Receiver Operating Characteristic Curve (AUC); dan F1-score.

Peneliti menguji versi standar yang dilatih dari dua detektor deepfake terhadap data yang didegradasi, dan menemukannya kurang:

‘Secara umum, sebagian besar distorsi realistis dan pemrosesan sangat merusak detektor deepfake berbasis pembelajaran yang dilatih secara normal. Misalnya, metode Capsule-Forensics menunjukkan skor AUC yang sangat tinggi pada kedua set tes FFpp dan Celeb-DFv2 yang tidak terkompresi setelah dilatih pada dataset masing-masing, tetapi kemudian menderita penurunan kinerja yang drastis pada data yang dimodifikasi dari kerangka penilaian kami. Trend serupa telah diamati dengan detektor XceptionNet.’

Sebaliknya, kinerja dari dua detektor secara signifikan ditingkatkan dengan dilatih pada data yang ditransformasikan, dengan masing-masing detektor sekarang lebih mampu mendeteksi media penipuan yang tidak terlihat.

‘Skema augmentasi data secara signifikan meningkatkan ketahanan kedua detektor dan mereka masih mempertahankan kinerja tinggi pada data asli yang tidak diubah.’

Perbandingan kinerja antara dataset mentah dan augmentasi yang digunakan di seluruh dua detektor deepfake yang dievaluasi dalam studi.

Makalah ini menyimpulkan:

‘Metode deteksi saat ini dirancang untuk mencapai kinerja setinggi mungkin pada benchmark tertentu. Ini sering menghasilkan pengorbanan kemampuan generalisasi untuk skenario yang lebih realistis. Dalam makalah ini, skema augmentasi data yang dirancang dengan hati-hati berdasarkan proses degradasi gambar alami diusulkan.

‘Eksperimen ekstensif menunjukkan bahwa teknik sederhana tetapi efektif ini secara signifikan meningkatkan ketahanan model terhadap berbagai distorsi realistis dan operasi pemrosesan dalam alur kerja pengambilan gambar yang khas.’

* Pencocokan grain pada wajah yang dihasilkan adalah fungsi dari transfer gaya selama proses konversi.

Publikasi pertama 29 Maret 2022. Diperbarui pukul 8:33 malam EST untuk menjelaskan penggunaan grain di Ffmpeg.