Informasi Kedalaman Dapat Mengungkap Deepfakes Secara Real-Time

Penelitian baru dari Italia telah menemukan bahwa informasi kedalaman yang diperoleh dari gambar dapat menjadi alat yang berguna untuk mendeteksi deepfakes – bahkan dalam waktu nyata.

Sebagian besar penelitian tentang deteksi deepfake selama lima tahun terakhir telah berkonsentrasi pada identifikasi artefak (yang dapat diminimalkan dengan teknik yang ditingkatkan, atau salah dianggap sebagai kompresi codec video yang buruk), pencahayaan ambient, ciri biometrik, gangguan temporal, dan bahkan insting manusia, penelitian baru ini adalah yang pertama untuk menyarankan bahwa informasi kedalaman bisa menjadi sandi yang berharga untuk konten deepfake.

Contoh peta kedalaman yang dihasilkan, dan perbedaan informasi kedalaman perseptual antara gambar asli dan palsu. Sumber: https://arxiv.org/pdf/2208.11074.pdf

Kritis, kerangka deteksi yang dikembangkan untuk penelitian baru ini beroperasi sangat baik pada jaringan ringan seperti Xception, dan dapat diterima dengan baik pada MobileNet, dan makalah baru ini mengakui bahwa latency rendah yang ditawarkan melalui jaringan tersebut dapat memungkinkan deteksi deepfake waktu nyata melawan tren baru ke arah penipuan deepfake langsung, seperti yang ditunjukkan oleh serangan pada Binance.

Lebih banyak efisiensi dalam waktu inferensi dapat dicapai karena sistem tidak memerlukan gambar berwarna penuh untuk menentukan perbedaan antara peta kedalaman palsu dan asli, tetapi dapat beroperasi dengan sangat efisien hanya pada gambar abu-abu dari informasi kedalaman.

Penulis menyatakan: ‘Hasil ini menunjukkan bahwa kedalaman dalam hal ini menambah kontribusi yang lebih relevan untuk klasifikasi daripada artefak warna.’

Temuan ini mewakili bagian dari gelombang baru penelitian deteksi deepfake yang diarahkan pada sistem sintesis wajah waktu nyata seperti DeepFaceLive – fokus yang telah dipercepat secara signifikan dalam 3-4 bulan terakhir, setelah peringatan FBI pada Maret tentang risiko deepfake video dan audio waktu nyata.

Makalah ini berjudul DepthFake: strategi berbasis kedalaman untuk mendeteksi video Deepfake, dan berasal dari lima peneliti di Universitas Sapienza Roma.

Kasus Tepi

Selama pelatihan, model deepfake berbasis autoencoder memprioritaskan wilayah inner wajah, seperti mata, hidung, dan mulut. Dalam sebagian besar kasus, di seluruh distribusi sumber terbuka seperti DeepFaceLab dan FaceSwap (keduanya bercabang dari kode Reddit asli 2017 sebelum dihapus), garis luar wajah tidak menjadi terdefinisi dengan baik sampai tahap pelatihan yang sangat akhir, dan tidak mungkin sesuai dengan kualitas sintesis di area wajah dalam.

Dari penelitian sebelumnya, kita melihat visualisasi ‘peta kepentingan’ wajah. Sumber: https://arxiv.org/pdf/2203.01318.pdf

Normalnya, ini tidak penting, karena kecenderungan kita untuk memfokuskan perhatian pertama pada mata dan memprioritaskan ‘keluar’ dengan tingkat perhatian yang menurun berarti kita tidak mungkin terganggu oleh penurunan kualitas perifer – terutama jika kita berbicara langsung dengan orang yang sedang memalsukan identitas lain, yang memicu konvensi sosial dan keterbatasan pemrosesan yang tidak hadir ketika kita mengevaluasi ‘rendered’ deepfake.

Namun, kurangnya detail atau akurasi di wilayah margin yang terkena wajah palsu dapat dideteksi secara algoritmik. Pada Maret, sistem yang mengandalkan wilayah wajah perifer telah diumumkan. Namun, karena memerlukan jumlah data pelatihan yang di atas rata-rata, hanya dimaksudkan untuk selebriti yang kemungkinan besar akan ditampilkan dalam dataset wajah populer (seperti ImageNet) yang memiliki provenance dalam teknik visi komputer dan deteksi deepfake saat ini.

Sebaliknya, sistem baru, yang disebut DepthFake, dapat beroperasi secara generik bahkan pada identitas yang tidak jelas atau tidak dikenal, dengan membedakan kualitas informasi peta kedalaman yang diestimasi pada konten video asli dan palsu.

Masuk Lebih Dalam

Informasi peta kedalaman semakin banyak disematkan ke dalam smartphone, termasuk implementasi stereo yang dibantu AI yang sangat berguna untuk studi visi komputer. Dalam penelitian baru ini, penulis telah menggunakan model FaceDepth dari Universitas Nasional Irlandia, sebuah jaringan encoder/decoder konvolusional yang dapat mengestimasi peta kedalaman dari gambar sumber tunggal dengan efisien.

Model FaceDepth dalam aksi. Sumber: https://tinyurl.com/3ctcazma

Berikutnya, pipa untuk kerangka baru peneliti Italia ini mengekstrak patch wajah subjek sebesar 224×224 piksel dari gambar RGB asli dan peta kedalaman yang dihasilkan. Kritis, ini memungkinkan proses untuk menyalin konten inti tanpa mengubah ukurannya; ini penting, karena algoritma pengubahan ukuran standar akan mempengaruhi kualitas area yang ditargetkan.

Menggunakan informasi ini, dari sumber asli dan deepfaked, peneliti kemudian melatih jaringan saraf konvolusional (CNN) yang dapat membedakan contoh asli dari palsu, berdasarkan perbedaan antara kualitas perseptual peta kedalaman masing-masing.

Pipa konseptual untuk DepthFake.

Model FaceDepth dilatih pada data realistis dan sintetis menggunakan fungsi hibrida yang menawarkan detail lebih besar di margin luar wajah, membuatnya sangat sesuai untuk DepthFake. Ini menggunakan instance MobileNet sebagai pengambil fitur, dan dilatih dengan gambar input 480×640 yang menghasilkan peta kedalaman 240×320. Setiap peta kedalaman mewakili seperempat dari empat saluran input yang digunakan dalam proyek diskriminator baru.

Peta kedalaman secara otomatis disematkan ke dalam gambar RGB asli untuk menyediakan jenis gambar RGBD, yang kaya akan informasi kedalaman, yang dapat dihasilkan oleh kamera smartphone modern.

Pelatihan

Model ini dilatih pada jaringan Xception yang sudah dilatih sebelumnya pada ImageNet, meskipun arsitektur memerlukan beberapa adaptasi untuk mengakomodasi informasi kedalaman tambahan sambil mempertahankan inisialisasi bobot yang benar.

Tambahan, kesalahan nilai antara informasi kedalaman dan apa yang diharapkan jaringan memerlukan peneliti untuk menormalkan nilai ke 0-255.

Selama pelatihan, hanya flipping dan rotasi yang diterapkan. Dalam banyak kasus, berbagai gangguan visual lainnya akan disajikan kepada model untuk mengembangkan inferensi yang kuat, tetapi kebutuhan untuk melestarikan informasi peta kedalaman tepi yang terbatas dan sangat rapuh di foto sumber memaksa peneliti untuk mengadopsi rezim yang disederhanakan.

Sistem ini juga dilatih pada grayscale sederhana 2-kanal, untuk menentukan seberapa kompleks gambar sumber perlu untuk mendapatkan algoritma yang dapat digunakan.

Pelatihan dilakukan melalui API TensorFlow pada NVIDIA GTX 1080 dengan 8GB VRAM, menggunakan optimizer ADAMAX, selama 25 epoch, dengan ukuran batch 32. Resolusi input tetap pada 224×224 selama pemotongan, dan deteksi wajah serta ekstraksi dilakukan dengan library C++ dlib.

Hasil

Akurasi hasil diuji melawan Deepfake, Face2Face, FaceSwap, Neural Texture, dan dataset lengkap dengan input RGB dan RGBD, menggunakan kerangka FaceForensic++.

Hasil akurasi atas empat metode deepfake, dan melawan dataset lengkap yang tidak terbagi. Hasilnya dibagi antara analisis gambar RGB sumber, dan gambar yang sama dengan peta kedalaman yang disematkan. Hasil terbaik ditunjukkan dengan tebal, dengan angka persentase di bawah menunjukkan seberapa besar informasi peta kedalaman meningkatkan hasilnya.

Dalam semua kasus, saluran kedalaman meningkatkan kinerja model di semua konfigurasi. Xception mendapatkan hasil terbaik, dengan MobileNet yang gesit di belakang. Mengenai hal ini, penulis berkomentar:

‘[Ini] menarik untuk dicatat bahwa MobileNet sedikit lebih rendah dari Xception dan outperforms ResNet50 yang lebih dalam. Ini adalah hasil yang signifikan ketika mempertimbangkan tujuan mengurangi waktu inferensi untuk aplikasi waktu nyata. Meskipun ini bukan kontribusi utama dari pekerjaan ini, kami masih menganggapnya sebagai hasil yang menggembirakan untuk pengembangan masa depan.’

Peneliti juga mencatat keuntungan konsisten dari input RGBD dan grayscale 2-kanal atas input RGB dan grayscale biasa, mengamati bahwa konversi grayscale dari inferensi kedalaman, yang komputasinya sangat murah, memungkinkan model untuk mendapatkan hasil yang lebih baik dengan sumber daya lokal yang sangat terbatas, memfasilitasi pengembangan deteksi deepfake waktu nyata berbasis informasi kedalaman di masa depan.

Dipublikasikan pertama kali pada 24 Agustus 2022.