Mendeteksi Video Konferensi Deepfake dengan Fungsi ‘Getar’ Smartphone

Penelitian baru dari Singapura telah mengusulkan metode baru untuk mendeteksi apakah seseorang di ujung lain alat konferensi video smartphone menggunakan metode seperti DeepFaceLive untuk mengimpersonasi seseorang lain.

Bernama SFake, pendekatan baru ini meninggalkan metode pasif yang digunakan oleh sebagian besar sistem, dan menyebabkan ponsel pengguna bergetar (menggunakan mekanisme ‘getar’ yang sama umum di smartphone), dan sedikit memburamkan wajah mereka.

Meskipun sistem live deepfaking dapat meniru motion blur, selama footage yang buram termasuk dalam data pelatihan, atau setidaknya dalam data pra-pelatihan, mereka tidak dapat merespons dengan cukup cepat untuk memburamkan jenis ini, dan terus mengeluarkan bagian wajah yang tidak buram, mengungkapkan keberadaan panggilan konferensi deepfake.

DeepFaceLive tidak dapat merespons dengan cukup cepat untuk mensimulasikan buram yang disebabkan oleh getaran kamera. Sumber: https://arxiv.org/pdf/2409.10889v1

Hasil tes pada dataset yang dikurasi sendiri oleh peneliti (karena tidak ada dataset yang sesuai untuk tujuan ini) menemukan bahwa SFake outperformed metode deteksi deepfake video lainnya, bahkan ketika menghadapi situasi yang menantang, seperti gerakan tangan alami yang terjadi ketika orang lain dalam video konferensi memegang kamera dengan tangan, bukan menggunakan mount ponsel statis.

Kebutuhan yang Semakin Besar untuk Deteksi Deepfake Berbasis Video

Penelitian tentang deteksi deepfake berbasis video telah meningkat baru-baru ini. Setelah beberapa tahun keberhasilan penipuan deepfake suara, awal tahun ini seorang pekerja keuangan tertipu untuk mengirim $25 juta dolar kepada penipu yang mengimpersonasi seorang CFO dalam panggilan konferensi video deepfake.

Meskipun sistem seperti ini memerlukan akses perangkat keras yang tinggi, banyak pengguna smartphone sudah terbiasa dengan layanan verifikasi keuangan dan lain-lain yang meminta kita untuk merekam karakteristik wajah kita untuk autentikasi berbasis wajah (memang, ini bahkan bagian dari proses verifikasi LinkedIn).

Oleh karena itu, tampaknya metode seperti ini akan semakin diterapkan untuk sistem konferensi video, karena kejahatan seperti ini terus membuat berita.

Sebagian besar solusi yang menangani deepfaking video konferensi secara real-time mengasumsikan skenario yang sangat statis, di mana komunikator menggunakan webcam stasioner, dan tidak ada gerakan atau perubahan lingkungan atau pencahayaan yang berlebihan.

Sementara itu, SFake menggunakan beberapa metode deteksi untuk mengkompensasi jumlah variant visual yang tinggi dalam video konferensi berbasis smartphone, dan tampaknya menjadi proyek penelitian pertama yang menangani masalah ini dengan menggunakan peralatan getar standar yang dibangun ke dalam smartphone.

Makalah ini berjudul Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes, dan berasal dari dua peneliti dari Nanyang Technological University di Singapura.

Metode

SFake dirancang sebagai layanan berbasis cloud, di mana aplikasi lokal akan mengirim data ke layanan API jarak jauh untuk diproses, dan hasilnya dikirim kembali.

Namun, dengan ukuran hanya 450mb dan metodologi yang dioptimalkan, SFake dapat memproses deteksi deepfake secara keseluruhan di perangkat itu sendiri, dalam kasus di mana koneksi jaringan dapat menyebabkan gambar yang dikirim menjadi terlalu terkompresi, mempengaruhi proses diagnostik.

Menjalankan ‘semua lokal’ dengan cara ini berarti bahwa sistem akan memiliki akses langsung ke umpan kamera pengguna, tanpa codec gangguan yang sering terkait dengan video konferensi.

Waktu analisis rata-rata memerlukan sampel video selama empat detik, selama itu pengguna diminta untuk tetap diam, dan selama itu SFake mengirim ‘probes’ untuk menyebabkan getaran kamera terjadi, pada interval yang secara acak tidak dapat direspon oleh sistem seperti DeepFaceLive.

(Perlu ditekankan kembali bahwa setiap penyerang yang tidak memiliki konten buram dalam dataset pelatihan tidak mungkin dapat menghasilkan model yang dapat menghasilkan buram bahkan dalam keadaan yang lebih menguntungkan, dan bahwa DeepFaceLive tidak dapat hanya ‘menambahkan’ fungsionalitas ini ke model yang dilatih pada dataset yang tidak lengkap)

Sistem ini memilih area tertentu dari wajah sebagai area potensial konten deepfake, menghilangkan mata dan alis (karena berkedip dan motilitas wajah lainnya di area tersebut berada di luar cakupan deteksi buram, dan tidak ideal sebagai indikator).

Skema konseptual untuk SFake.

Sebagaimana dapat dilihat pada skema konseptual di atas, setelah memilih pola getaran yang sesuai dan tidak dapat diprediksi, menetapkan panjang fokus terbaik, dan melakukan pengenalan wajah (termasuk deteksi landmark melalui komponen Dlib yang memperkirakan 68 landmark wajah standar), SFake menghasilkan gradien dari wajah input dan fokus pada area tertentu dari gradien ini.

Urutan varian diperoleh dengan menganalisis secara berurutan setiap frame dalam klip pendek yang sedang dipelajari, sampai urutan rata-rata atau ‘ideal’ dicapai, dan sisanya diabaikan.

Hal ini menyediakan fitur yang diekstrak yang dapat digunakan sebagai kuantifikasi untuk probabilitas konten deepfake, berdasarkan database yang dilatih (yang akan dibahas sejenak).

Sistem ini memerlukan resolusi gambar 1920×1080 piksel, serta setidaknya persyaratan zoom 2x untuk lensa. Makalah tersebut mencatat bahwa resolusi seperti itu (dan bahkan resolusi yang lebih tinggi) didukung di Microsoft Teams, Skype, Zoom, dan Tencent Meeting.

Sebagian besar smartphone memiliki kamera depan dan kamera self-facing, dan sering hanya satu dari keduanya yang memiliki kemampuan zoom yang diperlukan oleh SFake; aplikasi tersebut akan memerlukan komunikator untuk menggunakan kamera mana pun yang memenuhi persyaratan ini.

Tujuan di sini adalah untuk mendapatkan proporsi yang tepat dari wajah pengguna ke dalam aliran video yang akan dianalisis oleh sistem. Makalah tersebut mengamati bahwa jarak rata-rata yang digunakan oleh wanita untuk perangkat mobile adalah 34,7cm, dan untuk pria, 38,2cm (seperti dilaporkan di Journal of Optometry), dan bahwa SFake beroperasi sangat baik pada jarak tersebut.

Karena stabilisasi adalah masalah dengan video yang dipegang, dan karena buram yang terjadi dari gerakan tangan adalah hambatan bagi fungsi SFake, peneliti mencoba beberapa metode untuk mengkompensasi. Metode yang paling sukses adalah menghitung titik tengah landmark yang diestimasi dan menggunakan ini sebagai ‘jangkar’ – secara efektif sebuah teknik stabilisasi algoritmik. Dengan metode ini, akurasi 92% diperoleh.

Data dan Tes

Karena tidak ada dataset yang sesuai untuk tujuan ini, peneliti mengembangkan dataset mereka sendiri:

‘[Kami] menggunakan 8 merek smartphone yang berbeda untuk merekam 15 peserta dengan jenis kelamin dan usia yang berbeda untuk membangun dataset kami sendiri. Kami meletakkan smartphone di penopang ponsel 20 cm jauh dari peserta dan memperbesar dua kali, dengan tujuan mengarah ke wajah peserta untuk mencakup semua fitur wajah mereka sambil menggetarkan smartphone dalam pola yang berbeda.

‘Untuk ponsel yang kameranya depan tidak dapat memperbesar, kami menggunakan kamera belakang sebagai pengganti. Kami merekam 150 video panjang, masing-masing 20 detik. Secara default, kami menganggap periode deteksi berlangsung 4 detik. Kami memotong 10 klip 4 detik dari satu video panjang dengan memrandomkan waktu mulai. Oleh karena itu, kami mendapatkan total 1500 klip nyata, masing-masing 4 detik panjang.’

Meskipun DeepFaceLive (tautan GitHub) adalah target utama dari studi ini, karena ini adalah sistem live deepfaking sumber terbuka yang paling banyak digunakan, peneliti memasukkan empat metode lain untuk melatih model deteksi dasar mereka: Hififace; FS-GANV2; RemakerAI; dan MobileFaceSwap – yang terakhir adalah pilihan yang sangat sesuai, mengingat lingkungan target.

1500 video palsu digunakan untuk pelatihan, bersama dengan jumlah video nyata dan tidak diubah yang setara.

SFake diuji melawan beberapa pengklasifikasi yang berbeda, termasuk SBI; FaceAF; CnnDetect; LRNet; DefakeHop varian; dan layanan deteksi deepfake online gratis Deepaware. Untuk masing-masing metode deepfake ini, 1500 video palsu dan 1500 video nyata dilatih.

Untuk pengklasifikasi tes dasar, jaringan neural sederhana dua lapis dengan fungsi aktivasi ReLU digunakan. 1000 video nyata dan 1000 video palsu dipilih secara acak (meskipun video palsu secara eksklusif adalah contoh DeepFaceLive).

Area Under Receiver Operating Characteristic Curve (AUC/AUROC) dan Akurasi (ACC) digunakan sebagai metrik.

Untuk pelatihan dan inferensi, NVIDIA RTX 3060 digunakan, dan tes dijalankan di bawah Ubuntu. Video tes direkam dengan Xiaomi Redmi 10x, Xiaomi Redmi K50, OPPO Find x6, Huawei Nova9, Xiaomi 14 Ultra, Honor 20, Google Pixel 6a, dan Huawei P60.

Untuk sesuai dengan metode deteksi yang ada, tes diimplementasikan dalam PyTorch. Hasil tes utama ditampilkan dalam tabel di bawah:

Hasil untuk SFake melawan metode yang bersaing.

Di sini penulis mengomentari:

‘Dalam semua kasus, akurasi deteksi SFake melebihi 95%. Di antara lima algoritma deepfake, kecuali Hififace, SFake berperforma lebih baik melawan algoritma deepfake lainnya daripada enam metode deteksi lainnya. Karena pengklasifikasi kami dilatih menggunakan gambar palsu yang dihasilkan oleh DeepFaceLive, kami mencapai tingkat akurasi tertinggi sebesar 98,8% saat mendeteksi DeepFaceLive.

‘Ketika menghadapi wajah palsu yang dihasilkan oleh RemakerAI, metode deteksi lainnya berperforma buruk. Kami berspekulasi bahwa ini mungkin karena kompresi video otomatis saat mengunduh dari internet, mengakibatkan kehilangan detail gambar dan mengurangi akurasi deteksi. Namun, ini tidak mempengaruhi deteksi oleh SFake yang mencapai akurasi sebesar 96,8% dalam deteksi melawan RemakerAI.’

Penulis lebih lanjut mencatat bahwa SFake adalah sistem yang paling berperforma dalam skenario di mana zoom 2x diterapkan pada lensa, karena ini memperbesar gerakan, dan merupakan prospek yang sangat menantang. Bahkan dalam situasi ini, SFake dapat mencapai akurasi pengenalan sebesar 84% dan 83%, masing-masing untuk faktor magnifikasi 2,5 dan 3.

Kesimpulan

Proyek yang menggunakan kelemahan sistem deepfake live melawan dirinya sendiri adalah tawaran yang menyegarkan dalam setahun di mana deteksi deepfake telah didominasi oleh makalah yang hanya mengaduk metode venerable di sekitar analisis frekuensi (yang jauh dari kekebalan terhadap inovasi di ruang deepfake).

Di akhir 2022, sistem lain menggunakan variasi kecerahan monitor sebagai pengait detektor; dan pada tahun yang sama, demonstrasi saya sendiri tentang ketidakmampuan DeepFaceLive untuk menangani pandangan profil yang keras 90 derajat mendapat minat komunitas.

DeepFaceLive adalah target yang tepat untuk proyek seperti ini, karena ini hampir pasti fokus minat kriminal dalam hal penipuan video konferensi.

Namun, saya baru-baru ini melihat beberapa bukti anekdot bahwa sistem LivePortrait, yang saat ini sangat populer di komunitas VFX, menangani pandangan profil lebih baik daripada DeepFaceLive; akan menarik jika bisa dimasukkan dalam studi ini.

Dipublikasikan pertama kali pada hari Selasa, 24 September 2024