Metode Baru Mendeteksi Deep Fakes dengan Akurasi 99%

Tim ilmuwan komputer di UC Riverside telah mengembangkan metode baru untuk mendeteksi ekspresi wajah yang dimanipulasi dalam video deep fake. Metode ini dapat mendeteksi ekspresi tersebut dengan akurasi hingga 99%, membuatnya lebih akurat daripada metode saat ini.

Penelitian baru yang berjudul “Deteksi dan Lokalisasi Manipulasi Ekspresi Wajah” dipresentasikan pada Konferensi Musim Dingin 2022 tentang Aplikasi Penglihatan Komputer.

Mendeteksi Manipulasi Wajah Apa Pun

Metode ini juga terbukti sama akuratnya dengan metode saat ini dalam kasus di mana identitas wajah telah ditukar daripada ekspresi. Ini berarti pendekatan baru dapat digunakan untuk mendeteksi manipulasi wajah apa pun, dan ini adalah langkah besar menuju pengembangan alat otomatis untuk mendeteksi video yang dimanipulasi.

Tidak pernah lebih mudah untuk menukar wajah satu individu dengan yang lain atau mengubah ekspresi asli karena kemajuan perangkat lunak pengeditan video. Deteksi metode tersebut sangat penting karena mereka semakin banyak digunakan dalam konflik domestik dan internasional di seluruh dunia. Dengan demikian, mengidentifikasi wajah dengan ekspresi yang hanya ditukar telah menjadi sangat menantang.

Amit Roy-Chowdhury adalah profesor teknik elektro dan komputer di Bourns College of Engineering. Ia juga adalah co-penulis penelitian.

“Apa yang membuat penelitian deep fake lebih menantang adalah persaingan antara pembuatan dan deteksi serta pencegahan deep fake yang akan menjadi semakin sengit di masa depan. Dengan kemajuan lebih lanjut dalam model generatif, deepfakes akan lebih mudah disintesis dan lebih sulit dibedakan dari yang asli,” katanya.

Gambar: UC Riverside

Deteksi Manipulasi Ekspresi (EMD)

Metode baru ini membagi tugas menjadi dua komponen dalam jaringan saraf dalam. Cabang pertama mendeteksi ekspresi wajah sambil memberikan informasi tentang wilayah yang mengandung ekspresi. Wilayah tersebut dapat mencakup mulut, mata, dahi, dan lain-lain. Informasi ini diberikan ke cabang kedua, yang merupakan arsitektur encoder-decoder yang bertanggung jawab untuk deteksi dan lokalisasi manipulasi.

Tim menamai kerangka kerja ini Deteksi Manipulasi Ekspresi (EMD), dan dapat mendeteksi dan melokalisasi wilayah tertentu yang telah diubah dalam gambar.

Ghazal Mazaheri adalah mahasiswa doktoral dan pemimpin penelitian.

“Pembelajaran multi-tugas dapat memanfaatkan fitur-fitur yang dipelajari oleh sistem pengenalan ekspresi wajah untuk mendukung pelatihan sistem deteksi manipulasi konvensional. Pendekatan seperti ini mencapai kinerja yang mengesankan dalam deteksi manipulasi ekspresi wajah,” kata Mazaheri.

Peneliti melakukan eksperimen pada dua dataset manipulasi wajah yang menantang, dan mereka menunjukkan bahwa EMD berkinerja lebih baik dengan manipulasi ekspresi wajah serta pertukaran identitas. Ini mendeteksi dengan akurasi 99% video yang dimanipulasi.