Mendeteksi Panggilan Video Deepfake Melalui Pencahayaan Monitor

Kolaborasi baru antara seorang peneliti dari Badan Keamanan Nasional Amerika Serikat (NSA) dan Universitas California di Berkeley menawarkan metode baru untuk mendeteksi konten deepfake dalam konteks video langsung – dengan mengamati efek pencahayaan monitor pada penampilan orang di ujung lain panggilan video.

Pengguna DeepFaceLive populer Druuzil Tech & Games mencoba model DeepFaceLab Christian Bale-nya sendiri dalam sesi langsung dengan pengikutnya, sementara sumber cahaya berubah. Sumber: https://www.youtube.com/watch?v=XPQLDnogLKA

Sistem ini bekerja dengan menempatkan elemen grafis pada layar pengguna yang mengubah rentang warna yang sempit lebih cepat dari pada sistem deepfake biasa dapat merespons – bahkan jika, seperti implementasi deepfake streaming waktu nyata DeepFaceLive (digambarkan di atas), memiliki beberapa kemampuan untuk mempertahankan transfer warna langsung dan mengakomodasi pencahayaan sekitar.

Gambar warna seragam yang ditampilkan pada monitor orang di ujung lain (yaitu potensi penipu deepfake) mengalami perubahan hue yang terbatas yang dirancang untuk tidak mengaktifkan keseimbangan putih otomatis kamera web dan sistem kompensasi pencahayaan ad hoc lainnya, yang akan mengompromikan metode.

Dari makalah, ilustrasi perubahan kondisi pencahayaan dari monitor di depan pengguna, yang secara efektif beroperasi sebagai ‘area light’ yang difus. Sumber: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teori di balik pendekatan ini adalah bahwa sistem deepfake langsung tidak dapat merespons perubahan yang digambarkan dalam grafik layar, meningkatkan ‘lag’ efek deepfake pada bagian tertentu spektrum warna, mengungkap kehadirannya.

Untuk dapat mengukur cahaya monitor yang dipantulkan secara akurat, sistem perlu memperhitungkan dan kemudian menghilangkan efek pencahayaan lingkungan umum yang tidak terkait dengan cahaya dari monitor. Kemudian sistem dapat membedakan kekurangan dalam pengukuran hue pencahayaan aktif dan hue wajah pengguna, mewakili pergeseran waktu 1-4 frame antara keduanya:

Dengan membatasi variasi hue dalam grafik ‘detektor’ layar, dan memastikan bahwa kamera web pengguna tidak dipicu untuk menyesuaikan pengaturan penangkapan secara otomatis oleh perubahan monitor yang berlebihan, peneliti telah dapat mendeteksi ‘lag’ yang jelas dalam penyesuaian sistem deepfake terhadap perubahan pencahayaan.

Makalah tersebut menyimpulkan:

‘Karena kepercayaan yang wajar yang kita tempatkan pada panggilan video langsung, dan pertumbuhan kemajuan panggilan video dalam kehidupan pribadi dan profesional kita, kita mengusulkan bahwa teknik untuk mengotentikasi video (dan audio) panggilan akan hanya tumbuh dalam pentingnya.’

Studi ini berjudul Mendeteksi Video Deepfake Waktu Nyata Menggunakan Pencahayaan Aktif, dan berasal dari Candice R. Gerstner, seorang matematikawan terapan di Departemen Pertahanan AS, dan Profesor Hany Farid dari Berkeley.

Erosi Kepercayaan

Adegan penelitian anti-deepfake telah berubah secara signifikan dalam enam bulan terakhir, dari deteksi deepfake umum (yaitu target video yang direkam sebelumnya dan konten pornografi) ke deteksi ‘liveness’, sebagai respons terhadap gelombang kejadian deepfake yang tumbuh dalam panggilan konferensi video, dan peringatan FBI baru-baru ini tentang penggunaan teknologi tersebut dalam aplikasi untuk pekerjaan jarak jauh.

Even jika panggilan video tidak terbukti deepfaked, kesempatan yang meningkat untuk impersonator video yang didorong AI mulai menghasilkan paranoia.

Makalah baru menyatakan:

‘Pembuatan deepfake waktu nyata [menimbulkan] ancaman unik karena rasa kepercayaan umum yang mengelilingi panggilan video langsung atau telepon, dan tantangan mendeteksi deepfake dalam waktu nyata, saat panggilan sedang berlangsung.’

Komunitas penelitian telah lama menetapkan tujuan untuk menemukan tanda-tanda deepfake yang tak terbantahkan yang tidak dapat dengan mudah dikompensasikan. Meskipun media telah menggambarkannya dalam hal perang teknologi antara peneliti keamanan dan pengembang deepfake, sebagian besar negasi dari pendekatan awal (seperti analisis kedipan mata, pembedaan pose kepala, dan analisis perilaku) terjadi hanya karena pengembang dan pengguna berusaha membuat deepfake yang lebih realistis secara umum, bukan secara khusus menangani ‘tanda’ terbaru yang diidentifikasi oleh komunitas keamanan.

Mengungkapkan Cahaya pada Video Deepfake Langsung

Mendeteksi deepfake dalam lingkungan video langsung membawa beban akuntansi untuk koneksi video yang buruk, yang sangat umum dalam skenario konferensi video. Bahkan tanpa lapisan deepfake yang mengganggu, konten video mungkin tunduk pada lag gaya NASA, artefak rendering, dan jenis degradasi lainnya dalam audio dan video. Ini dapat berfungsi untuk menyembunyikan tepi kasar dalam arsitektur deepfaking langsung, baik dalam hal video maupun audio deepfake.

Sistem baru penulis ini memperbaiki hasil dan metode yang ditampilkan dalam publikasi 2020 dari Pusat Komputasi Terjaring di Universitas Temple di Philadelphia.

Dari makalah 2020, kita dapat mengamati perubahan ‘in-filled’ iluminasi wajah saat konten layar pengguna berubah. Sumber: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Perbedaan dalam pekerjaan baru adalah bahwa itu memperhitungkan cara kamera web merespons perubahan pencahayaan. Penulis menjelaskan:

‘Karena semua kamera web modern melakukan eksposur otomatis, jenis pencahayaan aktif intensitas tinggi [digunakan dalam pekerjaan sebelumnya] kemungkinan akan memicu eksposur otomatis kamera yang pada gilirannya akan mengacaukan penampilan wajah yang direkam. Untuk menghindarinya, kami menggunakan pencahayaan aktif yang terdiri dari perubahan isoluminan hue.

‘Sementara ini menghindari eksposur otomatis kamera, itu bisa memicu keseimbangan putih kamera yang pada gilirannya akan mengacaukan penampilan wajah yang direkam. Untuk menghindarinya, kami beroperasi dalam rentang hue yang kami tentukan secara empiris tidak memicu keseimbangan putih.’

Untuk inisiatif ini, penulis juga mempertimbangkan upaya sebelumnya yang serupa, seperti LiveScreen, yang memaksa pola pencahayaan yang tidak mencolok ke monitor pengguna dalam upaya untuk mengungkap konten deepfake.

Meskipun sistem tersebut mencapai tingkat akurasi 94,8%, peneliti menyimpulkan bahwa kesubtletan pola cahaya akan membuat pendekatan samar-samar sulit untuk diimplementasikan dalam lingkungan yang terang, dan sebagai gantinya mengusulkan bahwa sistem mereka sendiri, atau satu yang dipattern serupa, dapat diintegrasikan secara publik dan secara default ke dalam perangkat lunak konferensi video populer:

‘Intervensi yang kami usulkan bisa diwujudkan oleh peserta panggilan yang hanya berbagi layar dan menampilkan pola yang bervariasi secara temporal, atau, idealnya, bisa diintegrasikan langsung ke dalam klien panggilan video.’

Uji

Penulis menggunakan campuran subjek sintetis dan dunia nyata untuk menguji detektor deepfake Dlib-driven mereka. Untuk skenario sintetis, mereka menggunakan Mitsuba, sebuah renderer maju dan invers dari Institut Teknologi Federal Swiss di Lausanne.

Contoh dari pengujian lingkungan simulasi, menampilkan variasi warna kulit, ukuran sumber cahaya, intensitas cahaya sekitar, dan kedekatan ke kamera.

Adegan yang digambarkan termasuk kepala CGI parametri yang ditangkap dari kamera virtual dengan sudut pandang 90°. Kepala tersebut menampilkan refleksi Lambertian dan warna kulit netral, dan terletak 2 kaki di depan kamera virtual.

Untuk menguji kerangka kerja di seluruh rentang konfigurasi pengujian yang mungkin, peneliti menjalankan serangkaian pengujian, mengubah berbagai aspek secara berurutan. Aspek yang diubah termasuk warna kulit, kedekatan, dan ukuran cahaya.

Penulis mengomentari:

‘Dalam simulasi, dengan asumsi yang kami penuhi, teknik yang kami usulkan sangat tahan terhadap berbagai konfigurasi pengujian.’

Untuk skenario dunia nyata, peneliti menggunakan 15 relawan dengan berbagai warna kulit, dalam lingkungan yang berbeda. Masing-masing dikenakan dua siklus perubahan hue yang terbatas, dalam kondisi di mana kecepatan refresh tampilan 30Hz disinkronkan dengan kamera web, yang berarti bahwa pencahayaan aktif hanya akan berlangsung selama satu detik pada satu waktu. Hasilnya secara umum sebanding dengan pengujian sintetis, meskipun korelasi meningkat secara signifikan dengan nilai pencahayaan yang lebih besar.

Arah Masa Depan

Sistem, peneliti mengakui, tidak memperhitungkan oklusi wajah yang khas, seperti poni, kacamata, atau jenggot. Namun, mereka mencatat bahwa pelabelan semacam itu dapat ditambahkan ke sistem yang lebih baru (melalui pelabelan dan segmentasi semantik selanjutnya), yang dapat dilatih untuk mengambil nilai secara eksklusif dari daerah kulit yang dipersepsikan pada subjek target.

Penulis juga menyarankan bahwa paradigma serupa dapat digunakan untuk mendeteksi panggilan audio deepfake, dan bahwa suara yang diperlukan untuk mendeteksi dapat diputar dalam frekuensi di luar jangkauan pendengaran manusia normal.

Mungkin yang paling menarik, peneliti juga menyarankan bahwa memperluas area evaluasi di luar wajah dalam kerangka pengambilan yang lebih kaya dapat meningkatkan kemungkinan deteksi deepfake*:

‘Estimasi pencahayaan 3-D yang lebih canggih akan menyediakan model penampilan yang lebih kaya yang akan lebih sulit bagi penipu untuk menghindari. Sementara kami hanya fokus pada wajah, tampilan komputer juga menerangi leher, tubuh atas, dan latar belakang sekitar, dari mana pengukuran serupa dapat dilakukan.

‘Pengukuran tambahan ini akan memaksa penipu untuk mempertimbangkan seluruh adegan 3-D, bukan hanya wajah.’

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada 6 Juli 2022.