Mengungkap Editan AI Kecil tapi Signifikan di Video Nyata

Pada tahun 2019, Ketua Dewan Perwakilan Rakyat AS Nancy Pelosi menjadi subjek serangan gaya deepfake yang ditargetkan dan cukup sederhana, ketika video asli dirinya diedit untuk membuatnya tampak mabuk – sebuah insiden yang tidak nyata yang dibagikan beberapa juta kali sebelum kebenaran tentang itu terungkap (dan, potensial, setelah beberapa kerusakan pada modal politiknya yang dilakukan oleh mereka yang tidak tetap berhubungan dengan cerita).

Meskipun manipulasi ini hanya memerlukan beberapa penyuntingan audio-visual sederhana, daripada AI, itu tetap menjadi contoh kunci tentang bagaimana perubahan halus dalam output audio-visual nyata dapat memiliki efek yang menghancurkan.

Pada saat itu, adegan deepfake didominasi oleh sistem penggantian wajah berbasis autoencoder yang debut pada akhir 2017, dan yang tidak secara signifikan meningkatkan kualitas sejak itu. Sistem awal seperti itu akan sulit untuk menciptakan perubahan kecil tapi signifikan, atau untuk realistis mengejar benang penelitian modern seperti penyuntingan ekspresi:

Kerangka kerja ‘Neural Emotion Director’ 2022 mengubah suasana hati wajah terkenal. Sumber: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Sekarang, situasinya sangat berbeda. Industri film dan TV sangat tertarik dengan perubahan pasca-produksi kinerja nyata menggunakan pendekatan pembelajaran mesin, dan fasilitasi AI terhadap post facto perfeksionisme telah bahkan mendapat kritik baru-baru ini.

Memprediksi (atau bisa dibilang menciptakan) permintaan ini, adegan penelitian sintesis gambar dan video telah meluncurkan berbagai proyek yang menawarkan ‘editan lokal’ dari tangkapan wajah, bukan penggantian langsung: proyek semacam ini termasuk Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; dan DISCO, antara lain.

Penyuntingan ekspresi dengan proyek Januari 2025 MagicFace. Sumber: https://arxiv.org/pdf/2501.02260

Wajah Baru, Kerutan Baru

Namun, teknologi yang memungkinkan ini berkembang jauh lebih cepat daripada metode deteksi mereka. Hampir semua metode deteksi deepfake yang muncul di literatur sedang mengejar metode deepfake kemarin dengan dataset kemarin. Sampai minggu ini, tidak ada yang telah menangani potensi AI sistem untuk menciptakan perubahan lokal kecil dan topikal dalam video.

Sekarang, sebuah makalah baru dari India telah memperbaiki ini, dengan sebuah sistem yang bertujuan untuk mengidentifikasi wajah yang telah diedit (bukan diganti) melalui teknik berbasis AI:

Deteksi Editan Lokal Halus di Deepfakes: Video asli diubah untuk menghasilkan palsu dengan perubahan nuansa seperti alis yang terangkat, sifat gender yang dimodifikasi, dan pergeseran ekspresi menuju jijik (diilustrasikan di sini dengan satu bingkai). Sumber: https://arxiv.org/pdf/2503.22121

Sistem penulis ini ditujukan untuk mengidentifikasi deepfakes yang melibatkan manipulasi wajah lokal yang halus – sebuah kelas pemalsuan yang diabaikan. Daripada fokus pada inkonsistensi global atau kesalahan identitas, pendekatan ini menargetkan perubahan halus seperti pergeseran ekspresi kecil atau editan kecil pada fitur wajah tertentu.

Metode ini menggunakan delimiter Unit Tindakan (AU) dalam Sistem Pengkodean Tindakan Wajah (FACS), yang mendefinisikan 64 area wajah yang dapat diubah, yang bersama-sama membentuk ekspresi.

Beberapa bagian konstituen 64 bagian ekspresi dalam FACS. Sumber: https://www.cs.cmu.edu/~face/facs.htm

Para penulis mengevaluasi pendekatan mereka melawan berbagai metode penyuntingan baru-baru ini dan melaporkan kenaikan kinerja konsisten, baik dengan dataset lama maupun dengan vektor serangan yang jauh lebih baru:

‘Dengan menggunakan fitur berbasis AU untuk memandu representasi video yang dipelajari melalui Masked Autoencoders [(MAE)], metode kami secara efektif menangkap perubahan lokal yang krusial untuk mendeteksi editan wajah halus.

‘Pendekatan ini memungkinkan kami untuk membangun representasi laten yang seragam yang mengkodekan baik editan lokal dan perubahan yang lebih luas dalam video yang berfokus pada wajah, memberikan solusi yang komprehensif dan adaptif untuk deteksi deepfake.’

Makalah baru ini berjudul Mendeteksi Manipulasi Deepfake Lokal Menggunakan Representasi Video yang Dipandu oleh Unit Tindakan, dan berasal dari tiga penulis di Institut Teknologi India di Madras.

Metode

Sejalan dengan pendekatan yang diambil oleh VideoMAE, metode baru ini dimulai dengan menerapkan deteksi wajah ke video dan sampling bingkai yang berjarak sama yang berpusat pada wajah yang terdeteksi. Bingkai-bingkai ini kemudian dibagi menjadi divisi 3D kecil (yaitu, patch yang diaktifkan secara temporal), masing-masing menangkap detail spasial dan temporal lokal.

Skema untuk metode baru. Video input diproses dengan deteksi wajah untuk mengekstrak bingkai yang berjarak sama dan berpusat pada wajah, yang kemudian dibagi menjadi patch ‘tubular’ dan dilewatkan melalui encoder yang menggabungkan representasi laten dari dua tugas pretext yang sudah dilatih sebelumnya. Vektor yang dihasilkan kemudian digunakan oleh klasifikasi untuk menentukan apakah video itu asli atau palsu.

Masing-masing patch 3D berisi jendela ukuran tetap piksel (yaitu, 16×16) dari sejumlah kecil bingkai berturut-turut (yaitu, 2). Ini memungkinkan model untuk mempelajari gerakan jangka pendek dan perubahan ekspresi – tidak hanya apa yang terlihat seperti wajah, tetapi bagaimana ia bergerak.

Patch-patch ini disematkan dan dikodekan secara posisional sebelum dilewatkan ke dalam encoder yang dirancang untuk mengekstrak fitur yang dapat membedakan video asli dari video palsu.

Para penulis mengakui bahwa ini sangat sulit ketika menangani manipulasi halus, dan menangani masalah ini dengan membangun encoder yang menggabungkan dua jenis representasi yang dipelajari, menggunakan mekanisme perhatian silang untuk menggabungkannya. Ini dimaksudkan untuk menghasilkan ruang fitur yang lebih sensitif dan lebih umum untuk mendeteksi editan lokal.

Tugas Pretext

Representasi pertama adalah encoder yang dilatih dengan tugas penyuntingan autoencoding yang ditutupi. Dengan video yang dibagi menjadi patch 3D (sebagian besar dari mereka disembunyikan), encoder kemudian mempelajari untuk merekonstruksi bagian yang hilang, memaksanya untuk menangkap pola spasial dan temporal yang penting, seperti gerakan wajah atau konsistensi dari waktu ke waktu.

Pelatihan tugas pretext melibatkan menyembunyikan bagian dari input video dan menggunakan pengaturan encoder-decoder untuk merekonstruksi baik bingkai asli atau peta tindakan unit per bingkai, tergantung pada tugas.

Namun, makalah tersebut mengamati, ini saja tidak memberikan cukup sensitivitas untuk mendeteksi editan halus, dan para penulis oleh karena itu memperkenalkan encoder kedua yang dilatih untuk mendeteksi unit tindakan wajah (AU). Untuk tugas ini, model mempelajari untuk merekonstruksi peta AU yang padat untuk setiap bingkai, lagi-lagi dari input yang sebagian disembunyikan. Ini mendorongnya untuk fokus pada aktivitas otot lokal, yang sering terjadi pada editan deepfake yang halus.

Contoh lebih lanjut dari Unit Tindakan Wajah (FAUs, atau AUs). Sumber: https://www.eiagroup.com/the-facial-action-coding-system/

Ketika kedua encoder sudah dilatih sebelumnya, keluaran mereka digabungkan menggunakan perhatian silang. Sebagai gantinya untuk hanya menggabungkan dua set fitur, model menggunakan fitur berbasis AU sebagai kueri yang memandu perhatian atas fitur spasial-temporal yang dipelajari dari penyuntingan autoencoding yang ditutupi. Pada dasarnya, encoder unit tindakan mengatakan kepada model di mana harus melihat.

Hasilnya adalah representasi laten yang digabungkan yang dimaksudkan untuk menangkap baik konteks gerakan yang lebih luas dan detail ekspresi lokal. Ruang fitur yang digabungkan ini kemudian digunakan untuk tugas klasifikasi akhir: memprediksi apakah video itu asli atau dimanipulasi.

Data dan Tes

Implementasi

Para penulis mengimplementasikan sistem ini dengan memproses video input dengan kerangka kerja deteksi wajah PyTorch FaceXZoo, mendapatkan 16 bingkai yang berpusat pada wajah dari setiap klip. Tugas pretext yang disebutkan di atas kemudian dilatih pada dataset CelebV-HQ , yang terdiri dari 35.000 video wajah berkualitas tinggi.

Dari makalah sumber, contoh dari dataset CelebV-HQ yang digunakan dalam proyek baru. Sumber: https://arxiv.org/pdf/2207.12393

Setengah dari contoh data disembunyikan, memaksa sistem untuk mempelajari prinsip umum daripada overfitting ke data sumber.

Untuk tugas rekonstruksi bingkai yang ditutupi, model dilatih untuk memprediksi wilayah yang hilang dari bingkai video menggunakan kerugian L1, meminimalkan perbedaan antara konten asli dan yang direkonstruksi.

Untuk tugas kedua, model dilatih untuk menghasilkan peta untuk 16 unit tindakan wajah, masing-masing mewakili gerakan otot halus di area termasuk alis, kelopak mata, hidung, dan bibir, lagi-lagi diawasi oleh kerugian L1.

Setelah pelatihan sebelumnya, kedua encoder digabungkan dan diperhalus untuk deteksi deepfake menggunakan dataset FaceForensics++, yang berisi video asli dan yang dimanipulasi.

Dataset FaceForensics++ telah menjadi sentuhan utama deteksi deepfake sejak 2017, meskipun sekarang sudah cukup ketinggalan zaman, terkait dengan teknik sintesis wajah terbaru. Sumber: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Untuk mengatasi ketidakseimbangan kelas, para penulis menggunakan Focal Loss (varian dari kerugian cross-entropy), yang menekankan contoh yang lebih menantang selama pelatihan.

Semua pelatihan dilakukan pada satu GPU RTX 4090 dengan 24Gb VRAM, dengan ukuran batch 8 untuk 600 epoch (tinjauan lengkap data), menggunakan titik awal pra-pelatihan dari VideoMAE untuk menginisialisasi bobot untuk setiap tugas pretext.

Tes

Evaluasi kuantitatif dan kualitatif dilakukan melawan berbagai metode deteksi deepfake: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; dan BlendFace’s SBI. Dalam semua kasus, kode sumber tersedia untuk kerangka kerja ini.

Tes ini berfokus pada deepfakes yang diedit secara lokal, di mana hanya sebagian dari klip sumber yang diubah. Arsitektur yang digunakan adalah Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; dan FateZero. Metode ini menggunakan pendekatan yang beragam (difusi untuk DVA dan StyleGAN2 untuk STIT dan DFE, misalnya)

Para penulis menyatakan:

‘Untuk memastikan cakupan yang komprehensif dari berbagai manipulasi wajah, kami memasukkan berbagai fitur wajah dan edit atribut. Untuk penyuntingan fitur wajah, kami memodifikasi ukuran mata, jarak antara mata dan alis, rasio hidung, jarak antara hidung dan mulut, rasio bibir, dan rasio pipi. Untuk penyuntingan atribut wajah, kami mengubah ekspresi seperti senyum, kemarahan, jijik, dan kesedihan.

‘Keanekaragaman ini sangat penting untuk memvalidasi kekuatan model kami terhadap berbagai editan lokal. Secara total, kami menghasilkan 50 video untuk setiap metode penyuntingan yang disebutkan di atas dan memvalidasi generalisasi kuat metode kami untuk deteksi deepfake.’

Dataset deepfake yang lebih lama juga disertakan dalam putaran, yaitu Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); dan WildDeepfake (DFW).

Metri evaluasi adalah Area Under Curve (AUC); Presisi Rata-Rata; dan Skor F1 Rata-Rata.

Dari makalah: perbandingan pada deepfakes lokal baru menunjukkan bahwa metode yang diusulkan mengungguli semua yang lain, dengan keuntungan 15 hingga 20 persen dalam AUC dan presisi rata-rata dibandingkan dengan pendekatan terbaik berikutnya.

Para penulis juga menyediakan perbandingan deteksi visual untuk tampilan yang dimanipulasi secara lokal (diproduksi hanya sebagian, karena kekurangan ruang):

Sebuah video asli diubah menggunakan tiga manipulasi lokal yang berbeda untuk menghasilkan palsu yang secara visual mirip dengan aslinya. Bingkai perwakilan beserta skor deteksi palsu rata-rata untuk setiap metode ditunjukkan. Sementara detektor yang ada kesulitan dengan editan halus ini, model yang diusulkan secara konsisten memberikan probabilitas palsu yang tinggi, menunjukkan sensitivitas yang lebih besar terhadap perubahan lokal.

Peneliti mengomentari:

‘[Metode deteksi deepfake yang ada], [LAANet], [SBI], [AltFreezing] dan [CADMM], mengalami penurunan kinerja yang signifikan pada metode generasi deepfake terbaru. Metode yang ada saat ini menunjukkan AUC se rendah 48-71%, menunjukkan kemampuan generalisasi yang buruk terhadap deepfake terbaru.

‘Di sisi lain, metode kami menunjukkan generalisasi yang kuat, mencapai AUC dalam kisaran 87-93%. Pola serupa terlihat dalam kasus presisi rata-rata. Seperti yang ditunjukkan [di bawah], metode kami juga secara konsisten mencapai kinerja tinggi pada dataset standar, melebihi 90% AUC dan kompetitif dengan model deteksi deepfake terbaru.’

Kinerja pada dataset deepfake tradisional menunjukkan bahwa metode yang diusulkan tetap kompetitif dengan pendekatan terkemuka, menunjukkan generalisasi yang kuat di berbagai jenis manipulasi.

Para penulis mengamati bahwa tes ini melibatkan model yang bisa dianggap ketinggalan zaman, dan yang diperkenalkan sebelum 2020.

Sebagai gambaran visual yang lebih luas tentang kinerja model baru, para penulis menyediakan tabel yang luas di akhir, hanya sebagian yang kami reproduksi di sini:

Dalam contoh ini, video asli dimodifikasi menggunakan tiga editan lokal untuk menghasilkan palsu yang secara visual mirip dengan aslinya. Skor kepercayaan rata-rata di seluruh manipulasi ini menunjukkan, menurut para penulis, bahwa metode yang diusulkan mendeteksi pemalsuan dengan lebih andal daripada pendekatan terkemuka lainnya. Silakan merujuk ke halaman terakhir dari PDF sumber untuk hasil lengkap.

Para penulis mengklaim bahwa metode mereka mencapai skor kepercayaan di atas 90 persen untuk deteksi editan lokal, sementara metode deteksi yang ada tetap di bawah 50 persen pada tugas yang sama. Mereka menafsirkan kesenjangan ini sebagai bukti sensitivitas dan generalisasi pendekatan mereka, serta indikasi tantangan yang dihadapi oleh teknik saat ini dalam menangani manipulasi wajah yang halus.

Untuk menilai keandalan model di bawah kondisi dunia nyata, dan sesuai dengan metode yang ditetapkan oleh CADMM, para penulis menguji kinerjanya pada video yang dimodifikasi dengan distorsi umum, termasuk penyesuaian saturasi dan kontras, blur Gaussian, pikselasi, dan artefak kompresi berbasis blok, serta noise tambahan.

Hasilnya menunjukkan bahwa akurasi deteksi tetap stabil di sebagian besar gangguan ini. Penurunan yang paling mencolok terjadi dengan penambahan noise Gaussian, yang menyebabkan penurunan kinerja yang moderat. Perubahan lainnya memiliki efek minimal.

Ilustrasi tentang bagaimana akurasi deteksi berubah di bawah distorsi video yang berbeda. Metode baru tetap tangguh dalam sebagian besar kasus, dengan penurunan kecil dalam AUC. Penurunan yang paling signifikan terjadi ketika noise Gaussian diperkenalkan.

Temuan ini, menurut para penulis, menunjukkan bahwa kemampuan metode untuk mendeteksi manipulasi lokal tidak dengan mudah terganggu oleh degradasi kualitas video yang umum, mendukung kekuatan potensialnya dalam pengaturan praktis.

Kesimpulan

Manipulasi AI ada dalam kesadaran publik terutama dalam konsep tradisional deepfakes, di mana identitas seseorang diterapkan pada tubuh orang lain, yang mungkin melakukan tindakan yang bertentangan dengan prinsip pemilik identitas. Konsep ini perlahan-lahan diperbarui untuk mengakui kemampuan yang lebih licik dari sistem video generatif (dalam jenis baru video deepfakes), dan kemampuan model difusi laten (LDM) secara umum.

Oleh karena itu, kita dapat mengharapkan bahwa jenis penyuntingan lokal yang makalah baru ini khawatirkan mungkin tidak menarik perhatian publik sampai sebuah peristiwa penting seperti Pelosi terjadi, karena orang-orang terganggu dari kemungkinan ini oleh topik yang lebih mudah untuk ditampilkan seperti penipuan deepfake video.

Namun, sama seperti aktor Nic Cage telah mengekspresikan kekhawatiran konsisten tentang kemungkinan proses pasca-produksi ‘merevisi’ penampilan aktor, kita juga harus mendorong kesadaran yang lebih besar tentang jenis ‘halus’ penyesuaian video ini – tidak hanya karena kita secara alami sangat sensitif terhadap variasi ekspresi wajah yang sangat kecil, dan karena konteks dapat secara signifikan mengubah dampak dari gerakan wajah kecil (pertimbangkan efek mengganggu dari sekadar tersenyum di pemakaman, misalnya).

Dipublikasikan pertama kali pada hari Rabu, 2 April 2025