Akurasi Deteksi Deepfake Turun 49% dalam Satu Tahun Kemajuan Video AI

Saya mencatat dengan minat sebuah makalah baru yang dipimpin Ukraina yang menunjukkan bahwa generasi lama detektor video deepfake berkinerja sangat buruk pada video genAI mutakhir saat ini, baik generator tersebut bersifat sumber terbuka, instalasi AI lokal seperti Wan 2.2 milik Alibaba atau Hunyuan Video; atau model tertutup yang hanya tersedia via API seperti Grok Imagine atau Kling.

Klik untuk memutar (KONTEN AUDIO). Tiga contoh dari kategori ‘Direct to camera casual’ dalam dataset DF26. Sumber 

Pada tahun 2024, sebuah makalah lain sudah menetapkan bahwa kemampuan manusia mendeteksi video AI adalah tidak jauh di atas kebetulan, yaitu 57%. Apa yang ditambahkan oleh karya baru (berjudul DF26: Kami Tidak Bisa Membedakan Palsu dari Asli Lagi) adalah bukti empiris bahwa detektor deepfake otomatis telah menurun secara dramatis dalam efektivitas sejak saat itu – dari 94% menjadi 48%, ketika dihadapkan pada output video genAI terbaru.

Dari dataset baru yang dihasilkan untuk penelitian ini, contoh video yang dihasilkan dari gambar-ke-video dan teks-ke-video (di bawah), dibandingkan dengan video asli di sebelah kiri. Korpus berfokus pada pengaturan ‘persuasif’ dan kepala-dan-bahu yang kredibel, yang merupakan salah satu domain genAI paling mengkhawatirkan saat ini. Sumber

Penurunan paling tajam dalam pengujian yang dilakukan untuk penelitian ini menunjukkan penurunan sebesar 49%. Karena tolok ukur sebelumnya berasal dari 2025, dan penelitian baru menguji beragam model video generasi 2026 terbaru, angka ini mencerminkan hampir satu tahun penurunan dalam efektivitas deteksi video AI.

Detail model yang digunakan untuk menghasilkan video yang diuji oleh detektor.

Model komersial bersifat sumber tertutup yang digunakan untuk menghasilkan output yang mengalahkan detektor ini adalah Grok 1.0; Kling 3.0; Veo 3.1; dan Wan 2.6. Hanya contoh teks-ke-video yang dihasilkan untuk model-model ini, karena percobaan menghasilkan gambar-ke-video (I2V) sering memicu filter terkait ‘pembuatan deepfake’, atau dapat melanggar ketentuan layanan (TOS) platform.

Tatap Mataku

Pemicu ini kemungkinan terjadi karena peneliti memusatkan perhatian pada bentuk persuasi video yang paling berpotensi kuat, dan dapat dikatakan menyeramkan – variasi beragam pada video ‘kepala dan bahu’ serta ‘kepala berbicara’, dengan subjek berbicara ke kamera, seperti pada video influencer YouTube dan TikTok, atau dalam skenario pelaporan berita (termasuk wawancara melalui sambungan satelit, dll.).

Para penulis berpendapat bahwa skenario ini menjadi target utama aktivitas deepfake, terutama karena mereka mewakili konteks ‘influencer’ dan berbagai konteks ‘informasi’ lainnya – konteks di mana terdapat asumsi hubungan kepercayaan sebelumnya, dan hubungan tersebut memiliki potensi penyalahgunaan yang besar (tentunya hal ini juga berlaku setidaknya sama untuk panggilan video deepfake, meskipun peneliti tidak membahas hal ini).

Dari puncak era deepfake autoencoder, manipulasi rekaman asli Richard Nixon berhasil mensimulasikan pengumumannya tentang kematian astronot Apollo 9 pada tahun 1969 – sebuah peristiwa yang tidak pernah terjadi, namun naskah dunia nyata tersebut digunakan untuk menambahkan suara dan gerakan bibir deepfake.

Selain memfokuskan pada skenario influencer ini, tolok ukur baru – dan video yang dibuat untuknya – berfokus pada evaluasi seluruh bingkai video, berbeda dengan strategi deteksi deepfake historis.

Strategi lama tersebut menerapkan manipulasi wajah atau manipulasi ekspresi, atau substitusi wajah (atau paling baik, seluruh kepala) dalam video asli – yang memang satu‑satunya pendekatan masuk akal, sampai model berbasis difusi menjadi cukup efektif untuk menggantikannya selama 18–24 bulan terakhir.

Wajah Menjauh

Itu bukan cara yang dilakukan lagi; metode berbasis autoencoder yang lebih lama berasal dari kemunculan pertama deepfake pada akhir 2017; dan teknik ini, yang hanya mengganti area di dalam kontur luar wajah, sepenuhnya habis pada tahun 2022.

Sumber

Namun, karena sektor penelitian ilmiah menyukai konstanta jangka panjang – di mana targetnya tetap, dan di mana beragam pendekatan yang berkembang dapat diuji melawannya selama bertahun‑tahun/dekade – metode deteksi deepfake berbasis ‘substitusi/perubahan wajah dalam’ telah bertahan dalam literatur, dan dalam penawaran deteksi komersial, jauh melampaui masa berlaku teknologi dasar yang menjadi target.

Selain tiga model sumber tertutup yang diuji untuk karya baru ini, tiga model sumber terbuka yang sangat mampu dan dapat digunakan konsumen juga dicoba: Wan 2.2 A14B; HunyuanVideo 1.5; dan LTX 2.3, yang belakangan ini memukau komunitas FOSS genAI. Rentang LTX juga mampu menghasilkan suara:

Klik untuk memutar: eksperimen dengan seri LTX di r/stablediffusion, yang komunitasnya hanya menangani model FOSS. Sumber 

Desain Data

Para penulis menganggap dataset baru mereka, DF26, sebagai set ‘hold-out’ untuk evaluasi materi yang belum pernah dilihat. Koleksi ini terdiri dari 2.691 video dalam tiga skenario berbicara di depan publik: alamat langsung ke kamera atau santai; pernyataan resmi; dan wawancara studio.

Semua klip video yang dihasilkan AI didasarkan pada 271 klip dunia nyata yang dikurasi dari OpenVid; TalkingCelebs; dan MAVOS-DD.

Contoh dari koleksi OpenVid, dari mana 271 video dunia nyata diambil sebagai materi dasar untuk video yang dihasilkan AI dalam koleksi DF26. Dua dataset lain juga berkontribusi pada komponen non‑palsu DF26 ini. Sumber

271 video nyata tersebut digunakan untuk menghasilkan video AI dengan menurunkan prompt adegan yang cocok dari frame‑frame mereka, kemudian memasukkan prompt tersebut – dan frame pertama itu sendiri, bila didukung – ke dalam tujuh model pembuatan video, menghasilkan total 2.420 klip sintetis.

Para penulis memastikan bahwa tidak ada frame dunia nyata yang menampilkan overlay teks (seperti pengumuman siapa yang berbicara, dll.) yang diizinkan masuk ke alur kerja generasi, karena hal itu kemungkinan akan mendorong jalan pintas dan asumsi. Klip kandidat dievaluasi oleh Gemini 2.5.

Selain itu, segmen yang menampilkan lebih dari satu wajah ditolak, untuk menegakkan pengaturan ‘pembicara tunggal’.

Klik untuk memutar [NO SOUND]. Dari dataset yang terkait dengan makalah, contoh‑contoh generasi video mutakhir di antara tujuh model generatif terbaru dan paling mampu, baik sumber terbuka maupun tertutup. Model‑model yang digunakan untuk dataset termasuk yang juga mampu menghasilkan suara (lihat contoh sebelumnya dalam artikel ini). Sumber

Para peneliti menggunakan platform komersial populer Higgsfield AI, yang menyediakan beragam model sumber tertutup dan terbuka, dengan tingkat pengawasan yang beragam serta pembatasan.

Dengan NVIDIA H200 (141GB VRAM) sebagai GPU dasar untuk klaster riset internal, dibutuhkan sekitar 440 jam GPU untuk menghasilkan 1.626 video bagi koleksi tersebut.

Selain memastikan tidak ada teks yang terlihat dalam output, juga diperlukan untuk mengaburkan atau secara umum menghindari penggambaran tanda air AI, karena hal ini juga akan menjadi ‘jalan pintas’ potensial bagi evaluator atau sistem evaluasi.

Pengujian

Metrik utama yang digunakan untuk putaran akhir pengujian adalah Area Under Receiver Operating Characteristic Curve (AUC / AUROC), dengan Equal Error Rate (EER) sebagai ukuran pelengkap.

Detektor berbasis frame (yang menilai frame diam secara independen) diuji pada 32 frame yang terdistribusi merata dari setiap video, dengan skor kemudian dirata‑rata menjadi satu hasil. Detektor temporal (yang dapat menggunakan informasi dari frame berurutan) malah menganalisis urutan video itu sendiri.

Hasil untuk detektor temporal DFD-FCG dan PwTF-DVD dapat dilihat di bawah, bersama dengan hasil untuk ForAda; Effort; FSFM; GenD-CLIP dan GenD-DINO; serta DFD-HR. Semua dilatih pada dataset legendaris FaceForensics++.

Hasil uji yang membandingkan detektor deepfake pada CelebDF++ dan DF26. Semua detektor dilatih pada FaceForensics++, dengan AUROC yang lebih tinggi dan EER yang lebih rendah menunjukkan kinerja yang lebih baik.

Para penulis mencatat bahwa sebagian besar detektor berkinerja baik pada Celeb-DF++ (CDFv3), namun turun tajam pada koleksi DF26 baru yang lebih menantang.

‘[Multiple] detektor mutakhir mencapai kinerja kuat pada benchmark CelebDF++ [16] (CDFv3), dengan metode temporal mencapai AUROC 94,3 dan 92,3.

‘Namun, kinerja mereka turun secara signifikan pada DF26, menjadi 48.2 dan 61.6 AUROC, masing-masing.

‘Sebagian besar metode menurun secara signifikan, tetap mendekati tingkat kebetulan; AUROC tertinggi sebesar 69.7 dicapai oleh GenD-PE.

‘Ini menunjukkan bahwa DF26 merupakan tolok ukur yang lebih menantang bagi detektor mutakhir.’

Mereka mencatat bahwa image-to-video terbukti lebih sulit dideteksi dibandingkan text-to-video, baik bagi manusia maupun detektor otomatis, dengan PwTF-DVD menunjukkan performa terbaik pada materi I2V, dan GenD-PE unggul pada T2V.

Kinerja sangat bervariasi tergantung pada generator yang menghasilkan video palsu, menunjukkan bahwa detektor sering belajar jejak khusus generator daripada tanda umum video sintetis. PwTF-DVD, misalnya, mencapai AUROC 92.9 pada output text-to-video dari Wan 2.2, namun turun mendekati tingkat kebetulan pada HunyuanVideo 1.5 – meskipun keduanya termasuk dalam lanskap generasi modern yang sama:

Kinerja detektor di seluruh generator video komersial dan sumber terbuka. Variasi yang luas antar kolom menunjukkan bahwa keandalan deteksi sangat bergantung pada model yang menghasilkan video, dengan GenD-PE mencapai rata‑rata AUROC tertinggi secara keseluruhan.

Di bawah ini kami melihat bahwa melatih ulang GenD-PE dengan materi DF26 yang lebih baru secara signifikan meningkatkan kemampuannya mendeteksi video dari generator yang belum pernah dilihatnya selama pelatihan:

Hasil pelatihan ulang untuk GenD-PE pada generator video yang belum terlihat. Pelatihan dengan materi DF26 yang lebih baru umumnya meningkatkan kinerja lintas‑generator dibandingkan pelatihan FaceForensics++ asli.

Pelatihan pada HunyuanVideo 1.5 meningkatkan AUROC menjadi setidaknya 93.1 pada Grok Imagine 1.0, Veo 3.1, dan Wan 2.6, mendukung argumen dalam makalah bahwa detektor yang dilatih hanya pada dataset lama seperti FaceForensics++ tidak cocok dengan video generatif saat ini.

Mungkin dapat diprediksi, dua detektor temporal jauh lebih mudah menangani video sumber terbuka dibandingkan klip dari model komersial. DFD-FCG turun dari AUROC 57.4 pada materi sumber terbuka, dibandingkan 34.5 pada video sumber tertutup; sementara PwTF-DVD turun dari 70.5 menjadi 48.3:

Hasil perbandingan dua detektor temporal berdasarkan sumber generator dan skenario berbicara. Keduanya tampil jauh lebih buruk pada video sumber tertutup, sementara perbedaan antar tipe adegan lebih kecil.

Namun, makalah tersebut tidak sampai menyatakan bahwa model komersial secara sederhana lebih sulit dideteksi, karena perbedaan dalam keluarga model, pasca‑pemrosesan, dan kualitas visual juga dapat menjadi faktor.

jenis pemandangan memiliki pengaruh yang jauh lebih kecil: DFD-FCG tetap berada di sekitar peluang acak pada klip langsung ke kamera, pernyataan resmi, dan wawancara studio, sementara PwTF-DVD tampil terbaik pada pernyataan resmi. Menurut makalah tersebut, generator itu sendiri tampaknya lebih penting daripada gaya presentasi.

Sebuah studi manusia juga dilakukan untuk melihat apakah orang mengalami kesulitan dengan DF26 dengan cara yang sama seperti detektor otomatis. Dalam 232 sesi pelabelan, peserta menilai klip pendek dari DF26, CelebDF++ dan DeepSpeak v2 sebagai nyata atau palsu, tanpa diberitahu berapa banyak contoh dari masing‑masing kelas yang akan mereka lihat.

Akurasi manusia pada DF26, CelebDF++, dan DeepSpeak v2. Peserta mengidentifikasi video nyata dengan tingkat yang serupa di ketiga dataset, sementara akurasi pada video palsu DF26 mendekati tingkat kebetulan.

Kinerja pada video nyata serupa di ketiga dataset, yaitu 76,0% untuk DF26, 75,5% untuk CelebDF++, dan 72,8% untuk DeepSpeak v2. Perbedaan muncul pada video palsu, di mana akurasi turun menjadi 52,6% pada DF26, dibandingkan 74,5% dan 69,8% pada dua dataset yang lebih lama.

Oleh karena itu, menurut makalah tersebut, meskipun peserta tidak secara umum bingung dengan DF26, mereka kesulitan menemukan bukti visual spesifik bahwa video sintetisnya palsu.

Kesimpulan

Meskipun ada peningkatan 16 kali lipat yang dilaporkan dalam frekuensi deepfake selama dua tahun terakhir, kenyataan sebenarnya tentang deepfake berbahaya sebagian besar tidak muncul dalam pengalaman umum kita, kecuali jika kita sendiri menjadi targetnya.

Dalam kasus korban deepfake seksual, hal ini sepenuhnya dapat dimengerti – tetapi karena deepfake kini memiliki dampak yang semakin meningkat pada kejahatan penipuan, mungkin berguna jika lebih banyak materi tersebut dapat dibagikan kepada publik, sehingga konteks kita diperbarui dari ‘zaman keemasan’ deepfake autoencoder ke era yang jauh lebih tajam dan menipu dari deepfake berbasis difusi.

Tentu saja, sebagian besar materi yang berkaitan dengan output dari model dalam studi baru, serta model lainnya, muncul tanpa konteks yang memadai di platform media sosial yang pengelolanya mungkin tidak dapat membedakan AI dari yang nyata, atau yang hanya tidak peduli.

Satu metrik tambahan yang dapat kita semua terapkan pada video yang diragukan adalah kepercayaan yang wajar – namun kemampuan ini sangat bervariasi antar individu sehingga tidak dapat diandalkan. Oleh karena itu mungkin selama periode transisi, saat kita beradaptasi dengan dampak teknologi ini dan kemampuan yang terus meningkat, kita memang harus menunda penilaian.

Pertama kali dipublikasikan Senin, 14 September 2026