Ancaman Deepfakes yang Lebih Besar Mungkin Berupa Palsu yang Lebih Kecil

Alat AI konversasional seperti ChatGPT dan Google Gemini sekarang digunakan untuk membuat deepfakes yang tidak menukar wajah, tetapi dengan cara yang lebih halus dapat menulis ulang seluruh cerita di dalam sebuah gambar. Dengan mengubah gerakan, properti, dan latar belakang, penyuntingan ini menipu baik detektor AI maupun manusia, meningkatkan taruhan untuk mengetahui apa yang nyata di internet.

Di iklim saat ini, terutama setelah legislasi signifikan seperti TAKE IT DOWN act, banyak dari kita mengasosiasikan deepfakes dan sintesis identitas yang didorong AI dengan pornografi AI non-konsensual dan manipulasi politik – secara umum, distorsi kasar dari kebenaran.

Ini mengakibatkan kita terbiasa mengharapkan gambar yang dimanipulasi AI selalu memiliki konten yang berisiko tinggi, di mana kualitas rendering dan manipulasi konteks mungkin berhasil mencapai kudeta kredibilitas, setidaknya dalam jangka pendek.

Secara historis, bagaimanapun, perubahan yang jauh lebih halus telah sering memiliki efek yang lebih berbahaya dan berkelanjutan – seperti trik fotografi canggih yang memungkinkan Stalin untuk menghapus mereka yang telah jatuh dari favorit dari catatan foto, seperti yang disindir dalam novel George Orwell Nineteen Eighty-Four, di mana protagonis Winston Smith menghabiskan hari-harinya menulis ulang sejarah dan memiliki foto yang dibuat, dihancurkan, dan ‘direvisi’.

Di contoh berikut, masalah dengan gambar kedua adalah bahwa kita ‘tidak tahu apa yang tidak kita ketahui’ – bahwa mantan kepala polisi rahasia Stalin, Nikolai Yezhov, pernah menduduki ruang di mana sekarang hanya ada penghalang keamanan:

Sekarang kamu melihatnya, sekarang dia… menguap. Manipulasi foto era Stalin menghapus anggota partai yang terkena petaka dari sejarah. Sumber: Domain publik, melalui https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Arus seperti ini, yang sering diulangi, bertahan dalam banyak cara; tidak hanya secara budaya, tetapi juga dalam visi komputer itu sendiri, yang mengambil tren dari tema dan motif yang dominan secara statistik dalam dataset pelatihan. Untuk memberikan satu contoh, fakta bahwa smartphone telah menurunkan hambatan untuk memasuki, dan secara besar-besaran menurunkan biaya fotografi, berarti bahwa ikonografi mereka telah menjadi tak terpisahkan dari banyak konsep abstrak, bahkan ketika ini tidak tepat.

Jika deepfaking konvensional dapat dianggap sebagai tindakan ‘serangan’, perubahan yang licik dan berkelanjutan dalam media audio-visual lebih mirip dengan ‘gaslighting’. Selain itu, kapasitas untuk deepfaking jenis ini untuk tidak terdeteksi membuatnya sulit untuk diidentifikasi melalui sistem deteksi deepfake canggih (yang mencari perubahan kasar). Pendekatan ini lebih mirip dengan air yang mengikis batu selama periode waktu yang berkelanjutan, daripada batu yang diarahkan ke kepala.

MultiFakeVerse

Peneliti dari Australia telah membuat upaya untuk mengatasi kurangnya perhatian pada ‘subtil’ deepfaking dalam literatur, dengan mengkurasi dataset baru yang substansial dari manipulasi gambar yang berfokus pada orang yang mengubah konteks, emosi, dan narasi tanpa mengubah identitas inti subjek:

Dipilih dari koleksi baru, pasangan asli/palsu, dengan beberapa perubahan lebih halus daripada yang lain. Perhatikan, misalnya, kehilangan otoritas untuk wanita Asia, kanan bawah, karena stetoskop dokternya dihilangkan oleh AI. Pada saat yang sama, penggantian kertas dokter untuk kertas klip tidak memiliki sudut semantik yang jelas. Sumber: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Bernama MultiFakeVerse, koleksi ini terdiri dari 845.826 gambar yang dihasilkan melalui model bahasa visi (VLMs), yang dapat diakses secara online dan diunduh, dengan izin.

Para penulis menyatakan:

‘Pendekatan VLM-berbasis ini memungkinkan perubahan semantik, konteks-kesadaran seperti memodifikasi tindakan, adegan, dan interaksi manusia-objek daripada pertukaran identitas sintetis atau edit regional yang umum di dataset yang ada.

‘Eksperimen kami menunjukkan bahwa model deteksi deepfake canggih saat ini dan pengamat manusia kesulitan mendeteksi manipulasi yang halus namun bermakna ini.’

Para peneliti menguji baik manusia maupun sistem deteksi deepfake canggih pada dataset baru mereka untuk melihat seberapa baik manipulasi yang halus dapat diidentifikasi. Peserta manusia kesulitan, mengklasifikasikan gambar sebagai asli atau palsu hanya sekitar 62% dari waktu, dan memiliki kesulitan lebih besar untuk menentukan bagian mana dari gambar yang telah diubah.

Sistem deteksi deepfake yang ada, yang sebagian besar dilatih pada dataset face-swapping atau inpainting yang lebih jelas, performa buruk juga, sering gagal mendeteksi bahwa manipulasi telah terjadi. Bahkan setelah fine-tuning pada MultiFakeVerse, tingkat deteksi tetap rendah, menunjukkan betapa buruknya sistem saat ini menangani edit-edit naratif yang digerakkan ini.

Makalah baru ini berjudul Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, dan berasal dari lima peneliti di seluruh Universitas Monash di Melbourne, dan Universitas Curtin di Perth. Kode dan data terkait telah dirilis di GitHub, selain hosting Hugging Face yang disebutkan sebelumnya.

Metode

Dataset MultiFakeVerse dibangun dari empat set gambar dunia nyata yang menampilkan orang dalam situasi yang beragam: EMOTIC; PISC, PIPA, dan PIC 2.0. Dimulai dengan 86.952 gambar asli, para peneliti menghasilkan 758.041 versi yang dimanipulasi.

Kerangka Gemini-2.0-Flash dan ChatGPT-4o digunakan untuk mengusulkan enam edit minimal untuk setiap gambar – edit yang dirancang untuk mengubah secara halus bagaimana orang paling menonjol dalam gambar akan dipersepsikan oleh pemirsa.

Model-model ini diinstruksikan untuk menghasilkan modifikasi yang akan membuat subjek tampak polos, bangga, menyesal, tidak berpengalaman, atau acuh tak acuh, atau untuk menyesuaikan beberapa elemen faktual dalam adegan. Bersama dengan setiap edit, model-model juga menghasilkan ekspresi referensi untuk mengidentifikasi target modifikasi dengan jelas, memastikan proses penyuntingan berikutnya dapat menerapkan perubahan pada orang atau objek yang benar dalam setiap gambar.

Para penulis menjelaskan:

‘Perlu diingat bahwa ekspresi referensi adalah domain yang secara luas dieksplorasi dalam komunitas, yang berarti frasa yang dapat membedakan target dalam gambar, misalnya untuk gambar yang menampilkan dua pria duduk di meja, satu berbicara di telepon dan yang lain melihat dokumen, ekspresi referensi yang sesuai untuk yang terakhir adalah the man on the left holding a piece of paper.’

Setelah edit ditentukan, manipulasi gambar sebenarnya dilakukan dengan meminta model visi-bahasa untuk menerapkan perubahan yang ditentukan sambil meninggalkan sisa adegan tetap utuh. Para peneliti menguji tiga sistem untuk tugas ini: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; dan ICEdit.

Setelah menghasilkan dua puluh dua ribu gambar sampel, Gemini-2.0-Flash muncul sebagai metode yang paling konsisten, menghasilkan edit yang berbaur secara alami ke dalam adegan tanpa memperkenalkan artefak yang terlihat; ICEdit sering menghasilkan pemalsuan yang lebih jelas, dengan kelemahan yang jelas di area yang diubah; dan GPT-Image-1 terkadang mempengaruhi bagian gambar yang tidak diinginkan, sebagian karena ketaatannya pada rasio aspek keluaran yang tetap.

Analisis Gambar

Setiap gambar yang dimanipulasi dibandingkan dengan aslinya untuk menentukan seberapa banyak gambar yang telah diubah. Perbedaan tingkat piksel antara dua versi dihitung, dengan kebisingan acak kecil disaring untuk fokus pada edit yang bermakna. Dalam beberapa gambar, hanya area kecil yang terpengaruh; di lain, hingga delapan puluh persen dari adegan dimodifikasi.

Untuk mengevaluasi seberapa banyak makna dari setiap gambar bergeser dalam cahaya perubahan ini, caption dihasilkan untuk gambar asli dan yang dimanipulasi menggunakan model visi-bahasa ShareGPT-4V.

Caption ini kemudian diubah menjadi embeddings menggunakan Long-CLIP, memungkinkan perbandingan seberapa jauh konten telah bergeser antara versi. Perubahan semantik yang paling kuat terlihat dalam kasus di mana objek dekat atau langsung melibatkan orang yang diubah, karena perubahan kecil ini dapat secara signifikan mengubah bagaimana gambar itu ditafsirkan.

Gemini-2.0-Flash kemudian digunakan untuk mengklasifikasikan jenis manipulasi yang diterapkan pada setiap gambar, berdasarkan di mana dan bagaimana edit tersebut dilakukan. Manipulasi dikelompokkan menjadi tiga kategori: tingkat orang edit melibatkan perubahan pada ekspresi wajah subjek, pose, pandangan, pakaian, atau fitur pribadi lainnya; tingkat objek edit mempengaruhi objek yang terhubung dengan subjek, seperti objek yang mereka pegang atau berinteraksi dengan di latar depan; dan tingkat adegan edit melibatkan elemen latar belakang atau aspek yang lebih luas dari pengaturan yang tidak secara langsung melibatkan orang tersebut.

Pipeline generasi dataset MultiFakeVerse dimulai dengan gambar asli, di mana model visi-bahasa mengusulkan edit naratif yang menargetkan orang, objek, atau adegan. Instruksi ini kemudian diterapkan oleh model penyuntingan gambar. Panel kanan menunjukkan proporsi manipulasi tingkat orang, tingkat objek, dan tingkat adegan di seluruh dataset. Sumber: https://arxiv.org/pdf/2506.00868

Karena gambar individual dapat berisi beberapa jenis edit sekaligus, distribusi kategori ini dipetakan di seluruh dataset. Sekitar sepertiga dari edit menargetkan hanya orang, sekitar satu per lima mempengaruhi hanya adegan, dan sekitar satu per enam terbatas pada objek.

Mengukur Dampak Perseptual

Gemini-2.0-Flash digunakan untuk menilai bagaimana manipulasi dapat mengubah persepsi pemirsa di enam area: emosi, identitas pribadi, dinamika kekuasaan, narasi adegan, niat manipulasi, dan kekhawatiran etis.

Untuk emosi, edit sering digambarkan dengan istilah seperti gembira, menarik, atau ramah, menunjukkan pergeseran dalam bagaimana subjek tersebut diceritakan secara emosional. Dalam hal narasi, kata-kata seperti profesional atau berbeda menunjukkan perubahan pada cerita atau pengaturan yang tersirat:

Gemini-2.0-Flash dipicu untuk mengevaluasi bagaimana setiap manipulasi mempengaruhi enam aspek persepsi pemirsa. Kiri: struktur prompt contoh yang memandu penilaian model. Kanan: awan kata yang merangkum pergeseran emosi, identitas, narasi adegan, niat, dinamika kekuasaan, dan kekhawatiran etis di seluruh dataset.

Deskripsi pergeseran identitas termasuk istilah seperti muda, main-main, dan rentan, menunjukkan bagaimana perubahan kecil dapat mempengaruhi bagaimana individu dipersepsikan. Niat di balik banyak edit dilabeli sebagai persuasif, menipu, atau estetika. Sementara sebagian besar edit dianggap hanya menimbulkan kekhawatiran etis ringan, sebagian kecil dianggap memiliki implikasi etis sedang atau parah.

Contoh dari MultiFakeVerse menunjukkan bagaimana edit kecil menggeser persepsi pemirsa. Kotak kuning menyoroti area yang diubah, dengan analisis perubahan emosi, identitas, narasi, dan kekhawatiran etis.

Metrik

Kualitas visual dari koleksi MultiFakeVerse dievaluasi menggunakan tiga metrik standar: Rasio Sinyal-ke-Noise Puncak (PSNR); Indeks Kesamaan Struktural (SSIM); dan Jarak Inception Fréchet (FID):

Skor kualitas gambar untuk MultiFakeVerse diukur oleh PSNR, SSIM, dan FID.

Skor SSIM sebesar 0,5774 mencerminkan derajat kesamaan yang moderat, konsisten dengan tujuan mempertahankan sebagian besar gambar sambil menerapkan edit yang ditargetkan; skor FID sebesar 3,30 menunjukkan bahwa gambar yang dihasilkan mempertahankan kualitas dan keragaman yang tinggi; dan nilai PSNR sebesar 66,30 desibel menunjukkan bahwa gambar mempertahankan fidelitas visual yang baik setelah manipulasi.

Studi Pengguna

Studi pengguna dilakukan untuk melihat seberapa baik orang dapat mendeteksi palsu yang halus dalam MultiFakeVerse. Delapan belas peserta ditunjukkan lima puluh gambar, dibagi rata antara contoh asli dan yang dimanipulasi yang mencakup berbagai jenis edit. Setiap orang diminta untuk mengklasifikasikan apakah gambar itu asli atau palsu, dan, jika palsu, untuk mengidentifikasi jenis manipulasi yang diterapkan.

Akurasi keseluruhan untuk memutuskan asli versus palsu adalah 61,67 persen, yang berarti peserta salah mengklasifikasikan gambar lebih dari sepertiga dari waktu.

Para penulis menyatakan:

‘Menganalisis prediksi manusia tentang tingkat manipulasi untuk gambar palsu, rata-rata intersection over union antara prediksi yang diprediksi dan tingkat manipulasi sebenarnya ditemukan sebesar 24,96%.

‘Ini menunjukkan bahwa tidaklah mudah bagi pengamat manusia untuk mengidentifikasi area manipulasi dalam dataset kami.’

Membangun dataset MultiFakeVerse memerlukan sumber daya komputasi yang luas: untuk menghasilkan instruksi edit, lebih dari 845.000 panggilan API dibuat ke model Gemini dan GPT, dengan tugas prompt ini dikenakan biaya sekitar $1000; menghasilkan gambar berbasis Gemini diperkirakan sekitar $2.867; dan menghasilkan gambar menggunakan GPT-Image-1 diperkirakan sekitar $200. Gambar ICEdit dibuat secara lokal pada NVIDIA A6000 GPU, menyelesaikan tugas dalam sekitar dua puluh empat jam.

Uji

Sebelum uji, dataset dibagi menjadi set pelatihan, validasi, dan pengujian dengan memilih 70% gambar asli untuk pelatihan; 10% untuk validasi; dan 20% untuk pengujian. Gambar yang dimanipulasi yang dihasilkan dari setiap gambar asli ditugaskan ke set yang sama dengan aslinya.

Contoh lebih lanjut dari konten asli (kiri) dan konten yang diubah (kanan) dari dataset.

Kinerja deteksi palsu diukur menggunakan akurasi tingkat gambar (apakah sistem mengklasifikasikan gambar secara keseluruhan sebagai asli atau palsu) dan skor F1. Untuk lokasi area yang dimanipulasi, evaluasi menggunakan Kurva di Bawah Kurva (AUC), skor F1, dan persimpangan lebih sering daripada unio (IoU).

Dataset MultiFakeVerse digunakan melawan sistem deteksi deepfake canggih terkemuka pada set pengujian penuh, dengan kerangka pesaing menjadi CnnSpot; AntifakePrompt; TruFor; dan berbasis visi-bahasa SIDA. Setiap model dievaluasi dalam mode zero-shot terlebih dahulu, menggunakan bobot pra-latih aslinya tanpa penyesuaian lebih lanjut.

Dua model, CnnSpot dan SIDA, kemudian difine-tune pada data pelatihan MultiFakeVerse untuk menilai apakah pelatihan ulang meningkatkan kinerja.

Hasil deteksi deepfake pada MultiFakeVerse di bawah kondisi zero-shot dan fine-tuned. Angka dalam kurung menunjukkan perubahan setelah fine-tuning.

Dari hasil ini, para penulis menyatakan:

‘[Model] yang dilatih pada dataset inpainting sebelumnya berjuang untuk mengidentifikasi tipu-tipu berbasis penyuntingan VLM kami, khususnya, CNNSpot cenderung mengklasifikasikan hampir semua gambar sebagai asli. AntifakePrompt memiliki kinerja zero-shot terbaik dengan akurasi rata-rata 66,87% dan skor F1 55,55%.

‘Setelah fine-tuning pada set pelatihan kami, kami mengamati peningkatan kinerja pada CNNSpot dan SIDA-13B, dengan CNNSpot melampaui SIDA-13B dalam hal akurasi rata-rata kelas (sebesar 1,92%) serta skor F1 (sebesar 1,97%).’

SIDA-13B dievaluasi pada MultiFakeVerse untuk mengukur seberapa akurat dapat menemukan area yang dimanipulasi dalam setiap gambar. Model ini diuji baik dalam mode zero-shot maupun setelah fine-tuning pada dataset.

Dalam keadaan aslinya, mencapai skor IoU sebesar 13,10, skor F1 sebesar 19,92, dan AUC sebesar 14,06, mencerminkan kinerja lokalisasi yang lemah.

Setelah fine-tuning, skor meningkat menjadi 24,74 untuk IoU, 39,40 untuk F1, dan 37,53 untuk AUC. Namun, bahkan dengan pelatihan tambahan, model masih mengalami kesulitan menemukan persis di mana edit telah dilakukan, menyoroti betapa sulitnya mendeteksi perubahan yang kecil dan terarah ini.

Kesimpulan

Studi baru ini mengekspos titik buta baik dalam persepsi manusia maupun mesin: sementara banyak debat publik tentang deepfakes telah fokus pada pertukaran identitas yang mencolok, ‘edit naratif’ yang lebih sunyi ini lebih sulit dideteksi dan potensial lebih merusak dalam jangka panjang.

Saat sistem seperti ChatGPT dan Gemini mengambil peran yang lebih aktif dalam menghasilkan konten jenis ini, dan kita sendiri semakin terlibat dalam mengubah kenyataan dari aliran foto kita sendiri, model deteksi yang mengandalkan pendeteksian manipulasi kasar mungkin menawarkan pertahanan yang tidak memadai.

Apa yang ditunjukkan oleh MultiFakeVerse bukanlah bahwa deteksi telah gagal, tetapi bahwa setidaknya sebagian dari masalah ini mungkin bergeser ke bentuk yang lebih sulit, lebih lambat: di mana kebohongan visual kecil menumpuk tanpa terdeteksi.

Publikasi pertama kali pada hari Kamis, 5 Juni 2025