Metode Data Forensik untuk Generasi Baru Deepfakes

Meskipun deepfaking individu pribadi telah menjadi perhatian publik yang tumbuh dan semakin dilarang di berbagai wilayah, membuktikan bahwa model buatan pengguna – seperti yang memungkinkan balas dendam – secara khusus dilatih pada gambar seseorang masih sangat menantang.

Untuk memahami masalahnya: elemen kunci dari serangan deepfake adalah mengklaim palsu bahwa gambar atau video menggambarkan seseorang tertentu. Sekadar menyatakan bahwa seseorang dalam video adalah identitas #A, bukan hanya lookalike, sudah cukup untuk menghasilkan kerusakan, dan tidak ada AI yang diperlukan dalam skenario ini.

Namun, jika penyerang menghasilkan gambar atau video AI menggunakan model yang dilatih pada data orang nyata, sistem pengenalan wajah media sosial dan mesin pencari akan secara otomatis menghubungkan konten palsu ke korban – tanpa memerlukan nama dalam posting atau metadata. Visual AI yang dihasilkan saja memastikan asosiasi.

Orang dengan penampilan yang lebih khas, maka hal ini menjadi lebih tak terhindarkan, sampai konten palsu muncul dalam pencarian gambar dan akhirnya mencapai korban.

Face to Face

Cara paling umum untuk menyebarkan model yang berfokus pada identitas adalah melalui Low-Rank Adaptation (LoRA), di mana pengguna melatih sejumlah kecil gambar selama beberapa jam melawan bobot model dasar yang lebih besar seperti Stable Diffusion (untuk gambar statis, sebagian besar) atau Hunyuan Video, untuk video deepfakes.

Sasaran paling umum LoRAs, termasuk generasi baru video-based LoRAs, adalah selebriti wanita, yang terkena perlakuan ini dengan sedikit kritik publik daripada korban “tidak dikenal”, karena asumsi bahwa karya turunan tersebut dilindungi di bawah “penggunaan wajar” (setidaknya di Amerika Serikat dan Eropa).

Selebriti wanita mendominasi daftar LoRA dan Dreambooth di portal civit.ai. LoRA paling populer saat ini memiliki lebih dari 66.000 unduhan, yang cukup besar, mengingat penggunaan AI ini masih dianggap sebagai kegiatan “pinggiran”.

Tidak ada forum publik untuk korban deepfaking non-selebriti, yang hanya muncul di media ketika kasus penuntutan timbul, atau korban berbicara di outlet populer.

Namun, dalam kedua skenario, model yang digunakan untuk memalsukan identitas target telah “mengdistil” data pelatihan mereka sehingga sulit untuk mengidentifikasi gambar sumber yang digunakan.

Jika memungkinkan untuk melakukan hal ini dalam batas kesalahan yang dapat diterima, ini akan memungkinkan penuntutan mereka yang berbagi LoRAs, karena tidak hanya membuktikan niat untuk memalsukan identitas tertentu (yaitu, identitas “tidak dikenal” tertentu, bahkan jika pelaku tidak pernah menyebutkan mereka selama proses pencemaran nama baik), tetapi juga mengungkapkan pengunggah ke tuduhan pelanggaran hak cipta, di mana berlaku.

Yang terakhir ini akan berguna di yurisdiksi di mana regulasi hukum deepfaking teknologi tidak ada atau tertinggal.

Over-Exposed

Tujuan dari melatih model dasar, seperti model dasar multi-gigabyte yang pengguna mungkin unduh dari Hugging Face, adalah bahwa model harus menjadi baik-generalized, dan dapat diadaptasi. Ini melibatkan pelatihan pada sejumlah gambar yang cukup beragam, dan dengan pengaturan yang tepat, dan mengakhiri pelatihan sebelum model “overfits” ke data.

Model overfitted telah melihat data terlalu banyak (berlebihan) selama proses pelatihan sehingga akan cenderung mereproduksi gambar yang sangat mirip, sehingga mengungkapkan sumber data pelatihan.

Identitas ‘Ann Graham Lotz’ dapat hampir sempurna direproduksi dalam model Stable Diffusion V1.5. Rekonstruksi hampir identik dengan data pelatihan (di sebelah kiri pada gambar di atas). Sumber: https://arxiv.org/pdf/2301.13188

Namun, model overfitted umumnya dibuang oleh pembuatnya daripada didistribusikan, karena tidak sesuai untuk tujuan. Oleh karena itu, ini adalah “temuan” forensik yang tidak mungkin. Dalam hal apapun, prinsip ini lebih berlaku untuk pelatihan model dasar yang mahal dan ber volume tinggi, di mana versi ganda dari gambar yang sama yang telah meresap ke dalam dataset sumber yang besar mungkin membuat gambar pelatihan tertentu mudah diakses (lihat gambar dan contoh di atas).

Hal-hal sedikit berbeda dalam kasus LoRA dan model Dreambooth (meskipun Dreambooth telah kehilangan popularitas karena ukuran file yang besar). Di sini, pengguna memilih sejumlah kecil gambar yang beragam dari subjek, dan menggunakan gambar-gambar tersebut untuk melatih LoRA.

Di sebelah kiri, output dari Hunyuan Video LoRA. Di sebelah kanan, data yang membuat kemiripan menjadi mungkin (gambar digunakan dengan izin dari orang yang digambarkan).

Seringkali LoRA akan memiliki kata kunci yang dilatih, seperti [nama selebriti]. Namun, subjek yang dilatih secara khusus sering muncul dalam output yang dihasilkan tanpa prompt seperti itu, karena bahkan LoRA yang seimbang (yaitu, tidak overfitted) sedikit “terfokus” pada materi yang dilatih, dan akan cenderung memasukkan materi tersebut dalam output.

Kecondongan ini, dikombinasikan dengan jumlah gambar yang terbatas yang optimal untuk dataset LoRA, membuat model rentan terhadap analisis forensik, seperti yang akan kita lihat.

Unmasking the Data

Masalah-masalah ini ditangani dalam sebuah makalah baru dari Denmark, yang menawarkan metodologi untuk mengidentifikasi gambar sumber (atau kelompok gambar sumber) dalam serangan Membership Inference Attack (MIA) black-box. Teknik ini setidaknya sebagian melibatkan penggunaan model yang dilatih khusus yang dirancang untuk membantu mengungkapkan data sumber dengan menghasilkan “deepfakes” mereka sendiri:

Contoh gambar ‘palsu’ yang dihasilkan oleh pendekatan baru, pada tingkat Classifier-Free Guidance (CFG) yang meningkat, hingga titik kehancuran. Sumber: https://arxiv.org/pdf/2502.11619

Meskipun karya ini, yang berjudul Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models, adalah kontribusi yang menarik pada literatur sekitar topik ini, juga merupakan makalah yang tidak dapat diakses dan ditulis dengan singkat, sehingga perlu didekodifikasi. Oleh karena itu, kita akan membahas setidaknya prinsip-prinsip dasar di balik proyek ini, serta beberapa hasil yang diperoleh.

Secara efektif, jika seseorang melatih model AI pada wajah Anda, metode penulis dapat membantu membuktikan hal ini dengan mencari tanda-tanda memorisasi dalam gambar yang dihasilkan model.

Pada awalnya, model AI target difine-tune pada dataset gambar wajah, membuatnya lebih mungkin untuk mereproduksi detail dari gambar-gambar tersebut dalam outputnya. Kemudian, mode serangan kelas dilatih menggunakan gambar AI yang dihasilkan dari model target sebagai contoh “positif” (anggota yang dicurigai dari dataset pelatihan) dan gambar-gambar lain dari dataset yang berbeda sebagai contoh “negatif” (non-anggota).

Dengan mempelajari perbedaan halus antara kelompok-kelompok ini, model serangan dapat memprediksi apakah gambar tertentu merupakan bagian dari dataset yang digunakan untuk fine-tune model target.

Serangan ini paling efektif dalam kasus di mana model AI telah difine-tune secara ekstensif, yang berarti bahwa semakin model tersebut disesuaikan, semakin mudah untuk mendeteksi apakah gambar-gambar tertentu digunakan. Ini umumnya berlaku untuk LoRAs yang dirancang untuk merekayasa selebriti atau individu pribadi.

Penulis juga menemukan bahwa menambahkan tanda air yang terlihat pada gambar pelatihan membuat deteksi lebih mudah; namun, tanda air tersembunyi tidak membantu banyak.

Pendekatan ini diuji dalam pengaturan black-box, yang berarti bahwa pendekatan ini bekerja tanpa akses ke detail internal model, hanya outputnya.

Metode yang dihasilkan cukup komputasi-intensif, seperti yang diakui oleh penulis; namun, nilai dari karya ini terletak pada menunjukkan arah untuk penelitian lebih lanjut, dan membuktikan bahwa data dapat diekstrak secara realistis hingga toleransi yang dapat diterima; oleh karena itu, mengingat sifat seminalnya, tidak perlu berjalan pada smartphone pada tahap ini.

Method/Data

Beberapa dataset dari Technical University of Denmark (DTU, institusi tuan rumah bagi ketiga peneliti) digunakan dalam studi ini, untuk fine-tune model target dan untuk melatih dan menguji mode serangan.

Dataset yang digunakan berasal dari DTU Orbit:

DseenDTU Set gambar dasar.

DDTU Gambar yang diambil dari DTU Orbit.

DseenDTU Bagian dari DDTU yang digunakan untuk fine-tune model target.

DunseenDTU Bagian dari DDTU yang tidak digunakan untuk fine-tune model generasi gambar, tetapi digunakan untuk menguji atau melatih model serangan.

wmDseenDTU Bagian dari DDTU dengan tanda air yang terlihat yang digunakan untuk fine-tune model target.

hwmDseenDTU Bagian dari DDTU dengan tanda air tersembunyi yang digunakan untuk fine-tune model target.

DgenDTU Gambar yang dihasilkan oleh Latent Diffusion Model (LDM) yang telah difine-tune pada set gambar DseenDTU.

Dataset yang digunakan untuk fine-tune model target terdiri dari pasangan gambar-teks yang diberi caption oleh model BLIP (mungkin tidak kebetulan salah satu model yang paling populer di komunitas AI kasual).

BLIP diatur untuk menambahkan frasa ‘a dtu headshot of a’ pada setiap deskripsi.

Beberapa dataset dari Aalborg University (AAU) juga digunakan dalam pengujian, semua berasal dari AU VBN corpus:

DAAU Gambar yang diambil dari AAU vbn.

DseenAAU Bagian dari DAAU yang digunakan untuk fine-tune model target.

DunseenAAU Bagian dari DAAU yang tidak digunakan untuk fine-tune model generasi gambar, tetapi digunakan untuk menguji atau melatih model serangan.

DgenAAU Gambar yang dihasilkan oleh LDM yang telah difine-tune pada set gambar DseenAAU.

Setara dengan set sebelumnya, frasa ‘a aau headshot of a’ digunakan. Ini memastikan bahwa semua label dalam dataset DTU mengikuti format ‘a dtu headshot of a (…)’, yang memperkuat karakteristik inti dataset selama fine-tune.

Tests

Banyak eksperimen dilakukan untuk mengevaluasi seberapa baik serangan inferensi keanggotaan bekerja melawan model target. Setiap tes bertujuan untuk menentukan apakah mungkin untuk melakukan serangan yang sukses dalam skema yang ditunjukkan di bawah, di mana model target difine-tune pada dataset gambar yang diperoleh tanpa izin.

Skema untuk pendekatan.

Dengan model yang difine-tune diminta untuk menghasilkan gambar output, gambar-gambar ini kemudian digunakan sebagai contoh “positif” untuk melatih model serangan, sementara gambar-gambar lain dari dataset yang berbeda digunakan sebagai contoh “negatif”.

Model serangan dilatih menggunakan pembelajaran terawasi dan kemudian diuji pada gambar-gambar baru untuk menentukan apakah gambar-gambar tersebut awalnya merupakan bagian dari dataset yang digunakan untuk fine-tune model target. Untuk mengevaluasi akurasi serangan, 15% dari data pengujian disisihkan untuk validasi.

Karena model target difine-tune pada dataset yang diketahui, status keanggotaan yang sebenarnya dari setiap gambar sudah ditetapkan saat membuat data pelatihan untuk model serangan. Pengaturan yang terkendali ini memungkinkan penilaian yang jelas tentang seberapa efektif model serangan dapat membedakan antara gambar-gambar yang merupakan bagian dari dataset fine-tune dan yang tidak.

Untuk pengujian ini, Stable Diffusion V1.5 digunakan. Meskipun model ini cukup lama, model ini masih populer di komunitas hobi Stable Diffusion karena kebutuhan akan pengujian yang konsisten dan korpus pekerjaan sebelumnya yang luas yang menggunakan model ini.

Model serangan peneliti didasarkan pada Resnet-18, dengan bobot pra-dilatih model yang dipertahankan. Lapisan terakhir ResNet-18 dengan 1000 neuron digantikan dengan lapisan terhubung sepenuhnya dengan dua neuron. Pelatihan kerugian adalah kerugian entropi silang, dan optimizer Adam digunakan.

Untuk setiap tes, model serangan dilatih lima kali menggunakan benih acak yang berbeda untuk menghitung interval kepercayaan 95% untuk metrik kunci. Klasifikasi zero-shot dengan model CLIP digunakan sebagai baseline.

(Perlu diingat bahwa tabel hasil utama asli dalam makalah ini singkat dan sulit dipahami. Oleh karena itu, saya telah mereformulasi tabel tersebut di bawah ini dalam bentuk yang lebih ramah pengguna. Silakan klik gambar untuk melihatnya dalam resolusi yang lebih baik)

Ringkasan hasil dari semua tes. Klik gambar untuk melihat resolusi yang lebih baik

Metode serangan peneliti terbukti paling efektif ketika menargetkan model yang difine-tune, terutama yang dilatih pada set gambar tertentu, seperti wajah seseorang. Namun, meskipun serangan dapat menentukan apakah dataset digunakan, serangan ini bergelut untuk mengidentifikasi gambar-gambar individu dalam dataset tersebut.

Dalam istilah praktis, yang terakhir ini tidak selalu merupakan hambatan untuk menggunakan pendekatan seperti ini secara forensik; sementara ada sedikit nilai dalam membuktikan bahwa dataset yang terkenal seperti ImageNet digunakan dalam model, penyerang pada individu pribadi (bukan selebriti) cenderung memiliki sedikit pilihan data sumber, dan perlu memanfaatkan sepenuhnya data yang tersedia, seperti album media sosial dan koleksi online lainnya. Ini secara efektif menciptakan ‘hash’ yang dapat ditemukan oleh metode yang diuraikan.

Makalah ini mencatat bahwa cara lain untuk meningkatkan akurasi adalah dengan menggunakan gambar AI yang dihasilkan sebagai ‘non-anggota’, bukan hanya mengandalkan gambar nyata. Ini mencegah tingkat keberhasilan yang terlalu tinggi yang dapat menyesatkan hasil.

Faktor lain yang sangat mempengaruhi deteksi, menurut penulis, adalah watermark. Ketika gambar pelatihan berisi tanda air yang terlihat, serangan menjadi sangat efektif, sementara tanda air tersembunyi menawarkan sedikit keuntungan.

Gambar kanan menunjukkan tanda air ‘tersembunyi’ yang sebenarnya digunakan dalam tes.

Akhirnya, tingkat bimbingan dalam generasi gambar teks juga memainkan peran, dengan keseimbangan ideal ditemukan pada skala bimbingan sekitar 8. Bahkan ketika tidak ada prompt langsung yang digunakan, model yang difine-tune masih cenderung menghasilkan output yang menyerupai data pelatihannya, memperkuat efektivitas serangan.

Conclusion

Sangat disayangkan bahwa makalah menarik ini telah ditulis dengan cara yang tidak dapat diakses, karena harusnya menarik bagi advokat privasi dan peneliti AI kasual.

Meskipun serangan inferensi keanggotaan mungkin berakhir sebagai alat forensik yang menarik dan bermanfaat, lebih penting, mungkin, bagi jalur penelitian ini untuk mengembangkan prinsip-prinsip umum yang dapat diterapkan, untuk mencegahnya berakhir dalam permainan “whack-a-mole” yang sama yang telah terjadi untuk deteksi deepfake secara umum, ketika rilis model yang lebih baru merusak deteksi dan sistem forensik serupa.

Sejak ada beberapa bukti prinsip panduan tingkat tinggi yang dibersihkan dalam penelitian baru ini, kita dapat berharap untuk melihat lebih banyak pekerjaan dalam arah ini.

First published Jumat, 21 Februari 2025