Mengidentifikasi Sumber Data Deepfake dengan Tagging Berbasis AI

Kolaborasi antara peneliti di Cina, Singapura, dan AS telah menghasilkan sistem yang tangguh untuk ‘menandai’ foto wajah sehingga tahan lama sehingga tanda pengenal tidak hancur selama proses pelatihan deepfake, membuka jalan bagi klaim IP yang dapat mengurangi kemampuan sistem generasi gambar sintetis untuk ‘menghilangkan’ data sumber yang diambil secara ilegal.

Sistem, yang disebut FakeTagger, menggunakan proses encoder/decoder untuk menyematkan informasi ID yang tidak dapat dilihat ke dalam gambar pada tingkat yang cukup rendah sehingga informasi yang disuntikkan akan diinterpretasikan sebagai data karakteristik wajah yang penting, dan oleh karena itu akan dilewatkan melalui proses abstraksi secara utuh, dengan cara yang sama, misalnya, seperti data mata atau mulut.

Gambaran arsitektur FakeTagger. Data sumber digunakan untuk menghasilkan karakteristik wajah ‘berlebihan’, mengabaikan elemen latar belakang yang akan dihapus melalui alur kerja deepfake yang biasa. Pesan dapat dipulihkan di ujung lain proses, dan dapat diidentifikasi melalui algoritma pengenalan yang sesuai. Sumber: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Penelitian ini berasal dari Sekolah Sains dan Teknik Siber di Wuhan, Laboratorium Kunci Keamanan Informasi dan Komputasi Tepercaya di Kementerian Pendidikan Cina, Alibaba Group di AS, Universitas Northeastern di Boston, dan Universitas Teknologi Nanyang di Singapura.

Hasil eksperimental dengan FakeTagger menunjukkan tingkat pengidentifikasi ulang hingga hampir 95% di seluruh empat jenis metodologi deepfake yang umum: pertukaran identitas (yaitu DeepFaceLab, FaceSwap); reenactment wajah; pengeditan atribut; dan sintesis total.

Kelemahan Deteksi Deepfake

Meskipun tiga tahun terakhir telah membawa sejumlah pendekatan baru untuk metodologi identifikasi deepfake, semua pendekatan ini bergantung pada kelemahan yang dapat diperbaiki dari alur kerja deepfake, seperti kilau mata pada model yang tidak terlatih, dan kurangnya berkedip pada deepfake awal dengan kumpulan wajah yang tidak cukup beragam. Ketika kunci baru diidentifikasi, repositori perangkat lunak sumber terbuka telah menghilangkannya, baik secara sengaja atau sebagai hasil dari perbaikan pada teknik deepfake.

Kertas penelitian baru ini mengamati bahwa metode deteksi pascaproduksi yang paling efektif yang dihasilkan dari kompetisi deteksi deepfake Facebook (DFDC) terbaru terbatas pada akurasi 70%, dalam hal mendeteksi deepfake di lapangan. Peneliti mengaitkan kegagalan ini dengan generalisasi yang buruk terhadap sistem deepfake baru dan inovatif, serta kualitas deepfake yang sering rusak.

Dalam kasus terakhir, ini dapat disebabkan oleh pekerjaan yang berkualitas rendah dari deepfakers, atau artefak kompresi ketika video diunggah ke platform berbagi yang mencoba membatasi biaya bandwidth, dan mengkodekan ulang video dengan bitrate yang jauh lebih rendah daripada pengajuan. Ironisnya, tidak hanya degradasi gambar ini tidak mengganggu autentisitas deepfake, tetapi juga dapat memperkuat ilusi, karena video deepfake diserap ke dalam idiom visual yang umum dan rendah kualitas yang dianggap autentik.

Penandaan yang Bertahan sebagai Bantuan untuk Inversi Model

Mengidentifikasi data sumber dari output pembelajaran mesin adalah bidang yang relatif baru dan berkembang, dan satu yang memungkinkan era baru litigasi berbasis IP, karena peraturan pengikisan layar pemerintah yang saat ini memungkinkan (dirancang untuk tidak menghambat keunggulan penelitian nasional dalam menghadapi ‘perlombaan senjata’ AI global) berkembang menjadi peraturan yang lebih ketat ketika sektor ini menjadi komersialisasi.

Inversi Model menangani pemetaan dan identifikasi data sumber dari output yang dihasilkan oleh sistem sintesis dalam beberapa domain, termasuk Generasi Bahasa Alam (NLG) dan sintesis gambar. Inversi model khususnya efektif dalam mengidentifikasi kembali wajah yang telah diburamkan, dipixelasi, atau telah melewati proses abstraksi dari jaringan Generatif Adversarial atau sistem transformasi encoder/decoder seperti DeepFaceLab.

Menambahkan penandaan yang ditargetkan ke gambar wajah baru atau yang ada adalah potensi baru untuk membantu teknik inversi model, dengan pemberian tanda air sebagai bidang yang muncul.

Penandaan Pascaproduksi

FakeTagger dimaksudkan sebagai pendekatan pascaproses. Misalnya, ketika pengguna mengunggah foto ke jaringan sosial (yang biasanya melibatkan beberapa proses optimasi, dan jarang transfer langsung dan murni dari gambar asli), algoritma akan memproses gambar untuk menerapkan karakteristik yang seharusnya tidak dapat dihilangkan ke wajah.

Alternatif, algoritma dapat diterapkan pada koleksi gambar historis, seperti yang telah terjadi beberapa kali selama dua puluh tahun terakhir, ketika situs koleksi gambar stok dan komersial besar mencari metode untuk mengidentifikasi konten yang telah digunakan kembali tanpa izin.

FakeTagger mencari untuk menyematkan karakteristik ID yang dapat dipulihkan dari berbagai proses deepfake.

Pengembangan dan Pengujian

Peneliti menguji FakeTagger melawan sejumlah aplikasi perangkat lunak deepfake di seluruh empat pendekatan, termasuk repositori yang paling banyak digunakan, DeepFaceLab; Face2Face Stanford, yang dapat mentransfer ekspresi wajah di seluruh gambar dan identitas; dan STGAN, yang dapat mengedit atribut wajah.

Pengujian dilakukan dengan CelebA-HQ, sebuah repositori publik yang populer yang mengandung 30.000 gambar wajah selebriti dengan resolusi hingga 1024 x 1024 piksel.

Sebagai baseline, peneliti awalnya menguji teknik pemberian tanda air gambar konvensional, untuk melihat apakah tanda yang diterapkan akan bertahan melalui proses pelatihan alur kerja deepfake, tetapi metode tersebut gagal di seluruh empat pendekatan.

Data yang disematkan oleh FakeTagger disuntikkan pada tahap encoder ke dalam gambar wajah menggunakan arsitektur berbasis U-Net jaringan konvolusi untuk segmentasi gambar biomedis, yang dirilis pada 2015. Selanjutnya, bagian decoder dari kerangka kerja dilatih untuk menemukan informasi yang disematkan.

Proses ini diuji dalam simulator GAN yang menggunakan aplikasi/algoritma FOSS yang disebutkan, dalam pengaturan black box dengan tidak ada akses khusus ke alur kerja masing-masing sistem. Sinyal acak dilekatkan pada gambar selebriti, dan dicatat sebagai data terkait untuk setiap gambar.

Dalam pengaturan black box, FakeTagger dapat mencapai akurasi melebihi 88,95% di seluruh empat aplikasi. Dalam skenario white box paralel, akurasi meningkat hingga hampir 100%. Namun, karena ini menunjukkan iterasi deepfake masa depan yang menggabungkan FakeTagger secara langsung, ini adalah skenario yang tidak mungkin terjadi dalam waktu dekat.

Menghitung Biaya

Peneliti mencatat bahwa skenario yang paling menantang untuk FakeTagger adalah sintesis gambar total, seperti generasi abstrak berbasis CLIP, karena data pelatihan input tunduk pada tingkat abstraksi yang paling dalam dalam kasus seperti itu. Namun, ini tidak berlaku untuk alur kerja deepfake yang telah mendominasi berita selama beberapa tahun terakhir, karena ini bergantung pada reproduksi yang setia dari karakteristik wajah yang menentukan identitas.

Makalah ini juga mencatat bahwa penyerang yang bersifat antagonis dapat mencoba menambahkan gangguan, seperti noise buatan dan butiran, untuk menggagalkan sistem penandaan seperti ini, meskipun ini kemungkinan akan memiliki efek merugikan pada autentisitas output deepfake.

Lebih lanjut, mereka mencatat bahwa FakeTagger perlu menambahkan data berlebihan ke gambar untuk memastikan kelangsungan hidup dari tanda yang disematkan, dan bahwa ini bisa memiliki biaya komputasi yang signifikan pada skala besar.

Penulis menyimpulkan dengan mencatat bahwa FakeTagger mungkin memiliki potensi untuk pelacakan provenance di domain lain, seperti serangan hujan antagonis dan jenis serangan berbasis gambar lainnya, seperti eksposur antagonis, kabut, kabur, vignetting dan color-jittering.