Mengkodekan Gambar Melawan Penggunaan dalam Sistem Deepfake dan Sintesis Gambar

Salah satu jalur penelitian yang paling dikenal dalam sektor anti-deepfake yang tumbuh melibatkan sistem yang dapat mengenali artefak atau karakteristik pembeda lainnya dari wajah yang dipalsukan, disintesis, atau difalsifikasi dalam konten video dan gambar.

Pendekatan seperti itu menggunakan berbagai taktik, termasuk deteksi kedalaman, gangguan keteraturan video, variasi iluminasi monitor (dalam panggilan video langsung yang mungkin dipalsukan), ciri biometrik, wilayah wajah luar, dan bahkan kekuatan tersembunyi dari sistem bawah sadar manusia.

Apa yang dimiliki oleh metode-metode ini, dan metode serupa, adalah bahwa pada saat mereka diterapkan, mekanisme pusat yang mereka lawan telah berhasil dilatih pada ribuan, atau ratusan ribu gambar yang diambil dari web – gambar dari mana sistem autoencoder dapat dengan mudah mengambil fitur kunci, dan membuat model yang dapat mengimposkan identitas palsu ke dalam footage video atau gambar sintetis – bahkan dalam waktu nyata.

Secara singkat, pada saat sistem tersebut aktif, kuda telah melompat.

Gambar yang Bersifat Mengancam terhadap Arsitektur Deepfake/Sintesis

Dengan cara yang lebih preventif terhadap ancaman deepfake dan sintesis gambar, sebuah penelitian yang kurang dikenal dalam sektor ini melibatkan kemungkinan yang inheren dalam membuat semua foto sumber tidak ramah terhadap sistem sintesis gambar AI, biasanya dengan cara yang tidak terlihat atau hampir tidak terlihat.

Contoh termasuk FakeTagger, sebuah proposal 2021 dari berbagai lembaga di AS dan Asia, yang mengkodekan pesan ke dalam gambar; pengkodean ini resisten terhadap proses generalisasi, dan dapat dipulihkan bahkan setelah gambar diambil dari web dan dilatih ke dalam Jaringan Adversarial Generatif (GAN) dari jenis yang paling terkenal diwakili oleh thispersondoesnotexist.com, dan turunannya yang banyak.

FakeTagger mengkodekan informasi yang dapat bertahan dari proses generalisasi saat melatih GAN, sehingga memungkinkan untuk mengetahui apakah gambar tertentu berkontribusi pada kemampuan generatif sistem. Sumber: https://arxiv.org/pdf/2009.09869.pdf

Untuk ICCV 2021, upaya internasional lainnya juga memperkenalkan sidik jari buatan untuk model generatif, (lihat gambar di bawah) yang lagi-lagi menghasilkan ‘sidik jari’ yang dapat dipulihkan dari output GAN sintesis gambar seperti StyleGAN2.

Bahkan di bawah berbagai manipulasi ekstrem, pemotongan, dan pertukaran wajah, sidik jari yang dilalui ProGAN tetap dapat dipulihkan. Sumber: https://arxiv.org/pdf/2007.08457.pdf

Iterasi lain dari konsep ini termasuk proyek 2018 dari IBM dan skema tanda air digital pada tahun yang sama, dari Jepang.

Lebih inovatif, sebuah inisiatif 2021 dari Universitas Aeronautika dan Astronautika Nanjing berusaha untuk ‘mengenkripsi’ gambar pelatihan sehingga mereka hanya dapat dilatih secara efektif pada sistem yang sah, tetapi akan gagal secara tragis jika digunakan sebagai data sumber dalam pipa pelatihan sintesis gambar generik.

Secara efektif, semua metode ini jatuh ke dalam kategori steganografi, tetapi dalam semua kasus, informasi identifikasi unik dalam gambar perlu dikodekan sebagai ‘fitur’ gambar yang sangat penting sehingga tidak ada kemungkinan bahwa arsitektur autoencoder atau GAN akan membuang sidik jari tersebut sebagai ‘noise’ atau data yang tidak penting, tetapi akan mengkodekannya bersama dengan fitur wajah lainnya.

Pada saat yang sama, proses ini tidak dapat memungkinkan distorsi atau pengaruh visual pada gambar sehingga gambar tersebut dianggap oleh pemirsa kasual memiliki cacat atau kualitas rendah.

TAFIM

Sekarang, sebuah upaya penelitian Jerman baru (dari Universitas Teknik Munich dan Sony Eropa RDC Stuttgart) telah mengusulkan teknik pengkodean gambar yang membuat model deepfake atau kerangka StyleGAN-tipe yang dilatih pada gambar yang diproses akan menghasilkan output yang tidak dapat digunakan berwarna biru atau putih, masing-masing.

Perturbasi gambar tingkat rendah TAFIM menangani beberapa jenis distorsi/substitusi wajah, memaksa model yang dilatih pada gambar untuk menghasilkan output yang terdistorsi, dan dilaporkan oleh penulis dapat diterapkan bahkan dalam skenario waktu nyata seperti streaming deepfake waktu nyata DeepFaceLive. Sumber: https://arxiv.org/pdf/2112.09151.pdf

Makalah ini, berjudul TAFIM: Serangan Adversarial Terarah terhadap Manipulasi Gambar Wajah, menggunakan jaringan saraf untuk mengkodekan gangguan yang hampir tidak terlihat ke dalam gambar. Setelah gambar dilatih dan digeneralisasi ke dalam arsitektur sintesis, model yang dihasilkan akan menghasilkan output yang berwarna untuk identitas input jika digunakan dalam pencampuran gaya atau pertukaran wajah langsung.

Mengkodekan Ulang Web..?

Namun, dalam kasus ini, kita tidak ada di sini untuk memeriksa detail arsitektur dari konsep populer terbaru, tetapi untuk mempertimbangkan praktikabilitas dari ide keseluruhan – terutama dalam cahaya kontroversi yang tumbuh tentang penggunaan gambar yang dipotong dari internet secara ad hoc sebagai sumber daya yang melimpah untuk sistem transformasi AI.

Pendekatan proaktif, berbasis pengkodean, dari jenis yang dijelaskan di atas datang dengan biaya yang tidak kecil. Paling tidak, mereka akan melibatkan institusi rutinitas kompresi baru dan diperluas ke dalam perpustakaan pemrosesan web standar seperti ImageMagick, yang memberdayakan sejumlah besar proses unggah, termasuk banyak antarmuka unggah media sosial, yang ditugaskan untuk mengubah gambar asli pengguna yang berukuran besar menjadi versi yang dioptimalkan yang lebih sesuai untuk berbagi dan distribusi jaringan, dan juga untuk melakukan transformasi seperti pemotongan, dan augmentasi lainnya.

Pertanyaan utama yang timbul adalah: apakah skema seperti itu akan diimplementasikan ‘ke depan’, atau apakah beberapa penerapan yang lebih luas dan retroaktif akan dimaksudkan, yang menangani media sejarah yang mungkin telah tersedia, ‘tidak terkorup’, selama dekade?

Platform seperti Netflix tidak enggan untuk biaya mengkodekan ulang katalog dengan codec baru yang mungkin lebih efisien, atau bisa memberikan manfaat pengguna atau penyedia; demikian pula, konversi YouTube dari konten historis ke codec H.264, secara nyata untuk mengakomodasi Apple TV, sebuah tugas logistik yang monumental, tidak dianggap sulit, meskipun skala.

Ironisnya, bahkan jika sebagian besar konten media di internet menjadi subjek pengkodean ulang ke dalam format yang resisten terhadap pelatihan, kader terbatas dataset penglihatan komputer yang berpengaruh akan tetap tidak terpengaruh. Namun, sistem yang menggunakan mereka sebagai data hulu akan mulai menurun dalam kualitas output, karena konten yang diberi tanda air akan mengganggu proses transformasional arsitektur.

Konflik Politik

Dalam istilah politik, ada ketegangan yang jelas antara penentuan pemerintah untuk tidak ketinggalan dalam pengembangan AI, dan untuk membuat konsesi terhadap kekhawatiran publik tentang penggunaan konten audio, video, dan gambar yang tersedia secara terbuka di internet sebagai sumber daya yang melimpah untuk sistem transformasi AI.

Resmi, pemerintah Barat cenderung untuk membiarkan sektor penelitian penglihatan komputer menggunakan media yang tersedia secara terbuka, tidak hanya karena beberapa negara Asia yang lebih otoriter memiliki kemampuan yang jauh lebih besar untuk membentuk alur kerja pengembangan mereka untuk mendukung upaya penelitian mereka sendiri – hanya salah satu faktor yang menunjukkan bahwa Cina sedang menjadi pemimpin global dalam AI.

Pada April 2022, Pengadilan Banding AS memutuskan bahwa data web yang menghadap ke publik adalah permainan yang adil untuk tujuan penelitian, meskipun protes yang sedang berlangsung dari LinkedIn, yang ingin profil penggunanya dilindungi dari proses tersebut.

Jika gambar yang resisten AI tidak akan menjadi standar sistem-wide, tidak ada yang dapat mencegah beberapa sumber data pelatihan utama untuk menerapkan sistem seperti itu, sehingga output mereka menjadi tidak produktif dalam ruang laten.

Faktor esensial dalam penerapan perusahaan seperti itu adalah bahwa gambar harus secara inheren resisten terhadap pelatihan. Teknik provenance berbasis blockchain, dan gerakan seperti Inisiatif Autentikasi Konten, lebih peduli dengan membuktikan bahwa gambar telah dipalsukan atau ‘digayakan’, daripada mencegah mekanisme yang membuat transformasi tersebut memungkinkan.

Pemeriksaan Kasual

Sementara proposal telah diajukan untuk menggunakan metode blockchain untuk mengautentikasi provenance dan penampilan asli dari gambar sumber yang mungkin telah diingest ke dalam dataset pelatihan, ini tidak dengan sendirinya mencegah pelatihan gambar, atau memberikan cara untuk membuktikan, dari output sistem tersebut, bahwa gambar tersebut termasuk dalam dataset pelatihan.

Dalam pendekatan watermarking untuk mengecualikan gambar dari pelatihan, akan penting untuk tidak bergantung pada gambar sumber dari dataset yang berpengaruh tersedia secara terbuka untuk inspeksi. Sebagai tanggapan atas keluhan seniman tentang Stable Diffusion yang liberal mengkonsumsi karya mereka, situs web haveibeentrained.com memungkinkan pengguna untuk mengunggah gambar dan memeriksa apakah mereka kemungkinan telah termasuk dalam dataset LAION5B yang memberdayakan Stable Diffusion:

‘Lenna’, secara harfiah poster girl untuk penelitian penglihatan komputer sampai baru-baru ini, pasti merupakan kontributor untuk Stable Diffusion. Sumber: https://haveibeentrained.com/

Namun, hampir semua dataset deepfake tradisional, misalnya, secara santai diambil dari video dan gambar yang diekstrak dari internet, ke dalam database non-publik di mana hanya beberapa jenis watermarking neural yang mungkin dapat mengekspos penggunaan gambar tertentu untuk membuat gambar dan video yang dihasilkan.

Selanjutnya, pengguna Stable Diffusion mulai menambahkan konten – baik melalui fine-tuning (melanjutkan pelatihan model checkpoint resmi dengan pasangan gambar/teks tambahan) atau Inversi Teks, yang menambahkan satu elemen atau orang tertentu – yang tidak akan muncul dalam pencarian melalui miliaran gambar LAION.

Mengkodekan Tanda Air di Sumber

Sebuah aplikasi yang lebih ekstrem dari pengkodean tanda air sumber adalah untuk memasukkan informasi yang tidak jelas dan tidak jelas ke dalam output capture mentah, video atau gambar, dari kamera komersial. Meskipun konsep ini pernah dicoba dan bahkan diimplementasikan dengan semangat di awal 2000-an, sebagai respons terhadap ancaman ‘piracy’ multimedia yang muncul, prinsip ini secara teknis dapat diterapkan juga untuk membuat konten media resisten atau tidak dapat dilatih oleh sistem pelatihan mesin.

Salah satu implementasi, yang diusulkan dalam aplikasi paten dari akhir 1990-an, menggunakan Transformasi Kosinus Terpisah untuk mengkodekan ‘sub-gambar’ steganografi ke dalam video dan gambar diam, menyarankan bahwa rutinitas ini dapat ‘dimasukkan sebagai fitur bawaan untuk perangkat perekaman digital, seperti kamera statis dan video’.

Dalam aplikasi paten dari akhir 1990-an, Lenna diberi tanda air yang tersembunyi yang dapat dipulihkan jika perlu. Sumber: https://www.freepatentsonline.com/6983057.pdf

Pendekatan yang kurang canggih adalah untuk mengimpos tanda air yang jelas terlihat ke dalam gambar pada tingkat perangkat – sebuah fitur yang tidak menarik bagi sebagian besar pengguna, dan tidak perlu dalam kasus seniman dan praktisi media profesional, yang dapat melindungi data sumber dan menambahkan merek atau larangan seperti yang mereka anggap pantas (tidak hanya perusahaan gambar stok).

Setidaknya satu kamera saat ini memungkinkan penerapan tanda air berbasis logo opsional yang dapat menandai penggunaan tidak sah dalam model AI yang dihasilkan, penghapusan logo melalui AI menjadi cukup sepele, dan bahkan dijual secara santai.

Dipublikasikan pertama kali pada 25 September 2022.