Gambar ‘Dilindungi’ Lebih Mudah, Bukan Lebih Sulit, untuk Dicuri dengan AI

Penelitian baru menunjukkan bahwa alat watermark yang dimaksudkan untuk memblokir penyuntingan gambar AI dapat berakhir dengan kegagalan. Sebaliknya, beberapa perlindungan sebenarnya membantu AI untuk mengikuti prompt penyuntingan lebih dekat, membuat manipulasi yang tidak diinginkan menjadi lebih mudah.

Ada satu strand yang kuat dalam literatur penglihatan komputer yang didedikasikan untuk melindungi gambar berhak cipta dari being trained ke dalam model AI, atau digunakan dalam proses AI gambar-ke-gambar langsung. Sistem ini umumnya ditujukan untuk Latent Diffusion Models (LDMs) seperti Stable Diffusion dan Flux, yang menggunakan prosedur berbasis noise untuk mengkode dan mendekode gambar.

Dengan memasukkan noise adversarial ke dalam gambar yang tampak normal, maka dapat memungkinkan detektor gambar untuk menebak isi gambar secara tidak benar, dan menghambat sistem pembangkit gambar dari mengeksploitasi data berhak cipta:

Dari paper MIT ‘Raising the Cost of Malicious AI-Powered Image Editing’, contoh gambar sumber ‘dilindungi’ dari manipulasi (baris bawah). Sumber: https://arxiv.org/pdf/2302.06588

Sejak reaksi balik seniman terhadap penggunaan liberal Stable Diffusion terhadap gambar yang diambil dari web (termasuk gambar berhak cipta) pada tahun 2023, adegan penelitian telah menghasilkan beberapa variasi pada tema yang sama – ide bahwa gambar dapat ‘diracuni’ terhadap being trained ke dalam sistem AI atau disedot ke dalam pipa AI generatif, tanpa mempengaruhi kualitas gambar bagi pemirsa rata-rata.

Di semua kasus, ada korelasi langsung antara intensitas gangguan yang diterapkan, sejauh mana gambar tersebut dilindungi, dan sejauh mana gambar tersebut tidak terlihat sebaik yang seharusnya:

Meskipun kualitas PDF penelitian tidak sepenuhnya menggambarkan masalah, jumlah gangguan adversarial yang lebih besar mengorbankan kualitas untuk keamanan. Di sini kita melihat rentang gangguan kualitas dalam proyek ‘Fawkes’ tahun 2020 yang dipimpin oleh Universitas Chicago. Sumber: https://arxiv.org/pdf/2002.08327

Yang menarik bagi seniman yang mencari untuk melindungi gaya mereka dari penggunaan tanpa izin adalah kemampuan sistem ini tidak hanya untuk mengaburkan identitas dan informasi lainnya, tetapi juga untuk ‘meyakinkan’ proses pelatihan AI bahwa itu melihat sesuatu yang berbeda dari apa yang sebenarnya, sehingga koneksi tidak terbentuk antara domain semantik dan visual untuk data pelatihan ‘dilindungi’ (yaitu, prompt seperti ‘Dalam gaya Paul Klee’).

Mist dan Glaze adalah dua metode injeksi populer yang dapat mencegah, atau setidaknya menghambat, upaya menggunakan gaya berhak cipta dalam alur kerja AI dan rutinitas pelatihan. Sumber: https://arxiv.org/pdf/2506.04394

Gol Sendiri

Sekarang, penelitian baru dari AS menemukan bahwa tidak hanya gangguan dapat gagal melindungi gambar, tetapi juga bahwa menambahkan gangguan dapat sebenarnya meningkatkan kemampuan gambar untuk dieksploitasi dalam semua proses AI yang gangguan tersebut dimaksudkan untuk melindungi.

Makalah tersebut menyatakan:

‘Dalam eksperimen kami dengan berbagai metode perlindungan gambar berbasis gangguan di seluruh domain (gambar adegan alam dan karya seni) dan tugas penyuntingan (generasi gambar-ke-gambar dan penyuntingan gaya), kami menemukan bahwa perlindungan tersebut tidak mencapai tujuan ini sepenuhnya.

‘Dalam sebagian besar skenario, penyuntingan difusi gambar yang dilindungi menghasilkan gambar output yang diinginkan yang mengikuti prompt penyuntingan dengan tepat, membuat manipulasi yang tidak diinginkan menjadi lebih mudah.’

‘Temuan kami menunjukkan bahwa menambahkan noise ke gambar dapat paradoks meningkatkan asosiasi mereka dengan prompt teks yang diberikan selama proses generasi, menyebabkan konsekuensi yang tidak diinginkan seperti hasil penyuntingan yang lebih baik .

‘Oleh karena itu, kami berpendapat bahwa metode berbasis gangguan mungkin tidak menyediakan solusi yang cukup untuk perlindungan gambar yang kuat terhadap penyuntingan berbasis difusi.’

Dalam tes, gambar yang dilindungi terpapar pada dua skenario penyuntingan AI yang familiar: generasi gambar-ke-gambar langsung dan transfer gaya. Proses ini mencerminkan cara umum yang AI mungkin mengeksploitasi konten yang dilindungi, baik dengan mengubah gambar secara langsung atau dengan meminjam ciri-ciri gaya untuk digunakan di tempat lain.

Gambar yang dilindungi, diambil dari sumber fotografi dan karya seni standar, dijalankan melalui pipa ini untuk melihat apakah gangguan yang ditambahkan dapat memblokir atau merusak penyuntingan.

Sebaliknya, kehadiran perlindungan sering kali tampaknya memperjelas keselarasan model dengan prompt, menghasilkan output yang akurat dan sesuai dengan instruksi baru.

Penulis menyarankan, pada dasarnya, bahwa metode perlindungan yang sangat populer ini mungkin memberikan rasa aman yang salah, dan bahwa setiap pendekatan imunisasi berbasis gangguan harus diuji secara menyeluruh terhadap metode penulis.

Metode

Penulis menjalankan eksperimen menggunakan tiga metode perlindungan yang menerapkan gangguan adversarial yang dirancang dengan hati-hati: PhotoGuard; Mist; dan Glaze.

Glaze, salah satu kerangka yang diuji oleh penulis, menunjukkan contoh perlindungan Glaze untuk tiga seniman. Kolom pertama dan kedua menampilkan karya asli; kolom ketiga menampilkan hasil tiruan tanpa perlindungan; kolom keempat, versi gaya yang ditransfer untuk optimasi selubung, bersama dengan nama gaya target. Kolom kelima dan keenam menampilkan hasil tiruan dengan selubung diterapkan pada tingkat gangguan p = 0,05 dan p = 0,1. Semua hasil menggunakan model Stable Diffusion. https://arxiv.org/pdf/2302.04222

PhotoGuard diterapkan pada gambar adegan alam, sedangkan Mist dan Glaze digunakan pada karya seni (yaitu, domain ‘bergaya’).

Tes mencakup gambar alam dan artistik untuk mencerminkan penggunaan dunia nyata yang mungkin. Efektivitas setiap metode diukur dengan memeriksa apakah model AI masih dapat menghasilkan penyuntingan yang realistis dan relevan dengan prompt ketika bekerja pada gambar yang dilindungi; jika gambar yang dihasilkan tampak meyakinkan dan sesuai dengan prompt, maka perlindungan dianggap gagal.

Stable Diffusion v1.5 digunakan sebagai pembangkit gambar prainisiasi untuk tugas penyuntingan penulis. Lima benih dipilih untuk memastikan reproducibility: 9222, 999, 123, 66, dan 42. Semua pengaturan generasi lainnya, seperti skala bimbingan, kekuatan, dan langkah total, mengikuti nilai default yang digunakan dalam eksperimen PhotoGuard.

PhotoGuard diuji pada gambar adegan alam menggunakan dataset Flickr8k, yang berisi lebih dari 8.000 gambar yang dipasangkan dengan hingga lima caption masing-masing.

Pemikiran yang Berlawanan

Dua set caption yang dimodifikasi dibuat dari caption pertama dari setiap gambar dengan bantuan Claude Sonnet 3.5. Satu set berisi prompt yang kontekstual dekat dengan caption asli; set lainnya berisi prompt yang kontekstual jauh.

Sebagai contoh, dari caption asli ‘Seorang gadis muda dalam gaun merah muda memasuki sebuah gubuk kayu’, prompt yang dekat akan menjadi ‘Seorang anak laki-laki dalam kemeja biru memasuki sebuah rumah batu bata’. Sebaliknya, prompt yang jauh akan menjadi ‘Dua kucing yang sedang bersantai di sofa’.

Prompt yang dekat dibuat dengan menggantikan kata benda dan kata sifat dengan istilah yang semantically serupa; prompt yang jauh dibuat dengan memerintahkan model untuk membuat caption yang kontekstual sangat berbeda.

Semua caption yang dihasilkan diperiksa secara manual untuk kualitas dan relevansi semantik. Universal Sentence Encoder dari Google digunakan untuk menghitung skor kesamaan semantik antara caption asli dan caption yang dimodifikasi:

Dari materi tambahan, distribusi kesamaan semantik untuk caption yang dimodifikasi yang digunakan dalam tes Flickr8k. Grafik di sebelah kiri menunjukkan skor kesamaan untuk caption yang dimodifikasi dekat, rata-rata sekitar 0,6. Grafik di sebelah kanan menunjukkan caption yang dimodifikasi secara ekstensif, rata-rata sekitar 0,1, mencerminkan jarak semantik yang lebih besar dari caption asli. Sumber: https://sigport.org/sites/default/files/docs/IncompleteProtection_SM_0.pdf

Setiap gambar, bersama dengan versi yang dilindungi, diedit menggunakan prompt yang dekat dan jauh. Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE) digunakan untuk menilai kualitas gambar:

Hasil generasi gambar-ke-gambar pada foto alam yang dilindungi oleh PhotoGuard. Meskipun kehadiran gangguan, Stable Diffusion v1.5 berhasil mengikuti perubahan semantik kecil dan besar dalam prompt penyuntingan, menghasilkan output yang realistis dan sesuai dengan instruksi baru.

Gambar yang dihasilkan memiliki skor 17,88 pada BRISQUE, dengan 17,82 untuk prompt yang dekat dan 17,94 untuk prompt yang jauh, sedangkan gambar asli memiliki skor 22,27. Ini menunjukkan bahwa gambar yang diedit tetap dekat dengan kualitas aslinya.

Metrik

Untuk menilai seberapa baik perlindungan tersebut mengganggu penyuntingan AI, peneliti mengukur seberapa dekat gambar akhir sesuai dengan instruksi yang diberikan, menggunakan sistem skor yang membandingkan isi gambar dengan prompt teks, untuk melihat seberapa baik mereka selaras:

Untuk tujuan ini, metrik CLIP-S menggunakan model yang dapat memahami baik gambar maupun teks untuk memeriksa seberapa mirip mereka, sedangkan PAC-S++ menambahkan sampel tambahan yang dibuat oleh AI untuk membandingkan lebih dekat dengan estimasi manusia:

Skor Keselarasan Gambar-Teks (ITA) ini menunjukkan seberapa akurat AI mengikuti instruksi ketika mengedit gambar yang dilindungi: jika gambar yang dilindungi masih menghasilkan output yang sangat selaras, maka perlindungan dianggap gagal untuk memblokir penyuntingan.

Pengaruh perlindungan pada dataset Flickr8k di seluruh lima benih, menggunakan prompt yang dekat dan jauh. Keselarasan gambar-teks diukur menggunakan skor CLIP-S dan PAC-S++.

Peneliti membandingkan seberapa baik AI mengikuti prompt ketika mengedit gambar yang dilindungi versus gambar yang tidak dilindungi. Mereka pertama-tama melihat perbedaan antara keduanya, yang disebut Perubahan Aktual. Kemudian perbedaan tersebut diskalakan untuk membuat Perubahan Persentase, membuatnya lebih mudah untuk membandingkan hasil di seluruh banyak tes.

Proses ini mengungkapkan apakah perlindungan tersebut membuat lebih sulit atau lebih mudah bagi AI untuk sesuai dengan prompt. Tes tersebut diulangi lima kali menggunakan benih acak yang berbeda, mencakup perubahan kecil dan besar pada caption asli.

Serangan Seni

Untuk tes pada foto alam, dataset Flickr1024 digunakan, yang berisi lebih dari seribu gambar berkualitas tinggi. Setiap gambar diedit dengan prompt yang mengikuti pola: ‘ubah gaya ke [V]’, di mana [V] mewakili salah satu dari tujuh gaya seni terkenal: Kubisme; Pasca-Impresionisme; Impresionisme; Surrealisme; Barok; Fauvisme; dan Renaisans.

Prosesnya melibatkan menerapkan PhotoGuard pada gambar asli, menghasilkan versi yang dilindungi, dan kemudian menjalankan gambar yang dilindungi dan tidak dilindungi melalui rangkaian penyuntingan transfer gaya yang sama:

Gambar asli dan versi yang dilindungi dari sebuah foto alam, diedit untuk menerapkan gaya Kubisme, Surrealisme, dan Fauvisme.

Untuk menguji metode perlindungan pada karya seni, transfer gaya dilakukan pada gambar dari dataset WikiArt, yang mengkurasi berbagai gaya seni. Prompt penyuntingan mengikuti format yang sama seperti sebelumnya, memerintahkan AI untuk mengubah gaya ke gaya yang dipilih secara acak dan tidak terkait yang diambil dari label WikiArt.

Metode perlindungan Glaze dan Mist diterapkan pada gambar sebelum penyuntingan, memungkinkan peneliti untuk mengamati seberapa baik setiap pertahanan dapat memblokir atau merusak hasil transfer gaya:

Contoh bagaimana metode perlindungan mempengaruhi transfer gaya pada karya seni. Gambar asli Barok ditampilkan bersama dengan versi yang dilindungi oleh Mist dan Glaze. Setelah menerapkan transfer gaya Kubisme, perbedaan dalam cara setiap perlindungan mengubah output akhir dapat dilihat.

Peneliti juga menguji perbandingan secara kuantitatif:

Perubahan skor keselarasan gambar-teks setelah penyuntingan transfer gaya.

Dari hasil ini, penulis mengomentari:

‘Hasilnya menyoroti keterbatasan signifikan dari gangguan adversarial untuk perlindungan. Sebaliknya, gangguan adversarial sering kali meningkatkan responsivitas model generatif terhadap prompt, tidak sengaja memungkinkan pelaku untuk menghasilkan output yang lebih selaras dengan tujuan mereka. Perlindungan seperti itu tidak mengganggu proses penyuntingan gambar dan mungkin tidak dapat mencegah agen jahat dari menyalin materi tanpa izin. ‘

‘Konsekuensi yang tidak diinginkan dari menggunakan gangguan adversarial mengungkapkan kerentanan dalam metode yang ada dan menekankan kebutuhan mendesak untuk teknik perlindungan yang lebih efektif.’

Penulis menjelaskan bahwa hasil yang tidak terduga dapat ditelusuri kembali ke cara kerja model difusi: LDM mengedit gambar dengan mengubahnya menjadi versi yang dikompresi yang disebut laten; noise kemudian ditambahkan ke laten ini melalui banyak langkah, sampai data menjadi hampir acak.

Model membalik proses ini selama generasi, menghilangkan noise langkah demi langkah. Pada setiap tahap pembalikan ini, prompt teks membantu memandu bagaimana noise harus dibersihkan, secara bertahap membentuk gambar untuk sesuai dengan prompt:

Perbandingan antara generasi dari gambar yang tidak dilindungi dan gambar yang dilindungi oleh PhotoGuard, dengan keadaan laten intermediate yang diubah kembali menjadi gambar untuk visualisasi.

Metode perlindungan menambahkan sejumlah kecil noise tambahan ke gambar asli sebelum memasuki proses ini. Meskipun gangguan ini kecil pada awalnya, mereka menumpuk ketika model menerapkan lapisan noise-nya sendiri.

Penumpukan ini meninggalkan lebih banyak bagian dari gambar ‘tidak pasti’ ketika model mulai menghilangkan noise. Dengan ketidakpastian yang lebih besar, model lebih banyak bergantung pada prompt teks untuk mengisi detail yang hilang, memberikan prompt pengaruh yang lebih besar daripada yang normal.

Secara efektif, perlindungan membuat lebih mudah bagi AI untuk membentuk gambar agar sesuai dengan prompt, bukan lebih sulit.

Akhirnya, penulis melakukan tes yang menggantikan gangguan yang dirancang dari Raising the Cost of Malicious AI-Powered Image Editing paper dengan noise Gaussian murni.

Hasilnya mengikuti pola yang sama yang diamati sebelumnya: di seluruh tes, nilai Perubahan Persentase tetap positif. Bahkan noise acak dan tidak terstruktur ini menyebabkan keselarasan yang lebih kuat antara gambar yang dihasilkan dan prompt.

Pengaruh perlindungan yang disimulasikan menggunakan noise Gaussian pada dataset Flickr8k.

Hal ini mendukung penjelasan yang mendasarinya bahwa setiap penambahan noise, terlepas dari desainnya, menciptakan ketidakpastian yang lebih besar bagi model selama generasi, memungkinkan prompt teks untuk memiliki kontrol yang lebih besar atas gambar akhir.

Kesimpulan

Adegan penelitian telah mendorong gangguan adversarial pada masalah hak cipta LDM selama hampir sama lama dengan LDM ada; namun, tidak ada solusi yang tangguh yang muncul dari jumlah luar biasa makalah yang diterbitkan pada pendekatan ini.

Entah gangguan yang diterapkan secara berlebihan menurunkan kualitas gambar, atau pola yang terbukti tidak tahan terhadap manipulasi dan proses transformasi.

Namun, ini adalah mimpi yang sulit ditinggalkan, karena alternatifnya tampaknya adalah kerangka pemantauan pihak ketiga dan provenance seperti skema C2PA yang dipimpin oleh Adobe, yang bertujuan untuk mempertahankan rantai kepemilikan untuk gambar dari sensor kamera dan seterusnya, tetapi tidak memiliki koneksi bawaan dengan konten yang digambarkan.

Dalam hal apapun, jika gangguan adversarial sebenarnya membuat masalah lebih buruk, seperti yang ditunjukkan oleh makalah baru dapat benar dalam banyak kasus, seseorang bertanya-tanya apakah pencarian perlindungan hak cipta melalui sarana tersebut jatuh di bawah ‘alkimi’.

Dipublikasikan pertama kali pada hari Senin, 9 Juni 2025