Mengambil Data Pelatihan Dari Model Stable Diffusion yang Dihaluskandengan Fine-Tuned

Penelitian baru dari AS memperkenalkan metode untuk mengambil sebagian besar data pelatihan dari model yang dihaluskan dengan fine-tuned.

Hal ini dapat memberikan bukti hukum dalam kasus di mana gaya seniman telah disalin, atau di mana gambar berhak cipta telah digunakan untuk melatih model generatif dari tokoh publik, karakter yang dilindungi hak cipta, atau konten lainnya.

Dari kertas baru: gambar asli pelatihan terlihat di baris atas, dan gambar yang diambil ditampilkan di baris bawah. Sumber: https://arxiv.org/pdf/2410.03039

Model seperti itu tersedia secara luas dan gratis di internet, terutama melalui arsip besar yang disumbangkan oleh pengguna di civit.ai, dan, sampai batas tertentu, di platform repositori Hugging Face.

Model baru yang dikembangkan oleh peneliti disebut FineXtract, dan penulisnya berpendapat bahwa itu mencapai hasil terbaik dalam tugas ini.

Makalah tersebut mengamati:

‘[Kerangka kerja kami] secara efektif menangani tantangan pengambilan data fine-tuning dari checkpoint DM yang dihaluskan dengan fine-tuned yang tersedia secara publik. Dengan menggunakan transisi dari distribusi DM yang telah dilatih sebelumnya ke distribusi data fine-tuning, FineXtract secara akurat memandu proses generasi menuju wilayah probabilitas tinggi dari distribusi data fine-tuning, memungkinkan pengambilan data yang berhasil.’

Jauh kanan, gambar asli yang digunakan dalam pelatihan. Kedua dari kanan, gambar yang diambil melalui FineXtract. Kolom lainnya mewakili metode sebelumnya. Silakan merujuk ke kertas sumber untuk resolusi yang lebih baik.

Mengapa Ini Penting

Model asli yang dilatih untuk sistem generatif teks-ke-gambar seperti Stable Diffusion dan Flux dapat diunduh dan dihaluskan dengan fine-tuned oleh pengguna akhir, menggunakan teknik seperti implementasi DreamBooth pada tahun 2022.

Lebih mudah lagi, pengguna dapat membuat model LoRA yang jauh lebih kecil yang hampir sama efektifnya dengan model yang dihaluskan dengan fine-tuned sepenuhnya.

Contoh model LoRA yang dilatih, ditawarkan untuk diunduh secara gratis di domain Civitai yang sangat populer. Model seperti itu dapat dibuat dalam waktu beberapa menit hingga beberapa jam, oleh penggemar yang menggunakan perangkat lunak sumber terbuka yang dipasang secara lokal – dan online, melalui beberapa sistem pelatihan yang lebih permissif yang didorong oleh API. Sumber: civitai.com

Sejak tahun 2022, telah menjadi sangat mudah untuk membuat titik akhir fine-tuning yang spesifik identitas dan LoRA, dengan menyediakan hanya sejumlah kecil (rata-rata 5-50) gambar yang memiliki keterangan, dan melatih titik akhir (atau LoRA) secara lokal, pada kerangka kerja sumber terbuka seperti Kohya ss, atau menggunakan layanan online.

Metode deepfaking yang sangat mudah ini telah mencapai ketenaran di media selama beberapa tahun terakhir. Banyak seniman juga telah memiliki karyanya dijadikan sebagai model generatif yang meniru gaya mereka. Kontroversi seputar masalah ini telah mengumpulkan momentum selama 18 bulan terakhir.

Kemudahan dengan mana pengguna dapat membuat sistem AI yang meniru karya seniman sungguhan telah menyebabkan kehebohan dan kampanye yang beragam selama dua tahun terakhir. Sumber: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

Sulit untuk membuktikan gambar mana yang digunakan dalam titik akhir fine-tuning atau dalam LoRA, karena proses generalisasi ‘mengabstraksi’ identitas dari dataset pelatihan kecil, dan tidak mungkin untuk mereproduksi contoh dari dataset pelatihan (kecuali dalam kasus overfitting, di mana satu dapat mempertimbangkan pelatihan telah gagal).

Ini adalah tempat FineXtract masuk. Dengan membandingkan keadaan ‘template’ model difusi yang diunduh pengguna dengan model yang mereka buat melalui fine-tuning atau LoRA, peneliti telah dapat membuat rekonstruksi data pelatihan yang sangat akurat.

Meskipun FineXtract hanya dapat merekonstruksi 20% dari data dari fine-tune*, ini lebih dari yang biasanya diperlukan untuk memberikan bukti bahwa pengguna telah menggunakan materi yang dilindungi hak cipta atau banned dalam produksi model generatif. Dalam sebagian besar contoh yang diberikan, gambar yang diambil sangat dekat dengan bahan sumber yang diketahui.

Karena keterangan diperlukan untuk mengekstrak gambar sumber, ini tidak menjadi hambatan yang signifikan karena dua alasan: a) pengunggah umumnya ingin memfasilitasi penggunaan model di antara komunitas dan biasanya menyediakan contoh prompt yang sesuai; dan b) tidak terlalu sulit, peneliti menemukan, untuk mengekstrak istilah-istilah penting secara buta dari model yang dihaluskan dengan fine-tuned:

Istilah-istilah kunci dapat biasanya diekstrak secara buta dari model yang dihaluskan dengan fine-tuned menggunakan serangan L2-PGD selama 1000 iterasi, dari prompt acak.

Pengguna sering menghindari membuat dataset pelatihan mereka tersedia bersama dengan model yang dilatih dengan gaya ‘black box’. Untuk penelitian, penulis berkolaborasi dengan penggemar mesin pembelajaran yang sebenarnya menyediakan dataset.

Makalah baru ini berjudul Mengungkap yang Tidak Terlihat: Memandu Model Difusi Personal untuk Mengungkap Data Pelatihan, dan berasal dari tiga peneliti di Carnegie Mellon dan Purdue universities.

Metode

‘Penyerang’ (dalam hal ini, sistem FineXtract) membandingkan distribusi data yang diestimasi di seluruh model asli dan model yang dihaluskan dengan fine-tuned, dalam proses yang disebut ‘model guidance’.

Melalui ‘model guidance’, yang dikembangkan oleh peneliti makalah baru, karakteristik fine-tuning dapat dipetakan, memungkinkan ekstraksi data pelatihan.

Penulis menjelaskan:

‘Selama proses fine-tuning, [model difusi] secara bertahap menggeser distribusi yang dipelajari dari distribusi DM yang telah dilatih sebelumnya ke arah distribusi data fine-tuning.

‘Dengan demikian, kami memparametrikkan distribusi yang dipelajari dari model difusi yang dihaluskan dengan fine-tuned.’

Dengan cara ini, jumlah perbedaan antara model inti dan model yang dihaluskan dengan fine-tuned memberikan proses guidance.

Penulis lebih lanjut mengomentari:

‘Dengan model guidance, kami dapat secara efektif mensimulasikan “pseudo-”[denoiser], yang dapat digunakan untuk mengarahkan proses sampling menuju wilayah probabilitas tinggi dalam distribusi data fine-tuning.’

Guidance ini sebagian bergantung pada proses noising yang bervariasi terhadap waktu yang mirip dengan outing Menghapus Konsep dari Model Difusi pada tahun 2023.

Prediksi denoising yang diperoleh juga memberikan skala Classifier-Free Guidance (CFG) yang mungkin. Ini penting, karena CFG sangat mempengaruhi kualitas gambar dan kesetiaan terhadap prompt teks pengguna.

Untuk meningkatkan akurasi gambar yang diekstrak, FineXtract menggunakan kolaborasi terkenal pada tahun 2023 Mengambil Data Pelatihan dari Model Difusi. Metode yang digunakan adalah menghitung kesamaan setiap pasang gambar yang dihasilkan, berdasarkan ambang batas yang ditentukan oleh skor Self-Supervised Descriptor (SSCD).

Dengan cara ini, algoritma clustering membantu FineXtract untuk mengidentifikasi subset gambar yang diekstrak yang sesuai dengan data pelatihan.

Dalam hal ini, peneliti berkolaborasi dengan pengguna yang telah membuat data tersedia. Satu dapat mengatakan dengan masuk akal bahwa, tanpa data tersebut, akan mustahil untuk membuktikan bahwa gambar yang dihasilkan tertentu benar-benar digunakan dalam pelatihan asli. Namun, sekarang relatif mudah untuk mencocokkan gambar yang diunggah dengan gambar langsung di web, atau gambar yang juga ada dalam dataset yang diterbitkan, berdasarkan konten gambar saja.

Data dan Tes

Untuk menguji FineXtract, penulis melakukan eksperimen pada model fine-tuning dengan sedikit data di dua skenario fine-tuning yang paling umum, dalam ruang lingkup proyek: gaya artistik, dan generasi yang didorong oleh objek (yang terakhir secara efektif mencakup subjek berbasis wajah).

Mereka secara acak memilih 20 seniman (masing-masing dengan 10 gambar) dari dataset WikiArt, dan 30 subjek (masing-masing dengan 5-6 gambar) dari dataset DreamBooth, untuk menangani skenario tersebut.

DreamBooth dan LoRA adalah metode fine-tuning yang ditargetkan, dan Stable Diffusion V1/.4 digunakan untuk tes.

Jika algoritma clustering mengembalikan tidak ada hasil setelah tiga puluh detik, ambang batas diubah sampai gambar dikembalikan.

Dua metrik yang digunakan untuk gambar yang dihasilkan adalah Rata-Rata Kesamaan (AS) di bawah SSCD, dan Rata-Rata Tingkat Keberhasilan Ekstraksi (A-ESR) – sebuah ukuran yang secara umum sejalan dengan karya sebelumnya, di mana skor 0,7 mewakili minimum untuk menunjukkan ekstraksi data pelatihan yang berhasil.

Karena pendekatan sebelumnya telah menggunakan generasi teks-ke-gambar langsung atau CFG, peneliti membandingkan FineXtract dengan dua metode tersebut.

Hasil perbandingan FineXtract dengan dua metode sebelumnya.

Penulis mengomentari:

‘[Hasil] menunjukkan keunggulan yang signifikan dari FineXtract atas metode sebelumnya, dengan perbaikan sekitar 0,02 hingga 0,05 dalam AS dan penggandaan A-ESR dalam sebagian besar kasus.’

Untuk menguji kemampuan metode untuk menggeneralisasi data baru, peneliti melakukan tes lebih lanjut, menggunakan Stable Diffusion (V1.4), Stable Diffusion XL, dan AltDiffusion.

FineXtract diterapkan di berbagai model difusi. Untuk komponen WikiArt, tes ini berfokus pada empat kelas di WikiArt.

Sebagaimana terlihat dalam hasil yang ditampilkan di atas, FineXtract dapat mencapai perbaikan atas metode sebelumnya juga dalam tes yang lebih luas.

Perbandingan kualitatif hasil yang diekstrak dari FineXtract dan pendekatan sebelumnya. Silakan merujuk ke kertas sumber untuk resolusi yang lebih baik.

Penulis mengamati bahwa ketika jumlah gambar yang digunakan dalam dataset untuk model fine-tuning meningkat, algoritma clustering perlu dijalankan selama waktu yang lebih lama untuk tetap efektif.

Mereka juga mengamati bahwa berbagai metode telah dikembangkan dalam beberapa tahun terakhir untuk menghalangi jenis ekstraksi ini, di bawah payung perlindungan privasi. Mereka kemudian menguji FineXtract melawan data yang ditingkatkan dengan metode Cutout dan RandAugment.

Kinerja FineXtract melawan gambar yang dilindungi oleh Cutout dan RandAugment.

Penulis mengakui bahwa dua sistem perlindungan tersebut berfungsi cukup baik dalam mengaburkan sumber data pelatihan, tetapi mereka mencatat bahwa ini datang dengan biaya penurunan kualitas output yang cukup parah sehingga membuat perlindungan tersebut tidak berguna:

Gambar yang dihasilkan di bawah Stable Diffusion V1.4, dihaluskan dengan fine-tuned dengan tindakan pertahanan – yang secara drastis menurunkan kualitas gambar. Silakan merujuk ke kertas sumber untuk resolusi yang lebih baik.

Makalah tersebut menyimpulkan:

‘Eksperimen kami menunjukkan ketahanan metode kami di berbagai dataset dan checkpoint dunia nyata, menyoroti risiko kebocoran data dan memberikan bukti kuat untuk pelanggaran hak cipta.’

Kesimpulan

Tahun 2024 telah terbukti sebagai tahun yang menarik bagi perusahaan untuk memperhatikan data pelatihan yang “bersih”, menghadapi liputan media yang berkelanjutan tentang kemampuan AI untuk menggantikan manusia, dan prospek untuk melindungi hukum model generatif yang mereka sendiri sangat ingin untuk mengeksploitasi.

Sangat mudah untuk mengklaim bahwa data pelatihan Anda bersih, tetapi juga semakin mudah bagi teknologi serupa untuk membuktikan bahwa itu tidak – seperti yang ditemukan oleh Runway ML, Stability.ai, dan MidJourney (di antara lainnya) dalam beberapa hari terakhir.

Proyek seperti FineXtract secara tidak langsung merupakan pertanda akhir dari era “wild west” AI, di mana bahkan sifat laten yang tampaknya okultis dari ruang laten yang dilatih dapat diadili.

* Untuk kemudahan, kita akan menganggap ‘fine-tune dan LoRA’, di mana perlu.

Dipublikasikan pertama kali pada hari Senin, 7 Oktober 2024