CivitAI Mengencangkan Aturan Deepfake di Bawah Tekanan dari Mastercard dan Visa

CivitAI, mungkin repositori model AI paling populer di internet, akhirnya mengakui tekanan dari fasilitator pembayaran MasterCard dan Visa untuk merevisi kebijakan mereka tentang konten NSFW – dan khususnya TOS mereka mengenai LoRAs selebriti, salah satu aliran konten pengguna yang paling populer di situs, yang memungkinkan orang menggunakan model pendukung yang dapat diunduh secara gratis seperti LoRAs untuk membuat gambaran AI (termasuk gambaran video) dari orang-orang terkenal.

Klik untuk memutar. Meskipun Civit tidak menyediakan angka pasti (dan pelabelan/pengkategorian yang salah tidak biasa, yang kemungkinan akan memengaruhi angka-angka), jumlah model AI selebriti, terutama LoRAs, jelas berjumlah ratusan atau bahkan ribuan, dan jelas didominasi oleh subjek perempuan. Sumber: civitai.com

Jelas beroperasi di bawah tekanan dalam siaran langsung Twitch** atas nama perusahaan, Manajer Penglibatan Komunitas Alasdair Nicoll, sendiri seorang pembuat model (SFW) di Civit, mengakui bahwa perubahan telah dipaksakan pada situs oleh kekhawatiran prosesor pembayaran mereka tentang konten dewasa dan penggambaran orang-orang nyata. Ia juga mengakui kemungkinan bahwa kekuatan utama di balik prosesor ini, Visa dan MasterCard, kemungkinan akan menuntut perubahan yang lebih besar kemudian:

‘Perubahan ini tidak kita inginkan. Ini berkaitan dengan legislasi baru dan yang akan datang. Ada hukum deepfake di luar sana, ada hukum AI porn… prosesor pembayaran, dan pada akhirnya Visa dan MasterCard merasa takut; mereka tidak ingin digugat, dan mereka pada akhirnya mengarahkan perubahan ini.

‘Beberapa pilihan lain yang kita dapatkan adalah menghapus konten tidak aman untuk dilihat secara keseluruhan; menghapus konten x dan triple-x dari CivitAI dan ke platform yang sepenuhnya baru, dan kemudian memblokir geografis platform itu, karena lebih dari setengah negara bagian AS mengharuskan beberapa bentuk pemblokiran pornografi, [serta] banyak negara Asia dan Inggris…

‘Opsi ketiga adalah beralih ke crypto, pembayaran crypto saja… jadi tidak ada pilihan yang baik untuk ini.’

Domain Civit telah turun secara berkala untuk revisi selama beberapa hari terakhir, tampaknya untuk menerapkan perubahan. Meskipun situs sudah melarang penggunaan tema NSFW dalam penggambaran selebriti LoRA/model, sekarang mustahil untuk menjelajahi bagian model Civit dan melihat pratinjau LoRA selebriti berdampingan dengan jumlah besar model NSFW generik yang dirancang untuk menghasilkan konten dewasa.

Pengumuman resmi menyatakan:

‘Konten yang diberi label dengan nama orang nyata (seperti “Tom Cruise”) atau diberi label sebagai sumber daya POI (orang nyata) akan disembunyikan dari umpan.’

Dalam sesi Twitch, Nicoll mengungkapkan rincian lebih lanjut tentang langkah-langkah yang dirancang untuk melindungi tokoh terkenal dan orang-orang nyata. Civit selalu mengizinkan orang-orang nyata untuk meminta bahwa model AI yang dihosting Civit yang menggambarkan mereka dihapus, tetapi sekarang Nicoll mengisyaratkan adanya sistem yang dapat mencegah gambar-gambar tersebut diunggah kembali setelah penolakan awal, dengan fasilitas untuk mengidentifikasi ‘orang yang dilindungi’ bahkan dalam gambar yang sistem belum pernah lihat sebelumnya.

Untuk tujuan ini, situs sekarang bermitra dengan sistem moderasi AI Clavata – meskipun sejauh mana Clavata akan memoderasi fasilitas baru ini belum jelas.

Nicoll mengatakan:

‘Tom Hanks telah mengklaim kesamaan dari kami, misalnya. Banyak aktris dewasa telah; banyak aktor dan aktris A-list telah…

‘Saya pikir yang pertama kita lakukan adalah Barbara Eden, estatnya* – dia adalah salah satu yang pertama untuk mengklaim kesamaannya, yang agak lucu, karena dia sudah tua.’

Dilindungi Secara Default?

Selama dua tahun terakhir, perusahaan VFX AI Metaphysic (pengakuan penuh: saya bekerja untuk Metaphysic.ai dari awal 2022 hingga akhir 2024) mencoba membuat sistem proprietary yang akan memungkinkan siapa saja untuk mendaftarkan kesamaan mereka sendiri, meskipun terutama ditujukan untuk nama-nama Hollywood yang khawatir tentang pencurian identitas berbasis AI, dengan dukungan dari aktor seperti Anne Hathaway, Octavia Spencer, dan Tom Hanks (dengan siapa perusahaan bekerja sama dalam film Here [2024]).

Secara logis, utilitas sistem ini akan selalu bergantung pada hukum acara; berdasarkan langkah-langkah yang sekarang diambil Civit, layanan berbasis langganan^† yang diusulkan oleh Metaphysic bisa menjadi tidak perlu mengingat pertumbuhan cepat hukum deepfake, dan potensi (gratis) perlindungan di bawah hukum umum. Belum diketahui apakah penawaran Metaphysic Pro akan dipindahkan ke perusahaan VFX Double Negative, yang memperoleh aset Metaphysic tahun lalu.

Namun, tampaknya bahwa hukum global dan tekanan pasar umum lebih mungkin untuk memberikan perlindungan dan solusi, bukan solusi komersial seperti ini.

Merebus Katak

Laporan 2023 oleh 404 Media mengarahkan perhatian pada kecenderungan model AI selebriti dan pornografi di Civit, meskipun pendiri Civit Justin Maier mengabaikan hubungan antara kesamaan selebriti yang disumbangkan pengguna dan penggunaannya dalam menghasilkan materi pornografi.

Meskipun Civit menghasilkan uang dengan memfasilitasi penggunaan LoRAs dan model lain yang disediakan pengguna di situs, Nicoll jelas bahwa ini bukanlah kekhawatiran utama yang memotivasi Visa dan MasterCard untuk menentukan perubahan pada situs, agar situs dapat terus dimonetisasi:

‘Beberapa orang mengatakan bahwa alasan kita berada dalam kesulitan ini adalah karena kita mengizinkan generasi. Itu tidak masuk akal. Penghostingan model ini, penghostingan konten ini, sudah cukup untuk menarik perhatian Sauron.’

Benang komentar komunitas telah memuja selama beberapa tahun bahwa Civit telah diizinkan untuk menghosting kesamaan selebriti. Sadar akan kemungkinan, mungkin kepastian penindakan, beberapa inisiatif untuk melestarikan LoRAs yang dihapus oleh Civit atau oleh pengunggahnya, telah diusulkan atau dilaksanakan, termasuk (sampai sekarang) subreddit r/CivitaiArchives yang agak diabaikan.

Meskipun banyak yang telah menyarankan bahwa inisiatif berbasis torrent adalah solusi alami, tidak ada domain yang banyak diikuti yang tampaknya telah muncul – dan dalam hal apa pun, ini tampaknya pasti akan memindahkan aktivitas yang dilarang di Civit dan di tempat lain ke pinggiran luar internet; ke taman yang dibatasi; dan, paling mungkin, ke dark net, karena sebagian besar kerangka yang dapat menampung LoRAs yang dilarang (seperti Reddit dan Discord) baik sudah melarang konten tersebut atau tampaknya pasti akan melarangnya segera.

Saat ini, LoRAs selebriti masih dapat dilihat dengan beberapa batasan di Civit, meskipun sebagian besar konten yang dihasilkan telah dihapus dari daftar dan akan dikecualikan dari penemuan kasual. Apa yang tampaknya mungkin, salah satu komentator menyarankan kepada Nicoll dalam sesi Twitch, adalah bahwa penindakan akan memperdalam (mungkin hingga melarang semua kesamaan orang-orang nyata dalam model atau penggambaran yang diunggah).

Nicoll menanggapi:

‘”Mereka tidak akan berhenti di sini, mereka akan terus menuntut lebih dan lebih” – absolut! Ya, absolut. Itu hanya dunia yang kita tinggali. Satu-satunya harapan adalah bahwa kita menjadi cukup besar dan kuat sehingga kita akan memiliki sedikit lebih banyak pengaruh dalam apa yang diperintahkan kepada kita […]

Putus asa dengan alternatif yang ditawarkan kepada Civit, Nicoll menambahkan:

‘[…] Tidak ada yang akan membeli Bitcoin untuk [menggunakan] generator CivitAI. Jadi kita telah mencoba membuat ini sesedap mungkin, dan ini adalah apa yang kita dapatkan. Jadi, maaf jika ini adalah sesuatu yang tidak dapat Anda terima, tetapi sayangnya ini adalah apa adanya. Kita telah mencoba yang terbaik, kita telah memprotes sebanyak mungkin, tetapi pada akhirnya kita diberitahu bahwa ini adalah itu – Anda harus melakukan ini atau ini akan menjadi akhir […]

‘[…] Lembaga keuangan ini, mereka tidak mengerti apa yang orang lakukan di sini dengan itu. Kita telah mencoba memberitahu mereka, kita telah mencoba berbicara dengan mereka, tetapi kita hampir merupakan benteng terakhir dari konten [NSFW].

Nicoll mengatakan bahwa Civit telah menghubungi ‘setiap prosesor pembayaran yang dapat dibayangkan:

‘Bahkan prosesor pembayaran berisiko tinggi yang digunakan situs pornografi, dan mereka semua sangat waspada terhadap konten AI. Itu adalah konten AI. Jika kita adalah situs pornografi tradisional, kita akan baik-baik saja, tetapi konten AI adalah apa yang mereka takuti.’

Ke Mana Selanjutnya?

Sebelum pengumuman ini, Civit telah diamati menghapus unggahan yang dilindungi oleh beberapa kategori dan jenis konten yang sekarang dilarang. Pada saat penulisan, ‘repo darurat’ untuk LoRAs Wan 2.1 telah didirikan di situs Hugging Face. Meskipun beberapa LoRAs yang diarsipkan di sana dirancang untuk memfasilitasi kegiatan seksual yang umum yang sedikit dilatih atau tidak ada dalam model video baru seperti Wan 2.1, beberapa di antaranya jatuh di bawah kategori ‘undress’ yang sekarang dilarang (yaitu, ‘menghilangkan pakaian’), termasuk beberapa model yang dapat dianggap ‘ekstrem’ atau jelas ofensif.

Subreddit r/datahoarders, yang telah berada di garis depan dalam melestarikan literatur online pemerintah AS di bawah kampanye penghapusan massal Donald Trump, telah menunjukkan penghinaan terhadap gagasan menyelamatkan konten CivitAI yang hilang.

Dalam literatur, fasilitasi CivitAI yang mudah untuk generasi AI NSFW tidak luput dari perhatian. Namun, salah satu studi yang paling dikutip, makalah 2024 Exploring the Use of Abusive Generative AI Models on Civitai, terhambat oleh fakta bahwa Civit tidak mengizinkan generasi AI selebriti atau ilegal hingga saat ini, dan oleh penentuan peneliti untuk menemukan bukti mereka di Civit sendiri.

Jelas, bagaimanapun, apa yang memprihatinkan prosesor pembayaran bukanlah apa yang dihasilkan dengan LoRAs di Civit sendiri, atau apa yang diterbitkan di sana, tetapi apa yang dilakukan dengan model-model ini di komunitas lain yang tertutup atau kurang diatur.

Situs Mr. Deepfakes, yang sebelumnya dikenal dengan metode autoencoder deepfaking NSFW, hingga munculnya Stable Diffusion dan model difusi pada 2022, baru-baru ini mulai memposting contoh video pornografi berbasis selebriti menggunakan gelombang terbaru generator teks-ke-video dan gambar-ke-video, termasuk Hunyuan Video dan Wan 2.1 – keduanya rilis baru yang pengaruhnya masih baru, tetapi tampaknya akan memicu headline yang kontroversial seiring perkembangan komunitas mereka sepanjang tahun ini.

Metadata Wajib

Salah satu perubahan menarik yang tampaknya diminta oleh prosesor pembayaran, menurut Nicoll, adalah bahwa semua gambar di situs sekarang harus berisi metadata. Ketika gambar atau video dihasilkan oleh model generatif dalam alur kerja khas di platform seperti ComfyUI, output biasanya berisi metadata yang mencantumkan model yang digunakan (hash serta namanya, sehingga jika model dinamai ulang oleh pengguna, provenansnya tetap jelas) dan pengaturan lainnya.

Karena titik data tersembunyi tentang bagaimana gambar itu dibuat, pengguna dapat menarik gambar atau video yang dibuat oleh orang lain ke dalam alur kerja ComfyUI mereka sendiri dan merekayasa kembali alur kerja tersebut, dan mengatasi ketergantungan yang hilang (seperti model atau komponen yang pembuat asli miliki, yang pengguna kemudian harus mencari dan mengunduh).

Setiap gambar atau video generasi yang kekurangan data ini akan, Civit telah mengumumkan, dihapus dalam waktu tiga puluh hari. Pengguna dapat menambahkan data tersebut secara manual, dengan mengetiknya di situs web Civit sendiri.

Karena nilai metadata adalah (secara presumption) bukti, persyaratan ini tampaknya agak tidak berguna; sangat mudah untuk menyalin dan menempelkan metadata dari satu file ke file lain, dan penemuan metadata ad hoc melalui formulir web membuat aturan baru ini sedikit membingungkan.

Namun, beberapa pengguna (termasuk satu yang mengomentari dalam sesi Twitch) memiliki ribuan gambar yang diunggah di Civit. Satu-satunya jalan mereka sekarang adalah mengannotate secara manual masing-masing dari mereka, atau menghapus dan mengunggah kembali versi gambar dengan metadata tambahan – yang akan menghapus ‘suka’ atau ‘buzz’ atau percakapan yang dihasilkan oleh gambar asli.

Aturan Baru

Berikut adalah perubahan yang diringkas yang berlaku di Civit dari hari ini:

• Konten yang diberi label dengan nama orang nyata atau diidentifikasi sebagai sumber daya orang nyata tidak akan lagi muncul di umpan publik.
• Konten dengan tema anak/bawah umur akan disaring dari umpan.
• Konten dengan peringkat X dan XXX yang kekurangan metadata generasi akan disembunyikan dari tampilan publik dan diberi label dengan peringatan, memungkinkan pengunggah untuk menambahkan detail yang hilang. Konten tersebut tidak akan dihapus tetapi akan tetap terlihat hanya bagi pembuatnya sampai diperbarui.
• Gambar yang dibuat menggunakan fitur Bring Your Own Image (BYOI) sekarang harus menerapkan perubahan noise minimal 50% selama generasi. Ini berarti AI harus memodifikasi gambar yang diunggah secara signifikan, mengurangi kemungkinan menghasilkan replika yang hampir persis. Namun, gambar yang dibuat sepenuhnya di CivitAI atau diremix dari konten CivitAI lainnya tidak tunduk pada aturan ini dan dapat menggunakan tingkat denoise apa pun, dari tidak ada perubahan (0,0) hingga transformasi penuh (1,0). Perubahan ini dimaksudkan untuk mengurangi penyalahgunaan alat BYOI, yang jika tidak dapat digunakan untuk menghasilkan deepfakes yang halus atau tidak terdeteksi dengan sedikit mengubah gambar nyata.
• Ketika menjelajahi dengan konten X atau XXX diaktifkan, pencarian untuk nama selebriti tidak akan mengembalikan hasil. Menggabungkan nama selebriti dengan konten dewasa tetap dilarang.
• Iklan tidak akan muncul pada gambar atau sumber daya yang dirancang untuk meniru penampilan orang-orang nyata.
• Tipping (Buzz) akan dinonaktifkan untuk gambar atau sumber daya yang menggambarkan orang-orang nyata.
• Model yang dirancang untuk meniru orang-orang nyata tidak akan memenuhi syarat untuk Akses Awal, fitur Civitai yang memungkinkan pembuat merilis konten terlebih dahulu kepada pendukung yang membayar. Ini membatasi monitisasi kesamaan selebriti atau orang-orang nyata.
• Pernyataan Kepatuhan 2257 telah ditambahkan untuk menjelaskan bahwa platform tidak mengizinkan konten non-AI yang dihasilkan. Ini membantu memastikan perlindungan hukum dengan mengaffirmasi bahwa semua materi eksplisit adalah sintetis dan tidak berdasarkan fotografi atau video nyata.
• Halaman Permintaan Penghapusan Konten baru memungkinkan siapa saja untuk melaporkan materi yang tidak pantas atau ilegal tanpa perlu masuk. Pengguna terdaftar harus terus menggunakan alat pelaporan bawaan pada setiap posting. Ini terpisah dari formulir yang ada untuk meminta penghapusan kesamaan dari platform.
• CivitAI telah memperkenalkan sistem moderasi baru melalui kemitraan dengan Clavata, yang alat analisis gambar outperform solusi sebelumnya seperti Amazon Rekognition dan Hive.

** Sejak Selasa, 20 Mei 2025 11:23:47 (mungkin telah terjadi sebelumnya), siaran langsung Twitch telah dihapus. Untuk memastikan saya dapat memverifikasi fakta yang dilaporkan dalam siaran, saya menyimpan salinannya.

* Meskipun disebutkan ‘estat’ Barbara Eden, aktris I Dream of Jeannie masih hidup, saat ini berusia 93 tahun.
^† Diarsipkan: https://archive.ph/tsMb0

Pertama kali dipublikasikan pada Kamis, 24 April 202. Direvisi pada Kamis, 24 April 2025 14:32:28: memperbaiki tanggal.
Direvisi pada Selasa, 20 Mei 2025 untuk mencerminkan penghapusan konten Twitch yang digunakan sebagai bahan referensi.