Connect with us

Sudut Anderson

CivitAI Mengencangkan Aturan Deepfake di Bawah Tekanan dari Mastercard dan Visa

mm
ChatGPT-4o + Firefly

CivitAI, mungkin repositori model AI paling populer di internet, telah akhirnya mengakui tekanan dari fasilitator pembayaran MasterCard dan Visa untuk merevisi kebijakan mereka tentang konten NSFW – dan khususnya TOS mereka mengenai LoRAs selebriti, salah satu aliran konten pengguna yang paling populer di situs, yang memungkinkan orang untuk menggunakan model pendukung yang dapat diunduh secara gratis seperti LoRAs untuk membuat gambaran AI (termasuk gambaran video) dari orang-orang terkenal.

Klik untuk memutar. Meskipun Civit tidak menyediakan angka pasti (dan pelabelan yang salah/miskategorisasi tidak biasa, yang kemungkinan akan mempengaruhi angka-angka), jumlah model AI selebriti, terutama LoRAs, jelas berada di ratusan atau bahkan ribuan, dan jelas didominasi oleh subjek perempuan. Source: civitai.com

Jelas beroperasi di bawah tekanan dalam Twitch live-stream** atas nama perusahaan, Manajer Pengembangan Masyarakat Alasdair Nicoll, sendiri seorang pembuat model (SFW) di Civit, mengakui bahwa perubahan telah dipaksakan pada situs oleh kekhawatiran prosesor pembayaran mereka tentang konten dewasa, dan penggambaran orang-orang nyata. Ia juga mengakui kemungkinan bahwa kekuatan utama di balik prosesor ini, Visa dan MasterCard, kemungkinan akan menuntut perubahan lebih lanjut:

‘Perubahan ini tidak kita inginkan. Ini berkaitan dengan legislasi baru dan akan datang. Ada hukum deepfake di luar sana, ada hukum AI porn… prosesor pembayaran, dan akhirnya Visa dan MasterCard merasa terancam; mereka tidak ingin digugat, dan mereka akhirnya mengarahkan perubahan ini.

‘Beberapa opsi lain yang kita dapatkan adalah menghapus konten tidak aman untuk dilihat secara keseluruhan; menghapus konten x dan triple-x dari CivitAI dan ke platform baru, dan kemudian memblokir platform itu, karena lebih dari setengah negara bagian AS mengharuskan beberapa bentuk pemblokiran pornografi, [serta] banyak negara Asia dan Inggris…

‘Opsi ketiga adalah menggunakan crypto, pembayaran crypto saja… jadi tidak ada pilihan yang baik untuk ini.’

Domain Civit telah turun secara berkala untuk revisi selama beberapa hari terakhir, tampaknya untuk menerapkan perubahan. Meskipun situs sudah melarang penggunaan tema NSFW dalam gambaran selebriti LoRA/model, sekarang mustahil untuk menjelajahi bagian model Civit dan melihat pratinjau LoRA selebriti berdampingan dengan jumlah besar model NSFW generik yang dirancang untuk menghasilkan konten dewasa.

Pengumuman resmi menyatakan:

‘Konten yang diberi label dengan nama orang nyata (seperti “Tom Cruise”) atau diberi label sebagai sumber daya POI (orang nyata) akan disembunyikan dari umpan.’

Dalam sesi Twitch, Nicoll mengungkapkan detail lebih lanjut tentang langkah-langkah yang dirancang untuk melindungi tokoh terkenal dan orang-orang nyata. Civit telah selalu memungkinkan orang-orang nyata untuk meminta agar model AI yang menggambarkan mereka dihapus, tetapi sekarang Nicoll mengisyaratkan sistem yang dapat mencegah gambar seperti itu diunggah kembali setelah penolakan awal, dengan fasilitas untuk mengidentifikasi ‘orang yang dilindungi’ bahkan dalam gambar yang sistem belum pernah lihat sebelumnya.

Untuk tujuan ini, situs sekarang bermitra dengan sistem moderasi AI Clavata – meskipun sejauh mana Clavata akan memungkinkan fasilitas baru ini belum jelas.

Nicoll mengatakan:

‘Tom Hanks telah mengklaim kesamaan dari kami, misalnya. Banyak aktris dewasa telah; banyak aktor dan aktris A-list telah…

‘Saya pikir yang pertama kali kita lakukan adalah Barbara Eden, warisannya* – dia adalah salah satu yang pertama untuk mengklaim kesamaannya, yang agak lucu, karena dia sudah tua.’

Dilindungi Secara Default?

Selama beberapa tahun terakhir, perusahaan VFX AI Metaphysic (pengakuan penuh: saya bekerja untuk Metaphysic.ai dari awal 2022 hingga akhir 2024) mencoba membuat sistem proprietary yang akan memungkinkan siapa saja untuk mendaftarkan kesamaan mereka, meskipun terutama ditujukan untuk nama-nama Hollywood yang khawatir tentang pencurian identitas berbasis AI, dengan dukungan dari aktor seperti Anne Hathaway, Octavia Spencer, dan Tom Hanks (dengan siapa perusahaan bekerja sama dalam film Robert Zemeckis Here [2024]).

Secara logis, utilitas sistem ini akan selalu bergantung pada hukum kasus; berdasarkan langkah-langkah yang sekarang diambil Civit, layanan berlangganan yang diusulkan oleh Metaphysic dapat menjadi tidak perlu mengingat pertumbuhan hukum deepfake yang cepat, dan perlindungan potensial (gratis) di bawah hukum umum. Tidak jelas saat ini apakah penawaran Metaphysic Pro akan dipindahkan ke perusahaan VFX Double Negative, yang memperoleh aset Metaphysic tahun lalu.

Dalam hal apapun, tampaknya hukum global dan tekanan pasar lebih mungkin untuk menyediakan perlindungan dan solusi, bukan solusi komersial seperti ini.

Merebus Katak

Laporan 2023 oleh 404 Media mengarahkan perhatian pada kecenderungan model AI selebriti dan pornografi di Civit, meskipun pendiri situs Justin Maier mengabaikan hubungan antara kesamaan selebriti yang disumbangkan pengguna dan penggunaannya dalam menghasilkan materi pornografi.

Meskipun Civit menghasilkan uang dengan memfasilitasi penggunaan LoRAs dan model lain yang disediakan pengguna di situs, Nicoll jelas bahwa ini bukanlah kekhawatiran utama yang mendorong Visa dan MasterCard untuk menentukan perubahan pada situs, agar situs dapat terus dimonetisasi:

‘Beberapa orang mengatakan bahwa alasan kita berada dalam kesulitan ini adalah karena kita mengizinkan generasi. Itu tidak masuk akal. Penyimpanan model ini, penyimpanan konten ini, sudah cukup untuk menarik perhatian Sauron.’

Thread komentar komunitas telah memuji selama beberapa tahun bahwa Civit telah diizinkan untuk menyimpan kesamaan selebriti. Sadar akan kemungkinan, mungkin kepastian penindakan, beberapa inisiatif untuk melestarikan LoRAs yang dihapus oleh Civit atau oleh pengunggahnya, telah diusulkan atau dilaksanakan, termasuk (sampai sekarang) subreddit r/CivitaiArchives yang agak diabaikan.

Meskipun banyak yang telah menyarankan bahwa inisiatif berbasis torrent adalah solusi alami, tidak ada domain yang diikuti yang tampaknya telah muncul – dan dalam hal apapun, ini tampaknya akan memindahkan aktivitas yang dilarang di Civit dan tempat lain ke pinggiran luar internet; ke taman yang terisolasi; dan, paling mungkin, ke dark net, karena sebagian besar kerangka kerja yang dapat menampung LoRAs yang dilarang (seperti Reddit dan Discord) baik sudah melarang konten seperti itu atau tampaknya akan melarangnya segera.

Saat ini, LoRAs selebriti masih dapat dilihat dengan beberapa batasan di Civit, meskipun sebagian besar konten yang dihasilkan telah dihapus dari daftar dan akan dikecualikan dari penemuan kasual. Apa yang tampaknya mungkin, salah satu komentator yang mengusulkan kepada Nicoll dalam sesi Twitch, adalah bahwa penindakan akan memperdalam (mungkin sampai melarang semua kesamaan orang nyata dalam model atau gambaran yang diunggah).

Nicoll menjawab:

‘”Mereka tidak akan berhenti di sini, mereka akan terus menuntut lebih dan lebih” – absolut! Ya, absolut. Itu hanya dunia yang kita tinggali. Satu-satunya harapan adalah bahwa kita menjadi cukup besar dan kuat sehingga kita akan memiliki sedikit lebih banyak pengaruh dalam apa yang diktakan kepada kita […]

Putus asa dari alternatif yang ditawarkan kepada Civit, Nicoll menambahkan:

‘[…] Tidak ada yang akan membeli Bitcoin untuk [menggunakan] generator CivitAI. Jadi kita telah mencoba membuat ini semudah mungkin, dan ini adalah apa yang kita dapatkan. Jadi, saya mohon maaf jika ini adalah sesuatu yang tidak dapat Anda terima, tetapi sayangnya ini adalah apa adanya. Kita telah mencoba yang terbaik, kita telah melawan sebanyak mungkin, tetapi akhirnya kita diberitahu bahwa ini adalah itu – Anda harus melakukan ini atau itu akan menjadi akhir […]’

‘[…] Lembaga keuangan ini, mereka tidak mengerti apa yang orang lakukan di sini dengan itu. Kita telah mencoba memberitahu mereka, kita telah mencoba berbicara dengan mereka, tetapi kita hampir merupakan benteng terakhir dari [konten NSFW].

Nicoll mengatakan bahwa Civit telah menghubungi ‘setiap prosesor pembayaran yang dapat dibayangkan:

‘Bahkan prosesor pembayaran berisiko tinggi yang digunakan situs pornografi, dan mereka semua sangat sangat waspada terhadap konten AI. Itu adalah masalahnya – konten AI. Jika kita adalah situs pornografi tradisional, kita akan baik-baik saja, tetapi konten AI adalah apa yang mereka takuti.’

Ke Mana Selanjutnya?

Sebelum pengumuman ini, Civit telah diamati menghapus unggahan yang dilindungi oleh beberapa kategori dan jenis konten yang sekarang dilarang. Pada saat penulisan, ‘repo darurat’ untuk Wan 2.1 LoRAs telah didirikan di situs Hugging Face. Meskipun beberapa LoRAs yang diarsipkan di sana dirancang untuk memfasilitasi kegiatan seksual umum yang sedikit dilatih atau tidak ada dalam model video baru seperti Wan 2.1, beberapa di antaranya jatuh di bawah kategori ‘undress’ yang sekarang dilarang secara ketat (yaitu, ‘nudifying’), termasuk beberapa model yang dapat dianggap ‘ekstrem’ atau potensial ofensif.

Subreddit r/datahoarders, yang telah berada di garis depan melestarikan literatur online pemerintah AS di bawah kampanye penghapusan massal Donald Trump, telah menunjukkan penghinaan terhadap gagasan menyelamatkan konten CivitAI yang hilang.

Saat ini, LoRAs selebriti masih dapat dilihat dengan beberapa batasan di Civit, meskipun sebagian besar konten yang dihasilkan telah dihapus dari daftar dan akan dikecualikan dari penemuan kasual. Apa yang tampaknya mungkin, salah satu komentator yang mengusulkan kepada Nicoll dalam sesi Twitch, adalah bahwa penindakan akan memperdalam (mungkin sampai melarang semua kesamaan orang nyata dalam model atau gambaran yang diunggah).

Nicoll menjawab:

‘”Mereka tidak akan berhenti di sini, mereka akan terus menuntut lebih dan lebih” – absolut! Ya, absolut. Itu hanya dunia yang kita tinggali. Satu-satunya harapan adalah bahwa kita menjadi cukup besar dan kuat sehingga kita akan memiliki sedikit lebih banyak pengaruh dalam apa yang diktakan kepada kita […]

Metadata Wajib

Salah satu perubahan menarik yang tampaknya diminta oleh prosesor pembayaran, menurut Nicoll, adalah bahwa semua gambar di situs sekarang harus berisi metadata. Ketika gambar atau video dihasilkan oleh model generatif dalam alur kerja khas di platform seperti ComfyUI, output umumnya berisi metadata yang mencantumkan model yang digunakan (hash serta namanya, sehingga jika model dinamai ulang oleh pengguna, provenansnya tetap jelas) dan beberapa pengaturan lain.

Karena titik data tersembunyi ini tentang bagaimana gambar itu dibuat, pengguna dapat menarik video atau gambar yang dibuat oleh orang lain ke dalam alur kerja ComfyUI mereka sendiri dan merekayasa kembali seluruh alur, dan mengatasi ketergantungan yang hilang (seperti model atau komponen yang pembuat asli miliki, yang kemudian pengguna harus mencari dan mengunduh).

Setiap gambar atau video generasi yang kekurangan data ini akan, Civit telah mengumumkan, dihapus dalam waktu tiga puluh hari. Pengguna dapat menambahkan data tersebut secara manual, dengan mengetiknya di situs web Civit itu sendiri.

Karena nilai metadata adalah (presumably) bukti, ketentuan ini tampaknya agak tidak berguna; sangat mudah untuk menyalin dan menempelkan metadata dari satu file ke file lain, dan penemuan metadata ad hoc melalui formulir web membuat aturan baru ini sedikit membingungkan.

Meskipun demikian, beberapa pengguna (termasuk satu yang mengomentari dalam sesi Twitch) memiliki ribuan gambar yang diunggah di Civit. Satu-satunya pilihan mereka sekarang adalah mengannotate secara manual setiap gambar, atau menghapus dan mengunggah kembali versi gambar dengan metadata tambahan – yang akan menghapus ‘suka’ atau ‘buzz’ atau percakapan yang dihasilkan oleh gambar asli.

Aturan Baru

Berikut adalah perubahan yang diringkas yang berlaku di Civit dari hari ini:

  • Konten yang diberi label dengan nama orang nyata atau diidentifikasi sebagai sumber daya orang nyata tidak akan lagi muncul di umpan publik.
  • Konten dengan tema anak/bawah umur akan disaring dari umpan.
  • Konten dengan peringkat X dan XXX yang tidak memiliki metadata generasi akan disembunyikan dari tampilan publik dan diberi label dengan peringatan, memungkinkan pengunggah untuk menambahkan detail yang hilang. Konten seperti itu tidak akan dihapus tetapi akan tetap terlihat hanya untuk pembuatnya sampai diperbarui.
  • Gambar yang dibuat menggunakan fitur Bring Your Own Image (BYOI) sekarang harus menerapkan perubahan noise minimal 50% selama generasi. Ini berarti AI harus memodifikasi gambar yang diunggah secara signifikan, mengurangi kemungkinan menghasilkan replika yang hampir identik. Namun, gambar yang dibuat sepenuhnya di CivitAI atau diremix dari konten CivitAI lainnya tidak tunduk pada aturan ini dan masih dapat menggunakan tingkat denoise apa pun, dari tidak ada perubahan (0,0) hingga transformasi penuh (1,0). Perubahan ini dimaksudkan untuk mengurangi penyalahgunaan alat BYOI, yang jika tidak akan dapat digunakan untuk menghasilkan deepfakes yang halus atau tidak terdeteksi dengan sedikit mengubah gambar nyata.
  • Ketika menjelajahi dengan konten X atau XXX diaktifkan, pencarian untuk nama selebriti tidak akan mengembalikan hasil. Menggabungkan nama selebriti dengan konten dewasa tetap dilarang.
  • Iklan tidak akan muncul pada gambar atau sumber daya yang dirancang untuk meniru penampilan orang nyata.
  • Tipping (Buzz) akan dinonaktifkan untuk gambar atau sumber daya yang menggambarkan orang nyata.
  • Model yang dirancang untuk meniru orang nyata tidak akan memenuhi syarat untuk Akses Awal, fitur Civitai yang memungkinkan pembuat untuk merilis konten terlebih dahulu kepada pendukung yang membayar. Ini membatasi monitisasi kesamaan selebriti atau orang nyata.
  • Pernyataan Kepatuhan 2257 telah ditambahkan untuk menjelaskan bahwa platform tidak mengizinkan konten non-AI yang dihasilkan. Ini membantu memastikan perlindungan hukum dengan mengaffirmasi bahwa semua materi eksplisit adalah sintetis dan tidak didasarkan pada fotografi atau video nyata.
  • Halaman Permintaan Penghapusan Konten baru memungkinkan siapa saja untuk melaporkan materi yang menyalahgunakan atau ilegal tanpa perlu masuk. Pengguna terdaftar harus terus menggunakan alat pelaporan bawaan pada setiap posting. Ini terpisah dari formulir yang ada untuk meminta penghapusan kesamaan dari platform.
  • CivitAI telah memperkenalkan sistem moderasi baru melalui kemitraan dengan Clavata, yang alat analisis gambar outperformed solusi sebelumnya seperti Amazon Rekognition dan Hive.

** Sejak Selasa, 20 Mei 2025 11:23:47 (mungkin telah terjadi sebelumnya), siaran langsung Twitch telah dihapus. Untuk memastikan saya bisa memverifikasi fakta yang dilaporkan dalam siaran, saya menyimpan salinannya.

* Meskipun disebutkan ‘warisan’ Barbara Eden, aktris I Dream of Jeannie masih hidup, saat ini berusia 93.
Diarsipkan: https://archive.ph/tsMb0

Pertama kali diterbitkan Kamis, 24 April 202. Direvisi Kamis, 24 April 2025 14:32:28: memperbaiki tanggal.
Dimodifikasi Selasa, 20 Mei 2025 untuk mencerminkan penghapusan konten Twitch yang digunakan sebagai bahan referensi.

Penulis tentang machine learning, spesialis domain dalam sintesis gambar manusia. Mantan kepala konten penelitian di Metaphysic.ai.