Reddit Melarang Komunitas Deepfake ‘SFW’

Di akhir pekan, tampaknya sekitar hari Minggu, Reddit melarang komunitas deepfakes yang dinamakan r/deepfakesfw. Subreddit ini adalah salah satu respons awal terhadap penghapusan komunitas deepfakes asli oleh raksasa media sosial pada tahun 2018.

Legenda yang relatif standar sekarang menyambut (snapshot arsip diambil pada hari Senin, 13 Juni) siapa pun yang mengunjungi sub ini menjelaskan bahwa itu ‘dilarang karena pelanggaran terhadap aturan Reddit tentang pornografi tidak sukarela’.

Halaman depan baru untuk r/deepfakesfw.

Subreddit r/deepfakesfw tidak sering diarsipkan oleh platform konservasi populer, tetapi snapshot WayBack Machine terbaru, diambil sekitar sepuluh hari yang lalu (pada 3 Juni 2022), menunjukkan bahwa sub ini memiliki 3.095 pembaca pada saat itu.

Itu sebenarnya merupakan jumlah pelanggan yang lebih tinggi daripada r/DeepFakesSFW (perhatikan tambahan ‘s’), yang saat ini memiliki 2.827 pembaca (snapshot arsip diambil pada hari Senin, 13 Juni 2022). Komunitas deepfakes ‘SFW’ yang paling populer tampaknya saat ini adalah r/SFWdeepfakes, yang pada saat penulisan memiliki 16.636 pembaca (snapshot diambil pada hari Senin, 13 Juni 2022).

Jangan Tanya Saja

Apa yang tampaknya telah menghukum r/deepfakesfw bukanlah posting, tetapi permintaan pornografi deepfake. Aturan Reddit tentang Media Eksplisit Seksual menyatakan:

‘[Gambar] atau video orang lain diposting untuk tujuan khusus membuat konten eksplisit atau meminta “pornografi lookalike” (misalnya “deepfakes” atau “pornografi gelembung”) juga melanggar Aturan.’

Berdasarkan umpan RSS terakhir dari sub SFW yang sekarang dilarang, tampaknya permintaan daripada posting konten deepfake NSFW yang akhirnya memicu larangan:

Beberapa posting terakhir dari subreddit r/deepfakesfw yang sekarang mati. Sumber: Inoreader.

Meskipun posting yang ditunjuk oleh umpan RSS ini tidak lagi tersedia, mengklik tautan profil pengguna yang meminta (yang diburamkan dalam gambar di atas) menunjukkan bahwa banyak pengguna meminta konten deepfake dilarang di lebih dari satu forum, dan baik meminta atau menawarkan beberapa konten paling ekstrem dari jenis ini, termasuk pornografi incest dan berbagai nuansa tema pornografi tidak sukarela.

Hal ini menunjukkan bahwa subreddit ‘SFW’ Reddit yang tersisa bertahan dengan kecepatan, ketekunan, dan waktu respons moderator yang cepat, karena tampaknya Reddit tidak mau menjadi semacam ‘forum iklan’ untuk orang-orang yang terhubung dan melakukan transaksi deepfake ilegal melalui DM (dalam kasus di mana ini tidak dapat diminta secara eksplisit dalam posting).

Jika demikian, maka r/DeepFakesSFW yang belum dilarang mungkin hidup dengan waktu yang dipinjam; dua posting teratas saat ini ketika memasuki URL subreddit root dengan tema ‘old’ Reddit diaktifkan telah secara khusus ditandai ‘NSFW’ (tag yang seharusnya tidak tersedia di komunitas ini).

Tergantung pada keadaan, beberapa posting yang melanggar aturan saat ini muncul di sub r/DeepFakesSFW. Sumber: https://www.reddit.com/r/DeepFakesSFW/

Anda dapat melihat dua posting NSFW ini di atas forum r/DeepFakesSFW yang diarsipkan di sini (snapshot diambil pada hari Senin, 13 Juni 2022).

Tidak ada tag ‘NSFW’ yang tersedia saat membuat posting baru di r/DeepFakesSFW, yang telah beroperasi selama empat tahun, menurut informasi sidebar:

Tag yang tersedia saat posting ke r/DeepFakesSFW.

Oleh karena itu, tag NSFW di r/DeepFakesSFW tampaknya telah diterapkan oleh moderator forum atau oleh admin tingkat lebih tinggi – atau bahkan algoritma, mungkin tanpa intervensi atau oposisi oleh moderator lokal. Saya menghubungi moderator tunggal yang terdaftar di r/DeepFakesSFW tentang hal ini, dan akan memposting pembaruan yang tersedia.

(EDIT, Selasa, 14 Juni 2022 – Seorang moderator di r/DeepFakesSFW telah merespons, menyatakan ‘Sepertinya terjadi ketika akun pengguna adalah NSFW’. Presumably, satu-satunya cara untuk memperlambat kemungkinan permintaan seperti itu di subreddit deepfake SFW akan dengan melarang pengguna yang telah ‘menghasilkan’ klasifikasi ini.)

Sebagian besar konten di subreddit ini, dan di subreddit r/SFWdeepfakes yang lebih besar, berkaitan dengan menggunakan teknologi deepfake untuk ‘menggantikan’ aktor dari film populer atau klasik, atau untuk memiliki sedikit kesenangan yang tidak berbahaya dengan media populer dan teknologi deepfake, dan memang memenuhi syarat sebagai ‘SFW’.

Penampilan ‘Tidak Bersalah’ dari Proses dan Ekosistem Deepfake

Dua minggu yang lalu, terungkap (dan banyak diskusi) bahwa Google telah tiba-tiba melarang perangkat lunak pembuatan deepfake dari lingkungan pengolahan awan Colab. Bahkan hingga saat ini, Colab tampaknya hanya ‘dipicu’ oleh upaya untuk menjalankan DeepFaceLab (DFL), perangkat lunak deepfake paling populer di dunia (dan yang paling terkait dengan pornografi AI), bukan implementasi yang kurang sering seperti FaceSwap, yang memiliki reputasi yang lebih baik, meskipun melakukan tugas yang sama dengan DFL.

Sampai batas tertentu, pendekatan ini mungkin merupakan satu-satunya cara bagi Colab untuk mengimplementasikan batasan pada produksi pornografi deepfake, karena proses pelatihan deepfake sebenarnya menggunakan perangkat lunak sumber terbuka dan gambar wajah yang dipotong (biasanya dengan ukuran 512x512px, sering kali lebih kecil), dengan kemungkinan hampir nol bagi algoritma pengenalan gambar untuk menangkap konten pornografi yang sebenarnya.

Saat model deepfake dilatih, pembuat deepfake tidak lagi memerlukan daya pengolahan besar dari Colab atau GPU lokal yang mahal. Sebagian besar konversi (yaitu proses menerapkan wajah ke dalam video, pornografi atau tidak), dapat dilakukan secara lokal, pada GPU laptop yang kurang kuat – atau bahkan pada CPU (dengan waktu pengolahan yang sedikit lebih lama). Saat konten pornografi deepfake sebenarnya terjadi, Colab telah lama keluar dari gambar.

Apakah Kebijakan ‘Bumi Hangus’ Akan Datang untuk Komunitas Deepfake?

Pertanyaan yang menghantui penghuni komunitas deepfake Discord seperti DeepFaceLab (termasuk DeepFaceLive), FaceSwap, Machine Video Editor (MVE, lingkungan berbasis GUI untuk DFL, dengan banyak fitur tambahan), dan server Discord audio deepfake baru seperti Audio Deepfakes adalah Apakah pemilik portal dan platform saat ini akan segera melarang komunitas deepfake atas dasar, bukan karena biaya moderasi konstan melawan arus NSFW pengikut dan pembuat?

Bryan Lyon, salah satu pengembang FaceSwap, dan pemilik server Discord proyek, mengomentari^†:

‘Kami telah berhasil tetap berada di Discord, meskipun beberapa pembersihan, dengan tetap sangat bersih. Kami tidak memiliki saluran tersembunyi atau server kedua dengan konten ilegal. Ada pembersihan server DeepFaceLab yang populer beberapa tahun yang lalu. Semua orang di dalamnya diblokir. Mereka memiliki peran undangan dengan akses ke saluran dengan pornografi tidak sukarela.’

Mengingat Google, salah satu sumber daya teknologi terbesar di dunia, telah melarang pelatihan deepfake di server dan GPU-nya, juga memungkinkan bahwa GitHub yang dimiliki Microsoft mungkin memutuskan bahwa memfasilitasi teknologi ini* akan akhirnya tidak sepadan dengan ambiguitas moral atau investasi pengawasan.

Saat ini, proses memvalidasi teknologi deepfake sehingga penggunaannya beralih dari pornografi buatan rumah ke produksi film dan TV, dan penggunaan non-infringing/kriminal, masih terlalu awal untuk menghasilkan pedoman kebijakan yang jelas untuk platform dan layanan hosting komunitas.

* Arsip dari https://github.com/search?q=deepfake pada hari Senin, 13 Juni 2022.
† Dalam DM pribadi di Discord.

Dipublikasikan pertama kali pada 13 Juni 2022. Diedit pukul 15:08 UTC untuk perubahan gambar.
Direvisi pada hari Selasa, 14 Juni 2022 pukul 06:24 UTC, untuk menambahkan respons moderator Reddit tentang status NSFW beberapa poster. Juga perubahan gambar pada ilustrasi umpan RSS.