Reddit Förbjuder ‘SFW’ Deepfake Community

Under helgen, tydligen någon gång på söndagen, förbjöd Reddit den så kallade ‘SFW’ (Säker för arbete) deepfakes communityn med titeln r/deepfakesfw. Subredditen var en av de tidiga reaktionerna på sociala mediejättens radering av den ursprungliga, AI-porr-fyllda r/deepfakes sub 2018.

Den (relativt) standardiserade legenden som nu möter (arkivsnapshot tagen måndag, 13 juni) alla som besöker sub förklarar att den ‘förbjöds på grund av brott mot Reddits regler mot ofrivillig pornografi’.

Den nya förstasidan för r/deepfakesfw.

Subredditen r/deepfakesfw var inte ofta arkiverad av populära bevarandeplattformar, men den senaste WayBack Machine-snapshoten, tagen för cirka tio dagar sedan (den 3 juni 2022), indikerar att subben hade 3 095 läsare vid den tidpunkten.

Detta är faktiskt ett högre antal prenumeranter än r/DeepFakesSFW (observera den extra ‘s’), som för närvarande har 2 827 läsare (arkivsnapshot tagen måndag, 13 juni 2022). Den mest populära ‘legitima’ SFW-deepfakes communityen verkar för närvarande vara r/SFWdeepfakes, som vid tidpunkten för skrivandet har 16 636 läsare (snapshot tagen måndag, 13 juni 2022).

Fråga Inte

Vad som tycks ha dömt r/deepfakesfw var inte inläggandet utan begäran av deepfake-porr. Reddits regler för Sexuellt Explicit Innehåll anger:

‘[Bilder] eller video av en annan person som publiceras i syfte att förfalska explicit innehåll eller uppmana till “liknande” porr (t.ex. “deepfakes” eller “bubble porn”) är också mot reglerna.’

Baserat på den senaste tillgängliga RSS-flödet från den nu förbjudna SFW-subben, var det begäran snarare än publicering av NSFW-deepfake-innehåll som utlöste förbudet:

Några av de sista, tydligt NSFW-inläggen från den nu döda r/deepfakesfw-subredditen. Källa: Inoreader.

Även om inläggen som dessa RSS-inlägg pekar på inte längre är tillgängliga, avslöjar klickande på begärande användarprofiler (suddade ut i bilden ovan) att många av inläggarna begär förbjudet deepfake-innehåll på flera forum och antingen ber om eller erbjuder något av det mest extrema innehållet av detta slag, inklusive incestporr och olika nyanser av ofrivilliga pornografiska teman.

Detta tyder på att de återstående ‘SFW’ Reddit-subben överlever tack vare moderatorernas snabbhet, noggrannhet och snabba svarstider, eftersom det verkar som att Reddit inte vill bli en slags ‘klassificerad annons’-plattform för människor att ansluta och transaktera olagliga deepfakes via DM (i fall där detta inte kan uttryckas explicit i ett inlägg).

Om så är fallet, kan den ännu inte förbjudna r/DeepFakesSFW leva på lånat liv; dess två nuvarande toppinlägg när man anger roten till subredditen med ‘old’ Reddit-temat aktiverat har specifikt markerats ‘NSFW’ (en tagg som inte borde ens vara tillgänglig i denna specifika community).

Beroende på omständigheterna kan vissa regelbrytande inlägg för närvarande visas i r/DeepFakesSFW-subben. Källa: https://www.reddit.com/r/DeepFakesSFW/

Man kan se dessa två NSFW-inlägg som toppar i dagens r/DeepFakesSFW-forum arkiverat här (snapshot tagen måndag, 13 juni 2022).

Det finns faktiskt ingen NSFW-‘flair’ tillgänglig när man skapar ett nytt inlägg i r/DeepFakesSFW, som har varit i drift i fyra år enligt dess sidoinformation:

Tillgängliga ‘flairs’ när man publicerar till r/DeepFakesSFW.

Därför verkar NSFW-taggarna i r/DeepFakesSFW ha antingen applicerats av moderatorer i forumet eller av högre nivå-administratörer – eller till och med algoritmer, möjligen utan något ingripande eller tillgängligt motstånd från lokala moderatorer. Jag kontaktade den enda listade moderatorn för r/DeepFakesSFW om detta och kommer att publicera eventuella tillgängliga uppdateringar.

(REDIGERA, tisdag, 14 juni 2022 – En moderator i r/DeepFakesSFW har svarat och sagt ‘Det verkar hända när användarens konto är NSFW’. Förmodligen är den enda vägen att bromsa sannolikheten för sådana förfrågningar i SFW-deepfake-subreddit att förbjuda användare som har ‘förtjänat’ denna klassificering.)

Det mesta av innehållet i denna subreddit, och i den större r/SFWdeepfakes, handlar om att använda deepfake-teknologi för att ‘omcasta’ skådespelare från populära eller klassiska filmer, eller på annat sätt ha mer oskyldigt AI-drivet roligt med populärmedia och deepfake-teknologi, och kvalificerar sig faktiskt som ‘SFW’.

Även om många sådana inlägg balanserar farligt nära upphovsrättsbaserade förbud, tyder den fortsatta överlevnaden av ‘IP- approprierade’ icke-pornografiska deepfake-videoinlägg av stora YouTube-deepfakers som Ctrl-Shift-Face på en bred studio- och rättighetsinnehavar-tolerans mot sådan verksamhet, åtminstone för tillfället.

Den ‘Oskuldsfulla’ Utseendet på Deepfake-processen och Ekosystemet

För två veckor sedan uppdagades det (och mycket diskussion) att Google plötsligt hade förbjudit deepfake-skapande programvara från sina populära Colab-molnbehandlingsmiljöer. Även idag verkar Colab bara ‘utlösa’ försök att köra DeepFaceLab (DFL), den mest populära deepfakes-programvaran i världen (och den som är mest associerad med AI-porr), snarare än mindre frekventa implementationer som FaceSwap, som har ett bättre rykte, trots att det utför exakt samma uppgifter som DFL.

Till viss del kan detta tillvägagångssätt ha varit det enda sättet som Colab kunde ha implementerat någon begränsning av produktionen av deepfake-porr, eftersom den faktiska deepfake-träningsprocessen använder ingenting annat än öppen källkodsprogramvara och högt beskurna ansiktsbilder (vanligtvis på bara 512x512px, ofta mindre), med nästan noll möjlighet för bildigenkänningsalgoritmer att avlyssna något faktiskt pornografiskt innehåll.

När deepfake-modellen är tränad behöver deepfaker inte längre den enorma bearbetningskraften i Colab eller en dyr lokal GPU. De flesta faktiska konverteringar (dvs. processen att införa ett ansikte i en video, pornografisk eller inte), kan utföras lokalt, på lågkraftiga laptop-GPU: er – eller till och med på en CPU (med en något längre bearbetningstid). När något pornografiskt händer i deepfake-processen har Colab redan varit borta från bilden.

Därför representerar de konstituerande elementen som passerar mellan skapare av deepfake-porr sällan mer än en potentiell mindre upphovsrättsbaserad överträdelse, i form av överföring av ‘ansiktssatser’, som deepfake-skapare har extraherat från YouTube-videor, Blu-rays, TV-intervjuer, sociala medier och olika andra källor.

Kommer en ‘Bränd Jords’ Policy för Deepfake-samhällen?

Frågan som hemsöker invånarna i deepfake-Discord-samhällen som DeepFaceLab (inklusive DeepFaceLive), FaceSwap, Machine Video Editor (MVE, en GUI-baserad miljö för DFL, med många tillagda funktioner), och nya ljudbaserade deepfake-Discord-servrar som Audio Deepfakes är Kommer nuvarande portal- och plattformsägare snart att förbjuda deepfake-samhällen på princip, snarare än att bära kostnaden för konstant moderering mot en flod av NSFW- anhängare och skapare?

Bryan Lyon, en av utvecklarna av FaceSwap och ägare av projektets associerade Discord-server, kommenterade^†:

‘Vi har lyckats stanna på Discord, trots flera utrensningar, genom att vara absolut rena. Vi har inga dolda kanaler eller en hemlig andra server med olagligt innehåll. Det var en utrensning av den populära DeepFaceLab-servern för ett par år sedan. Alla på den blev bannlysta. De hade inbjuden- endast roller med tillgång till kanaler med icke-samtyckande porr.’

Givet att Google, en av världens största tekniska värdresurser, har förbjudit deepfake-utbildning på sina servrar och GPU: er, är det till och med möjligt att Microsoft-ägda GitHub kan besluta att underlätta dessa teknologier* inte kommer att vara värt den moraliska tvetydigheten eller investeringen i tillsyn.

Vid denna tidpunkt är processen att legitimera deepfake-teknologier så att deras användning övergår från hemmagjord porr till film- och TV-produktion och icke-intrångs-/kriminella användningar, för ny för att producera tydliga riktlinjer för plattformar och community-värdtjänster.

* Arkiv av https://github.com/search?q=deepfake från måndag, 13 juni 2022.
† I privata DM på Discord.

Publicerad första gången 13 juni 2022. Redigerad 15:08 UTC för bildändring.
Ändrad tisdag, 14 juni 2022 06:24 UTC, för att lägga till Reddits moderators svar angående NSFW-status för vissa inlägg. Även bildändring på RSS-flödesillustration.