Reddit Forbyr ‘SFW’ Deepfake-samfunn

Over helgen, tilsynelatende en gang rundt søndag, forbød Reddit det nominelt ‘SFW’ (Sikker for arbeid) deepfakes-samfunnet med tittelen r/deepfakesfw. Subreddit var en av de tidlige reaksjonene på det sosiale mediegigantens sletting av den opprinnelige, AI-porn-rikede r/deepfakes-sub i 2018.

Den (relativt) standard-legenden som nå hilser (arkiv-snapshot tatt mandag, 13. juni) alle som besøker sub-forumet forklarer at det ‘ble forbudt på grunn av en overtredelse av Reddits regler mot ufrivillig pornografi’.

Den nye forsiden for r/deepfakesfw.

Sub-forumet r/deepfakesfw ble ikke ofte arkivert av populære konserveringsplattformer, men den nyeste WayBack Machine-snapshot, tatt for omtrent ti dager siden (3. juni 2022), indikerer at sub-forumet hadde 3 095 lesere på det tidspunktet.

Dette er faktisk et høyere antall abonnenter enn r/DeepFakesSFW (merk ekstra ‘s’), som for øyeblikket har 2 827 lesere (arkiv-snapshot tatt mandag, 13. juni 2022). Det mest populære ‘legitime’ SFW-deepfakes-samfunnet synes å være r/SFWdeepfakes, som på skrivende tid har 16 636 lesere (snapshot tatt mandag, 13. juni 2022).

Ikkje Spør

Hva som åpenbart har dømt r/deepfakesfw var ikke innlegget, men forespørselen om deepfake-pornografi. Reddits regler for seksuelt eksplisitt innhold sier:

‘[Bilder] eller videoer av en annen person publisert for å fake eksplisitt innhold eller å forespørre “liknende” pornografi (f.eks. “deepfakes” eller “boble-porn”) er også mot regelen.’

Basert på den siste tilgjengelige RSS-feeden fra det nå forbudte SFW-sub-forumet, var det forespørselen og ikke innlegget av NSFW-deepfake-innhold som til slutt utløste forbudet:

Noen av de siste, åpenbart NSFW-innleggene fra det nå døde r/deepfakesfw-sub-forumet. Kilde: Inoreader.

Selv om innleggene som disse RSS-innleggene peker til ikke lenger er tilgjengelige, avslører klikking på forespørernes profil-lenker (uskarpt i bildet over) at mange av innleggerne forespør forbudt deepfake-innhold på flere enn ett forum, og enten ber om eller tilbyr noen av de mest ekstreme innholdene av denne typen, inkludert incest-pornografi og forskjellige skyggefulle pornografiske temaer.

Dette antyder at de gjenværende ‘SFW’ Reddit-sub-forumene overlever ved moderatorenes hastighet, flid og raske respons-tider, ettersom det ser ut til at Reddit ikke er villig til å bli en slags ‘klassifisert annonse’-forum for folk til å koble seg til og transaksjonere ulovlige deepfakes via privat meldinger (i tilfeller der dette ikke kan forespørres eksplisitt i et innlegg).

Hvis det er tilfelle, så kan det ikke-forbudte r/DeepFakesSFW kanskje leve på lånt tid; dens to nåværende topp-innlegg når man går inn på roten til subreddit med den ‘gamle’ Reddit-temaet aktivert, har blitt spesifikt merket ‘NSFW’ (en merking som antageligvis ikke burde være tilgjengelig i dette samfunnet).

Avhengig av omstendighetene, kan noen regel-brytende innlegg nå dukke opp i r/DeepFakesSFW-sub-forumet. Kilde: https://www.reddit.com/r/DeepFakesSFW/

Man kan se disse to NSFW-innleggene toppet i dagens r/DeepFakesSFW-forum arkivert her (snapshot tatt mandag, 13. juni 2022).

Det finnes faktisk ingen NSFW-‘flair’ tilgjengelig når man lager et nytt innlegg i r/DeepFakesSFW, som har vært i drift i fire år ifølge side-informasjonen:

Tilgjengelige ‘flair’ når man poster til r/DeepFakesSFW.

Derfor ser det ut til at NSFW-merkingene i r/DeepFakesSFW enten er blitt brukt av moderatorer i forumet eller av høyere-nivå-administratorene – eller kanskje selv algoritmer, muligens uten noen form for inngripen eller motstand fra lokale moderatorer. Jeg tok kontakt med den eneste listede moderator i r/DeepFakesSFW om dette, og vil publisere eventuelle oppdateringer.

(REDIGERT, tirsdag, 14. juni 2022 – En moderator i r/DeepFakesSFW har svart, og sa ‘Det ser ut til å skje når brukerens konto er NSFW’. Antageligvis er den eneste måten å redusere sannsynligheten for slike forespørsler i SFW-deepfake-sub-forum på å forby brukere som har ‘tjent’ denne klassifiseringen.)

Det meste av innholdet i dette subreddit, og i det større r/SFWdeepfakes, handler om å bruke deepfake-teknologi til å ‘gjenskape’ skuespillere fra populære eller klassiske filmer, eller ellers å ha mer harmløs AI-drevet moro med populær media og deepfake-teknologi, og kvalifiserer faktisk som ‘SFW’.

Selv om mange slike innlegg går tett på å være nær kopibeskyttelses-forbud, ser det ut til at det fortsatt er en bred studio- og rettighetshavers-toleranse mot slike aktiviteter, i alle fall for øyeblikket.

Den ‘Uskyldige’ Utseendet til Deepfake-prosessen og Økosystemet

For to uker siden ble det kjent (og mye diskusjon) at Google hadde plutselig forbudt deepfake-oppbygningsprogramvare fra sine populære Colab-skytjener-miljøer. Selv til dato ser det ut til at Colab bare er ‘utløst’ av forsøk på å kjøre DeepFaceLab (DFL), den mest populære deepfakes-programvaren i verden (og den som er mest nær assosiert med AI-porn), snarere enn mindre-frekventede implementeringer som FaceSwap, som er bedre-reputert, selv om det utfører eksakt de samme oppgavene som DFL.

Til en viss grad kan denne tilnærmingen ha vært den eneste måten Colab kunne ha implementert noe begrensning på produksjonen av deepfake-pornografi, ettersom den faktiske deepfake-trening-prosessen bruker bare åpen kilde-programvare og høyt beskåret ansikts-bilder (vanligvis bare 512x512px, ofte mindre), med nesten null mulighet for bilde-gjenkjenning-algoritmer å avlytte noen faktisk pornografisk innhold.

Da deepfake-modellen er trent, trenger deepfake-utvikleren ikke lenger den enorme prosesserings-kraften til Colab eller en dyr lokal GPU. De fleste faktiske konverteringer (dvs. prosessen med å påføre et ansikt i en video, pornografisk eller ikke), kan utføres lokalt, på lav-kraft-laptop-GPU-er – eller selv på en CPU (med en litt lengre prosesserings-tid). Da noe pornografisk skjer i deepfake-prosessen, har Colab lenge siden vært kuttet ut av bildet.

Derfor representerer de konstituerende elementene som passer mellom skapere av deepfake-porn sjeldent mer enn en potensiell mindre kopibeskyttelses-forbud, i form av ‘ansikt-samlinger’, som deepfake-utviklere har trukket fra YouTube-videor, Blu-rays, TV-intervjuer, sosiale medier og forskjellige andre kilder.

Kommer en ‘Ødelagt Jord’ Politikk for Deepfake-samfunn?

Spørsmålet som hjemsøker beboerne i deepfake-Discord-samfunn som DeepFaceLab (inkludert DeepFaceLive), FaceSwap, Machine Video Editor (MVE, et GUI-basert miljø for DFL, med mange tilføyde funksjoner), og nye audio-baserte deepfake-Discord-servere som Audio Deepfakes er Kommer nåværende portal- og plattformeiere snart å forby deepfake-samfunn på prinsippet, snarere enn å bære utgiftene med konstant moderering mot en flom av NSFW-tilhengere og skapere?

Bryan Lyon, en av utviklerne av FaceSwap, og eieren av prosjektets tilknyttede Discord-server, kommenterte^†:

‘Vi har klart å forbli på Discord, til tross for flere utrenninger, ved å forbli absolutt rene. Vi har ingen skjulte kanaler eller en hemmelig annen server med ulovlig innhold. Det var en utrenning av den populære DeepFaceLab-serveren for et par år siden. Alle på den fikk forbud. De hadde invitasjons-roller med tilgang til kanaler med ikke-samtykkende pornografi.’

Gitt at Google, selv en av verdens største teknologiske vertsmidler, har blanket-forbudt deepfake-trening på sine servere og GPU-er, er det mulig at Microsoft-eide GitHub kan bestemme at å fasilitere disse teknologiene* vil til slutt ikke være verdt den moralske tvetydigheten eller investeringen i tilsyn.

For øyeblikket er prosessen med å legitimere deepfake-teknologier så at deres bruk går over fra hjemmelagde porn til film- og TV-produksjon, og ikke-kriminelle/ulovlige bruksområder, for ny og uklar til å produsere klare retningslinjer for plattformer og samfunns-tjenester.

* Arkiv av https://github.com/search?q=deepfake fra mandag, 13. juni 2022.
† I private meldinger på Discord.

Først publisert 13. juni 2022. Redigert 15:08 UTC for bilde-endring.
Endret tirsdag, 14. juni 2022 06:24 UTC, for å legge til Reddits moderator-respons angående NSFW-status for noen poster. Også bilde-endring på RSS-feeds-illustrasjon.