Reddit Verbiedt ‘SFW’ Deepfake Gemeenschap

Over het weekend, ogenschijnlijk rond zondag, heeft Reddit de nominale ‘SFW’ (Safe For Work) deepfakes gemeenschap met de titel r/deepfakesfw verboden. De subreddit was een van de eerste reacties op het sociale media giant’s prompt deletion van de originele, AI-porn-ridden r/deepfakes sub in 2018.

De (relatief) standaard legende die nu iedereen begroet die de sub bezoekt (archief snapshot genomen op maandag, 13 juni) verklaart dat het ‘werd verboden vanwege een schending van Reddit’s regels tegen onvrijwillige pornografie’.

De nieuwe voorpagina voor r/deepfakesfw.

De r/deepfakesfw sub werd niet vaak gearchiveerd door populaire conserveringsplatforms, maar de meest recente WayBack Machine snapshot, genomen rond tien dagen geleden (op 3 juni 2022), geeft aan dat de sub op dat moment 3.095 lezers had.

Dat is eigenlijk een hoger aantal abonnees dan r/DeepFakesSFW (let op de extra ‘s’), die momenteel 2.827 lezers heeft (archief snapshot genomen op maandag, 13 juni 2022). De meest populaire ‘legitieme’ SFW deepfakes gemeenschap lijkt momenteel r/SFWdeepfakes te zijn, die op het moment van schrijven 16.636 lezers heeft (snapshot genomen op maandag, 13 juni 2022).

Stel Geen Vragen

Wat er uiteindelijk toe leidde dat r/deepfakesfw werd verboden, was niet het plaatsen maar het verzoeken van deepfake pornografie. Reddit’s regels over Seksueel Expliciete Media verklaren:

‘[Afbeeldingen] of video van een andere persoon gepost voor het specifieke doel van het vervalsen van expliciete inhoud of het aanzoeken van “lookalike” pornografie (bijv. “deepfakes” of “bubble porn”) is ook in strijd met de Regels.’

Op basis van de laatste beschikbare RSS-feeds van de nu verboden SFW-sub, is het verzoeken in plaats van het plaatsen van NSFW deepfake-inhoud dat uiteindelijk tot de ban heeft geleid:

Enkele van de laatste, duidelijk NSFW-posts van de nu doodgestoken r/deepfakesfw subreddit. Source: Inoreader.

Hoewel de posts waar deze RSS-posts naar verwijzen niet meer beschikbaar zijn, blijkt uit het klikken op de profiellinks van de verzoekers (vervaagd in de bovenstaande afbeelding) dat veel van de posters verboden deepfake-inhoud aanvragen op meer dan één forum en ofwel vragen om of aanbieden van enkele van de meest extreme inhoud van dit type, waaronder incest-pornografie en verschillende soorten onvrijwillige pornografische thema’s.

Dit suggereert dat de overgebleven ‘SFW’ Reddit-subreddits overleven door de snelheid, ijver en snelle reactietijden van hun moderators, aangezien het lijkt dat Reddit niet bereid is om een soort ‘klassieke advertentie’ forum te worden voor mensen om in contact te komen en illegale deepfakes via DM’s (in gevallen waarin dit niet uitdrukkelijk in een post kan worden aangevraagd) te verhandelen.

Als dat zo is, dan kan de nog niet verboden r/DeepFakesSFW mogelijk op geleend tijd zitten; de twee huidige top-posts wanneer je de root-subreddit-URL invoert met de ‘oude’ Reddit-thema ingeschakeld, zijn specifiek gemarkeerd als ‘NSFW’ (een tag die eigenlijk niet beschikbaar zou moeten zijn in deze specifieke gemeenschap).

Afhankelijk van de omstandigheden, verschijnen sommige regelbrekende posts momenteel in de r/DeepFakesSFW-sub. Source: https://www.reddit.com/r/DeepFakesSFW/

U kunt deze twee NSFW-posts zien die momenteel bovenaan de r/DeepFakesSFW-forum staan, gearchiveerd hier (snapshot genomen op maandag, 13 juni 2022).

Er is eigenlijk geen NSFW-‘flair’ beschikbaar wanneer je een nieuwe post maakt op r/DeepFakesSFW, die al vier jaar operationeel is, volgens de informatie in de zijbalk:

Beschikbare ‘flairs’ bij het plaatsen van een post op r/DeepFakesSFW.

Daarom lijken de NSFW-tags op r/DeepFakesSFW te zijn toegepast door moderators van het forum of door hogere niveau admins – of zelfs algoritmes, mogelijk zonder enige tussenkomst of beschikbare oppositie van lokale moderators. Ik heb contact opgenomen met de enige genoemde moderator van r/DeepFakesSFW over dit onderwerp en zal eventuele beschikbare updates plaatsen.

(BIJGEWERKT, dinsdag, 14 juni 2022 – Een moderator van r/DeepFakesSFW heeft gereageerd en verklaard: ‘Het lijkt erop dat dit gebeurt wanneer het account van de gebruiker NSFW is’. Het enige manier om de kans op dergelijke verzoeken in SFW deepfake-subreddits te vertragen, zou dus zijn om gebruikers te verbannen die deze classificatie hebben ‘verdiend’.)

Het grootste deel van de inhoud op deze subreddit en op de grotere r/SFWdeepfakes gaat over het gebruik van deepfake-technologie om ‘her te casten’ acteurs uit populaire of klassieke films, of om op een andere manier onschuldige AI-gedreven plezier te hebben met populaire media en deepfake-technologie, en kwalificeren zich inderdaad als ‘SFW’.

Ondanks dat veel van dergelijke posts gevaarlijk dicht bij copyright-gedreven bans komen, suggereert het voortdurende overleven van ‘IP-geëxploiteerde’ non-porn deepfake video-posts door grote YouTube deepfakers zoals Ctrl-Shift-Face een brede studio- en rechthebbendertolerantie voor dergelijke activiteit, tenminste voorlopig.

De ‘Onschuldige’ Verschijning van het Deepfake Proces en Ecostructuur

Twee weken geleden kwam het aan het licht (en veel discussie) dat Google plotseling deepfake-creatie software had verboden van zijn populaire Colab-cloudverwerking omgevingen. Zelfs tot op de dag van vandaag lijkt Colab alleen te worden ‘geactiveerd’ door pogingen om DeepFaceLab (DFL) uit te voeren, de meest populaire deepfakes software in de wereld (en de meest geassocieerd met AI-porn), in plaats van minder gebruikte implementaties zoals FaceSwap, die beter bekend staat, hoewel het exact dezelfde taken uitvoert als DFL.

Tot op zekere hoogte kan deze aanpak de enige manier zijn geweest waarop Colab enige beperking had kunnen implementeren op de productie van deepfake pornografie, aangezien het daadwerkelijke deepfake-trainingsproces niets anders gebruikt dan open source software en sterk bewerkte gezichtsafbeeldingen (meestal op een kleine 512x512px, vaak minder), met bijna geen mogelijkheid voor beeldherkenningsalgoritmes om daadwerkelijke pornografische inhoud te onderscheppen.

Door de tijd dat het deepfake-model getraind is, heeft de deepfaker geen enorm verwerkingsvermogen van Colab of een duur lokale GPU meer nodig. De meeste daadwerkelijke conversies (d.w.z. het proces van het opnemen van een gezicht in een video, pornografisch of anderszins), kunnen lokaal worden uitgevoerd, op lage vermogen laptop-GPU’s – of zelfs op een CPU (met een iets langere verwerkingstijd). Tegen de tijd dat er iets pornografisch gebeurt in het deepfake-proces, is Colab allang uit beeld.

Daarom vertegenwoordigen de constituerende elementen die tussen deepfake-porn creatoren worden doorgegeven zelden meer dan een potentieel kleine copyright-inbreuk, in de vorm van het doorgeven van ‘gezichtssets’, die deepfake-creators hebben geëxtraheerd uit YouTube-video’s, Blu-rays, televisie-interviews, sociale media en verschillende andere bronnen.

Is een ‘Verbrande Aarde’ Beleid voor Deepfake Gemeenschappen onder Weg?

De vraag die de bewoners van deepfake Discord-gemeenschappen zoals DeepFaceLab (inclusief DeepFaceLive), FaceSwap, Machine Video Editor (MVE, een GUI-gebaseerde omgeving voor DFL, met veel extra functies), en nieuwe audio-gebaseerde deepfake Discord-servers zoals Audio Deepfakes is Zullen de huidige portal- en platformeigenaren binnenkort gewoon deepfake-gemeenschappen op principe verbannen, in plaats van de kosten van constante moderatie tegen een vloed van NSFW-aanhangers en creators te dragen?.

Bryan Lyon, een van de ontwikkelaars van FaceSwap en eigenaar van de bijbehorende Discord-server, verklaarde^†:

‘We zijn erin geslaagd om op Discord te blijven, ondanks meerdere zuiveringen, door absoluut onberispelijk te blijven. We hebben geen verborgen kanalen of een geheime tweede server met onwettige inhoud. Er was een zuivering van de populaire DeepFaceLab-server een paar jaar geleden. Iedereen op het kanaal werd verbannen. Ze hadden uitnodigingsrollen met toegang tot kanalen met niet-toegestane pornografie.’

Gezien het feit dat Google, een van ‘s werelds grootste technologische hostingbronnen, deepfake-training op zijn servers en GPU’s heeft verboden, is het zelfs mogelijk dat de door Microsoft bezitte GitHub kan besluiten dat het faciliteren van deze technologieën* uiteindelijk niet de moeite waard is vanwege de morele dubbelzinnigheid of investering in toezicht.

Op dit moment is het proces van het legitimeren van deepfake-technologieën zodat hun gebruik overgaat van zelfgemaakte porn naar film- en tv-productie, en niet-inbreukmakende/criminele toepassingen, te nieuw om duidelijke beleidsrichtlijnen voor platforms en community-hostingdiensten te produceren.

* Archief van https://github.com/search?q=deepfake van maandag, 13 juni 2022.
† In privé DM’s op Discord.

Eerst gepubliceerd op 13 juni 2022. Bewerkt 15:08 UTC voor afbeeldingswijziging.
Bewerkt op dinsdag, 14 juni 2022 06:24 UTC, om de reactie van de Reddit-moderator over de NSFW-status van sommige posters toe te voegen. Ook afbeeldingswijziging op RSS-feeds-illustratie.