Reddit Verbiedt ‘SFW’ Deepfake Gemeenschap

Over het weekend, ogenschijnlijk rond zondag, heeft Reddit de genaamd ‘SFW’ (Safe For Work) deepfakes gemeenschap met de titel r/deepfakesfw verboden. De subreddit was een van de eerste reacties op het sociale media giant’s prompt verwijdering van de oorspronkelijke, AI-porn-ridden r/deepfakes sub in 2018.

Het (relatief) standaard legende dat nu iedereen die de sub bezoekt, begroet (archief snapshot genomen op maandag, 13 juni) verklaart dat het ‘wegens een schending van Reddit’s regels tegen onvrijwillige pornografie’ is verboden.

De nieuwe voorpagina voor r/deepfakesfw.

De r/deepfakesfw sub werd niet vaak gearchiveerd door populaire conserveringsplatforms, maar de meest recente WayBack Machine snapshot, genomen ongeveer tien dagen geleden (op 3 juni 2022), geeft aan dat de sub op dat moment 3.095 lezers had.

Dat is eigenlijk een hoger aantal abonnees dan r/DeepFakesSFW (let op de extra ‘s’), die momenteel 2.827 lezers heeft (archief snapshot genomen op maandag, 13 juni 2022). De meest populaire ‘legitieme’ SFW deepfakes gemeenschap lijkt momenteel r/SFWdeepfakes te zijn, die op het moment van schrijven 16.636 lezers heeft (snapshot genomen op maandag, 13 juni 2022).

Stel Het Niet Zelf

Wat ogenschijnlijk de ondergang van r/deepfakesfw heeft veroorzaakt, was niet het plaatsen maar het verzoeken van deepfake pornografie. Reddit’s regels over Seksueel Expliciete Media verklaren:

‘[Afbeeldingen] of video van een andere persoon gepost voor het specifieke doel van het vervalsen van expliciete inhoud of het aanzoeken van “lookalike” pornografie (bijv. “deepfakes” of “bubble porn”) is ook tegen de Regels.’

Op basis van de laatste beschikbare RSS-feeds van de nu verboden SFW-sub, is het verzoeken in plaats van het plaatsen van NSFW deepfake-inhoud dat uiteindelijk de ban heeft uitgelokt:

Sommige van de laatste, duidelijk NSFW posts van de nu dode r/deepfakesfw subreddit. Bron: Inoreader.

Hoewel de posts waar deze RSS-feeds naar verwijzen niet meer beschikbaar zijn, blijkt uit het aanklikken van de profiellinks van de verzoekers (vervaagd in de bovenstaande afbeelding) dat veel van de posters verboden deepfake-inhoud aanvragen op meer dan één forum en ofwel vragen om of aanbieden van enkele van de meest extreme inhoud van dit type, waaronder incest-pornografie en verschillende soorten onvrijwillige pornografische thema’s.

Dit suggereert dat de overgebleven ‘SFW’ Reddit-subreddits overleven door de snelheid, ijver en snelle reactietijden van hun moderators, aangezien het lijkt dat Reddit niet bereid is om een soort ‘klassiek advertentie’ forum te worden voor mensen om in contact te komen en illegale deepfakes via DM’s te verhandelen (in gevallen waarin dit niet expliciet in een post kan worden aangevraagd).

Als dat zo is, dan leeft de nog niet verboden r/DeepFakesSFW mogelijk op geleend tijd; de twee huidige top-posts wanneer je de root-subreddit-URL invoert met de ‘oude’ Reddit-thema ingeschakeld, zijn specifiek gemarkeerd als ‘NSFW’ (een tag die eigenlijk niet beschikbaar zou moeten zijn in deze specifieke gemeenschap).

Afhankelijk van de omstandigheden verschijnen sommige regelbrekende posts momenteel in de r/DeepFakesSFW-sub. Bron: https://www.reddit.com/r/DeepFakesSFW/

Je kunt deze twee NSFW-posts zien die de r/DeepFakesSFW-forum van vandaag toppen, gearchiveerd hier (snapshot genomen op maandag, 13 juni 2022).

Er is eigenlijk geen NSFW-‘flair’ beschikbaar wanneer je een nieuwe post maakt in r/DeepFakesSFW, die al vier jaar operationeel is, volgens de informatie in de zijbalk:

Beschikbare ‘flairs’ bij het posten naar r/DeepFakesSFW.

Derhalve lijken de NSFW tags in r/DeepFakesSFW te zijn toegepast door moderators van het forum of door hogere admins – of zelfs algoritmes, mogelijk zonder enige tussenkomst of beschikbare oppositie van lokale moderators. Ik heb contact opgenomen met de enige genoemde moderator van r/DeepFakesSFW hierover en zal eventuele beschikbare updates plaatsen.

(BIJGEWERKT, dinsdag 14 juni 2022 – Een moderator van r/DeepFakesSFW heeft gereageerd en verklaard: ‘Het lijkt te gebeuren wanneer het account van de gebruiker NSFW is’. Het enige wat de kans op dergelijke verzoeken in SFW deepfake-subreddits zou kunnen vertragen, is dus het verbannen van gebruikers die deze classificatie hebben ‘verdiend’.)

De meeste inhoud in deze subreddit, en in de grotere r/SFWdeepfakes, gaat over het gebruik van deepfake-technologie om ‘hercasting’ van acteurs uit populaire of klassieke films te doen, of om op een andere manier onschuldige AI-gedreven plezier te hebben met populaire media en deepfake-technologie, en kwalificeren inderdaad als ‘SFW’.

Ondanks dat veel van dergelijke posts gevaarlijk dicht bij copyright-gedreven verboden komen, suggereert de voortdurende overleving van ‘IP-geëxploiteerde’ non-porn deepfake-video-posts door grote YouTube-deepfakers zoals Ctrl-Shift-Face een brede studio- en rechthebbenden-tolerantie jegens dergelijke activiteiten, althans voorlopig.

De ‘Onschuldige’ Verschijning van het Deepfake-proces en Ecostructuur

Twee weken geleden kwam het aan het licht (en veel bespreking) dat Google plotseling deepfake-creatie-software had verboden in zijn populaire Colab-cloudverwerkingomgevingen. Zelfs tot op de dag van vandaag lijkt Colab alleen te worden ‘geactiveerd’ door pogingen om DeepFaceLab (DFL) uit te voeren, de meest populaire deepfakes-software ter wereld (en de meest geassocieerd met AI-porn), in plaats van minder gebruikte implementaties zoals FaceSwap, die beter bekend staat, hoewel het exact dezelfde taken uitvoert als DFL.

In zekere zin kan deze aanpak de enige manier zijn geweest waarop Colab enige beperking had kunnen opleggen aan de productie van deepfake-pornografie, aangezien het daadwerkelijke deepfake-trainingsproces niets anders gebruikt dan open source-software en zeer gekruiste gezichtsafbeeldingen (meestal met een resolutie van slechts 512x512px, vaak minder), met bijna geen mogelijkheid voor afbeeldingsherkenning algoritmes om daadwerkelijke pornografische inhoud te onderscheppen.

Door de tijd dat het deepfake-model getraind is, heeft de deepfaker de enorme verwerkingskracht van Colab of een dure lokale GPU niet meer nodig. De meeste daadwerkelijke conversies (d.w.z. het proces van het in een video implanteren van een gezicht, pornografisch of niet), kunnen lokaal worden uitgevoerd, op lage kracht laptop-GPU’s – of zelfs op een CPU (met een iets langere verwerkingstijd). Door de tijd dat er iets pornografisch gebeurt in het deepfake-proces, is Colab allang uit beeld.

Derhalve vertegenwoordigen de constituerende elementen die tussen deepfake-pornografische creators worden doorgegeven, zelden meer dan een potentieel kleine inbreuk op het auteursrecht, in de vorm van het doorspelen van ‘gezichtssets’, die deepfake-creators hebben geëxtraheerd uit YouTube-video’s, Blu-rays, televisie-interviews, sociale media en verschillende andere bronnen.

Komt er een ‘Verbrande Aarde’ Beleid voor Deepfake-gemeenschappen?

De vraag die de bewoners van deepfake Discord-gemeenschappen zoals DeepFaceLab (inclusief DeepFaceLive), FaceSwap, Machine Video Editor (MVE, een GUI-gebaseerde omgeving voor DFL, met veel extra functies), en nieuwe audio-gebaseerde deepfake Discord-servers zoals Audio Deepfakes is Zullen de huidige portal- en platform-eigenaren binnenkort gewoon deepfake-gemeenschappen op principe verbannen, in plaats van de kosten van constante moderatie tegen een stroom van NSFW-aanhangers en creators te dragen?

Bryan Lyon, een van de ontwikkelaars van FaceSwap en eigenaar van de bijbehorende Discord-server, verklaarde^†:

‘We hebben het voor elkaar gekregen om op Discord te blijven, ondanks verschillende zuiveringen, door absoluut onberispelijk te blijven. We hebben geen verborgen kanalen of een geheime tweede server met onwettige inhoud. Er was een zuivering van de populaire DeepFaceLab-server een paar jaar geleden. Iedereen op het kanaal werd verbannen. Ze hadden uitnodigingsrollen met toegang tot kanalen met niet-consensuele pornografie.’

Gezien het feit dat Google, een van ‘s werelds grootste technologische hostingbronnen, deepfake-training op zijn servers en GPU’s heeft verboden, is het zelfs mogelijk dat de door Microsoft bezitte GitHub kan besluiten dat het faciliteren van deze technologieën* uiteindelijk niet de moeite waard is vanwege de morele ambiguïteit of investering in toezicht.

Op dit moment is het proces van het legitimeren van deepfake-technologieën, zodat hun gebruik overgaat van thuisgemaakte pornografie naar film- en tv-productie en niet-inbreukmakende/criminele toepassingen, te nieuw om duidelijke beleidsrichtlijnen voor platforms en gemeenschapsdiensten te produceren.

* Archief van https://github.com/search?q=deepfake van maandag 13 juni 2022.
† In privé DM’s op Discord.

Eerst gepubliceerd op 13 juni 2022. Bewerkt om 15:08 UTC voor afbeeldingswijziging.
Aangepast op dinsdag 14 juni 2022 om 06:24 UTC, om de reactie van de Reddit-moderator over de NSFW-status van sommige posters toe te voegen. Ook afbeeldingswijziging op RSS-feeds-illustratie.