Reddit Vieta la Comunità ‘SFW’ di Deepfake

During the weekend, apparently around Sunday, Reddit ha vietato la comunità di deepfake nominale ‘SFW’ (Safe For Work) intitolata r/deepfakesfw. Il subreddit era una delle prime risposte alla cancellazione da parte del gigante dei social media del subreddit originale r/deepfakes, pieno di pornografia AI, nel 2018.

La leggenda (relativamente) standard che ora accoglie (snapshot dell’archivio preso lunedì 13 giugno) chiunque visiti il subreddit spiega che ‘è stato vietato a causa della violazione delle regole di Reddit contro la pornografia involontaria’.

La nuova pagina iniziale per r/deepfakesfw.

Il subreddit r/deepfakesfw non è stato archiviato frequentemente da piattaforme di conservazione popolari, ma l’ultimo snapshot di WayBack Machine, preso circa dieci giorni fa (il 3 giugno 2022), indica che il subreddit aveva 3.095 lettori a quel tempo.

Questo è in realtà un numero più alto di iscritti rispetto a r/DeepFakesSFW (nota l’aggiunta di ‘s’), che attualmente ha 2.827 lettori (snapshot dell’archivio preso lunedì 13 giugno 2022). La comunità di deepfake ‘legittima’ SFW più popolare sembra essere attualmente r/SFWdeepfakes, che al momento della stesura ha 16.636 lettori (snapshot dell’archivio preso lunedì 13 giugno 2022).

Non Chiedere Nemmeno

Cosa sembra aver condannato r/deepfakesfw non è stato il posting, ma la richiesta di pornografia deepfake. Le regole di Reddit sui media espliciti sessuali affermano:

‘[Immagini] o video di un’altra persona pubblicati per lo scopo specifico di creare contenuti espliciti o sollecitare “pornografia lookalike” (ad esempio “deepfakes” o “bubble porn”) è anche contro la regola.’

In base all’ultimo feed RSS disponibile dal subreddit SFW vietato, è stata la richiesta e non il posting di contenuti deepfake NSFW a scatenare il divieto:

Alcuni degli ultimi post chiaramente NSFW dal subreddit r/deepfakesfw ormai morto. Fonte: Inoreader.

Sebbene i post a cui questi feed RSS puntano non siano più disponibili, cliccando i collegamenti al profilo dei richiedenti (oscurati nell’immagine sopra) rivela che molti dei poster richiedono contenuti deepfake vietati in più di un forum e stanno chiedendo o offrendo alcuni dei contenuti più estremi di questo tipo, tra cui incesto e vari sfumature di temi pornografici involontari.

Ciò suggerisce che i subreddit SFW di Reddit rimanenti sopravvivono grazie alla velocità, alla diligenza e ai tempi di risposta rapidi dei loro moderatori, poiché sembra che Reddit non sia disposto a diventare una sorta di forum di annunci per persone che si connettono e scambiano deepfake illegittimi via DM (nei casi in cui ciò non può essere richiesto esplicitamente in un post).

Se così fosse, allora il non ancora vietato r/DeepFakesSFW potrebbe stare vivendo in prestito; i suoi due post attuali in cima quando si entra nell’URL del subreddit radice con il tema ‘old’ Reddit abilitato sono stati segnalati come ‘NSFW’ (un tag che non dovrebbe presumibilmente essere disponibile in questa comunità specifica).

A seconda delle circostanze, alcuni post che violano le regole possono attualmente apparire nel subreddit r/DeepFakesSFW. Fonte: https://www.reddit.com/r/DeepFakesSFW/

È possibile vedere questi due post NSFW in cima al forum r/DeepFakesSFW archiviato qui (snapshot dell’archivio preso lunedì 13 giugno 2022).

Non c’è in realtà nessun ‘flair’ NSFW disponibile quando si crea un nuovo post su r/DeepFakesSFW, che è stato operativo per quattro anni, secondo le informazioni della sua barra laterale:

Tag disponibili quando si pubblica su r/DeepFakesSFW.

Pertanto, i tag NSFW su r/DeepFakesSFW sembrano essere stati applicati dai moderatori del forum o da amministratori di livello superiore – o anche algoritmi, forse senza alcun intervento o opposizione da parte dei moderatori locali. Ho contattato l’unico moderatore elencato di r/DeepFakesSFW a questo proposito e pubblicherò eventuali aggiornamenti disponibili.

(EDIT, martedì 14 giugno 2022 – Un moderatore di r/DeepFakesSFW ha risposto, affermando ‘Sembra che accada quando l’account dell’utente è NSFW’. Presumibilmente, l’unico modo per rallentare la probabilità di tali richieste nei subreddit di deepfake SFW sarebbe quindi quello di vietare gli utenti che hanno ‘guadagnato’ questa classificazione.)

La maggior parte del contenuto in questo subreddit e nel più grande r/SFWdeepfakes è preoccupata dell’uso della tecnologia deepfake per ‘ricast’ attori da film popolari o classici, o per avere un po’ di divertimento innocuo con i media popolari e la tecnologia deepfake, e si qualificano effettivamente come ‘SFW’.

Anche se molti di questi post si avvicinano pericolosamente a violazioni del copyright, la sopravvivenza continua di post di video deepfake ‘appropriati IP’ non pornografici di importanti creatori di deepfake su YouTube come Ctrl-Shift-Face suggerisce una tolleranza generale degli studio e dei titolari dei diritti, almeno per il momento.

L’Aspetto ‘Innocente’ del Processo e dell’Ecostruttura di Deepfake

Due settimane fa è emerso (e molto discusso) che Google aveva improvvisamente vietato il software di creazione di deepfake dagli ambienti di elaborazione cloud Colab. Anche ad oggi, Colab sembra essere ‘attivato’ solo da tentativi di eseguire DeepFaceLab (DFL), il software di deepfake più popolare al mondo (e quello più strettamente associato alla pornografia AI), piuttosto che implementazioni meno frequentate come FaceSwap, che ha una reputazione migliore, anche se esegue esattamente gli stessi compiti di DFL.

Fino a un certo punto, questo approccio potrebbe essere stato l’unico modo in cui Colab avrebbe potuto implementare alcuna restrizione sulla produzione di pornografia deepfake, poiché il processo di formazione di deepfake effettivo utilizza solo software open source e immagini del viso ritagliate (di solito a solo 512x512px, spesso meno), con quasi zero possibilità per gli algoritmi di riconoscimento delle immagini di intercettare qualsiasi contenuto pornografico effettivo.

Una volta che il modello di deepfake è stato addestrato, il creatore di deepfake non ha più bisogno dell’enorme potenza di elaborazione di Colab o di un costoso GPU locale. La maggior parte delle conversioni effettive (ovvero il processo di imposizione di un viso in un video, pornografico o meno), può essere eseguita localmente, su GPU di laptop a bassa potenza – o anche su una CPU (con un tempo di elaborazione leggermente più lungo). Una volta che qualcosa di pornografico sta accadendo nel processo di deepfake, Colab è già stato tagliato fuori dall’immagine.

Pertanto, gli elementi costitutivi che passano tra i creatori di pornografia deepfake raramente rappresentano più di una possibile violazione del copyright minore, sotto forma di ‘set di visi’, che i creatori di deepfake hanno estratto da video di YouTube, Blu-ray, interviste televisive, social media e varie altre fonti.

Sta Arrivando una Politica ‘Terra Bruciata’ per le Comunità di Deepfake?

La domanda che inquieta gli abitanti delle comunità di deepfake Discord come DeepFaceLab (incluso DeepFaceLive), FaceSwap, Machine Video Editor (MVE, un ambiente basato su GUI per DFL, con molte funzionalità aggiuntive), e nuovi server Discord di deepfake audio come Audio Deepfakes è Se i proprietari di portali e piattaforme attuali ben presto vieteranno semplicemente le comunità di deepfake per principio, piuttosto che sostenere la spesa della costante moderazione contro una marea di aderenti e creatori NSFW?

Bryan Lyon, uno degli sviluppatori di FaceSwap e proprietario del server Discord associato, ha commentato^†:

‘Siamo riusciti a rimanere su Discord, nonostante diverse purghe, rimanendo assolutamente puliti. Non abbiamo canali nascosti o un secondo server con contenuti illeciti. C’è stata una purga del server DeepFaceLab popolare un paio di anni fa. Tutti quelli che c’erano sono stati banditi. Avevano ruoli con invito solo con accesso a canali con pornografia non consensuale.’

Considerando che Google, uno dei più grandi provider tecnologici del mondo, ha vietato la formazione di deepfake sui suoi server e GPU, è anche possibile che GitHub di proprietà Microsoft possa decidere che facilitare queste tecnologie non sarà alla fine vale la pena dell’ambiguità morale o dell’investimento di supervisione.

Al momento, il processo di legittimazione delle tecnologie di deepfake in modo che il loro uso si sposti dalla produzione di pornografia casalinga verso la produzione di film e TV e usi non in franchingenti/criminali è troppo nascente per produrre linee guida di politica chiare per piattaforme e servizi di hosting della comunità.

* Archivio di https://github.com/search?q=deepfake di lunedì 13 giugno 2022.
† In messaggi privati su Discord.

Pubblicato per la prima volta il 13 giugno 2022. Modificato alle 15:08 UTC per la modifica dell’immagine.
Modificato martedì 14 giugno 2022 alle 6:24 UTC per aggiungere la risposta del moderatore di Reddit riguardo lo stato NSFW di alcuni poster. Anche la modifica dell’immagine sui feed RSS.