Reddit Vieta la Comunità ‘SFW’ di Deepfake

Durante il fine settimana, apparentemente intorno alla domenica, Reddit ha vietato la comunità di deepfake nominale ‘SFW’ (Safe For Work) intitolata r/deepfakesfw. Il subreddit era una delle prime risposte alla cancellazione da parte del gigante dei social media della comunità originale r/deepfakes, piena di porno AI, nel 2018.

La leggenda relativamente standard che ora accoglie (istantanea dell’archivio scattata lunedì, 13 giugno) chiunque visiti il sub spiega che ‘è stato vietato a causa della violazione delle regole di Reddit contro la pornografia involontaria’.

La nuova pagina iniziale per r/deepfakesfw.

Il sub r/deepfakesfw non è stato archiviato frequentemente da piattaforme di conservazione popolari, ma l’ultima istantanea di WayBack Machine, scattata circa dieci giorni fa (il 3 giugno 2022), indica che il sub aveva 3.095 lettori a quel tempo.

Questo è in realtà un numero più alto di iscritti rispetto a r/DeepFakesSFW (nota l’aggiunta di ‘s’), che attualmente ha 2.827 lettori (istantanea dell’archivio scattata lunedì, 13 giugno 2022). La comunità di deepfake ‘legittima’ SFW più popolare sembra attualmente essere r/SFWdeepfakes, che al momento della scrittura ha 16.636 lettori (istantanea scattata lunedì, 13 giugno 2022).

Non Chiedere

Cosa sembra aver condannato r/deepfakesfw non è stato il posting, ma il richiedere di pornografia deepfake. Le regole di Reddit sui media espliciti sessuali affermano:

‘[Immagini] o video di un’altra persona pubblicati per lo scopo specifico di creare contenuti espliciti o sollecitare “pornografia simile” (ad esempio “deepfakes” o “pornografia di bolle”) è anche contro la Regola.’

Sulla base degli ultimi feed RSS disponibili dal subreddit SFW vietato, è stato il richiedere piuttosto che il posting di contenuti NSFW deepfake che ha finalmente scatenato il divieto:

Alcuni degli ultimi post chiaramente NSFW dal subreddit r/deepfakesfw morto. Fonte: Inoreader.

Sebbene i post a cui si riferiscono questi feed RSS non siano più disponibili, cliccando i collegamenti ai profili dei richiedenti (oscurati nell’immagine sopra) rivela che molti dei poster richiedono contenuti deepfake vietati in più di un forum e stanno chiedendo o offrendo alcuni dei contenuti più estremi di questo tipo, inclusa la pornografia incestuosa e varie sfumature di temi pornografici involontari.

Ciò suggerisce che i subreddit SFW di deepfake rimanenti sopravvivono grazie alla velocità, alla diligenza e ai tempi di risposta rapida dei loro moderatori, poiché sembra che Reddit non sia disposto a diventare una sorta di forum di annunci per persone che si connettono e transaccionano deepfake illegittimi tramite DM (nei casi in cui ciò non può essere richiesto esplicitamente in un post).

Se così fosse, allora il non ancora vietato r/DeepFakesSFW potrebbe stare vivendo in prestito; i suoi due post attuali in cima quando si entra nell’URL del subreddit radice con il tema ‘old’ di Reddit abilitato sono stati segnalati specificamente come ‘NSFW’ (un tag che non dovrebbe presumibilmente essere disponibile in questa comunità specifica).

A seconda delle circostanze, alcuni post che violano le regole attualmente appaiono nel sub r/DeepFakesSFW. Fonte: https://www.reddit.com/r/DeepFakesSFW/

Puoi vedere questi due post NSFW in cima all’archivio del forum r/DeepFakesSFW di oggi qui (istantanea scattata lunedì, 13 giugno 2022).

Non c’è alcun ‘flair’ NSFW disponibile quando si crea un nuovo post su r/DeepFakesSFW, che è operativo da quattro anni, secondo le informazioni della barra laterale:

Tag disponibili quando si pubblica su r/DeepFakesSFW.

Pertanto, i tag NSFW su r/DeepFakesSFW sembrano essere stati applicati dai moderatori del forum o da amministratori di livello superiore – o anche algoritmi, possibilmente senza alcun intervento o opposizione da parte dei moderatori locali. Ho contattato l’unico moderatore elencato di r/DeepFakesSFW a questo proposito e pubblicherò eventuali aggiornamenti disponibili.

(MODIFICA, martedì, 14 giugno 2022 – Un moderatore di r/DeepFakesSFW ha risposto, affermando ‘Sembra che accada quando l’account dell’utente è NSFW’. Presumibilmente, l’unico modo per rallentare la probabilità di tali richieste nei subreddit di deepfake SFW sarebbe quindi quello di vietare gli utenti che hanno ‘guadagnato’ questa classificazione.)

La maggior parte del contenuto in questo subreddit e nel più grande r/SFWdeepfakes è preoccupata dell’uso della tecnologia deepfake per ‘ricastare’ attori da film o serie TV popolari o classiche, o altrimenti per divertirsi in modo più innocuo con i media popolari e la tecnologia deepfake, e si qualificano effettivamente come ‘SFW’.

Anche se molti di questi post si avvicinano pericolosamente a divieti di copyright, la sopravvivenza continua di post di video deepfake ‘appropriati IP’ non pornografici di importanti creatori di deepfake di YouTube come Ctrl-Shift-Face suggerisce una tolleranza generale degli studi e dei titolari dei diritti verso tale attività, almeno per il momento.

L’Aspetto ‘Innocente’ del Processo e dell’Ecosistema di Deepfake

Due settimane fa è emerso (e molto discussione) che Google aveva improvvisamente vietato il software di creazione di deepfake dai suoi ambienti di elaborazione cloud popolari Colab. Anche ad oggi, Colab sembra essere ‘attivato’ solo dai tentativi di eseguire DeepFaceLab (DFL), il software di deepfake più popolare al mondo (e quello più strettamente associato al porno AI), piuttosto che implementazioni meno frequentate come FaceSwap, che è più rispettato, anche se esegue esattamente gli stessi compiti di DFL.

Fino a un certo punto, questo approccio può essere stato l’unico modo in cui Colab avrebbe potuto implementare alcun divieto sulla produzione di pornografia deepfake, poiché il processo di formazione del modello di deepfake utilizza solo software open source e immagini di facce altamente ritagliate (di solito a soli 512x512px, spesso meno), con quasi zero possibilità per gli algoritmi di riconoscimento delle immagini di intercettare qualsiasi contenuto pornografico effettivo.

Una volta che il modello di deepfake è stato addestrato, il creatore di deepfake non ha più bisogno della grande potenza di elaborazione di Colab o di un costoso GPU locale. La maggior parte delle conversioni effettive (ovvero il processo di imposizione di un viso in un video, pornografico o meno), può essere eseguita localmente, su GPU di laptop a bassa potenza – o anche su un CPU (con un tempo di elaborazione leggermente più lungo). Una volta che qualcosa di pornografico sta accadendo nel processo di deepfake, Colab è già stato eliminato dall’immagine.

Pertanto, gli elementi costitutivi che passano tra creatori di pornografia deepfake rappresentano raramente più di una possibile violazione del copyright minore, sotto forma di ‘set di facce’, che i creatori di deepfake hanno estratto da video di YouTube, Blu-ray, interviste televisive, social media e varie altre fonti.

Sta Arrivando una Politica ‘Terra Bruciata’ per le Comunità di Deepfake?

La domanda che inquieta gli abitanti delle comunità di deepfake Discord come DeepFaceLab (incluso DeepFaceLive), FaceSwap, Machine Video Editor (MVE, un ambiente GUI-based per DFL, con molte funzionalità aggiunte), e nuovi server Discord di deepfake audio come Audio Deepfakes è Il proprietario della piattaforma e del portale vieterebbe presto le comunità di deepfake in linea di principio, piuttosto che sostenere la spesa della costante moderazione contro una marea di aderenti e creatori NSFW?

Bryan Lyon, uno degli sviluppatori di FaceSwap e proprietario del server Discord associato, ha commentato^†:

‘Siamo riusciti a rimanere su Discord, nonostante diverse epurazioni, rimanendo assolutamente puliti. Non abbiamo canali nascosti o un secondo server segreto con contenuti illeciti. C’è stata un’epurazione del server DeepFaceLab popolare un paio di anni fa. Tutti quelli che si trovavano su di esso sono stati banditi. Avevano ruoli con invito solo con accesso a canali con pornografia non consensuale.’

Considerando che Google, uno dei più grandi risorse tecnologiche di hosting al mondo, ha vietato il training di deepfake sui suoi server e GPU, è anche possibile che GitHub di proprietà di Microsoft decida che facilitare queste tecnologie* sarà eventualmente non vale la pena dell’ambiguità morale o dell’investimento di supervisione.

Al momento, il processo di legittimazione delle tecnologie di deepfake in modo che il loro uso si sposti dalla produzione di porno casalingo verso la produzione di film e TV e usi non in franchigia/criminali è troppo nascente per produrre linee guida di politica chiare per piattaforme e servizi di hosting della comunità.

* Archivio di https://github.com/search?q=deepfake di lunedì, 13 giugno 2022.
† In DM privati su Discord.

Pubblicato per la prima volta il 13 giugno 2022. Modificato alle 15:08 UTC per emendare l’immagine.
Modificato martedì, 14 giugno 2022, 6:24, per aggiungere la risposta del moderatore di Reddit riguardo allo stato NSFW di alcuni poster. Anche emendamento dell’immagine sull’illustrazione dei feed RSS.