Reddit banuje społeczność deepfake SFW

W miniony weekend, prawdopodobnie w niedzielę, Reddit zbanował społeczność “SFW” (treści odpowiednie do oglądania w pracy) deepfakes o nazwie r/deepfakesfw. Subreddit był jedną z pierwszych odpowiedzi na szybkie usunięcie przez giganta mediów społecznościowych oryginalnej społeczności r/deepfakes, zalanej pornografią generowaną przez AI, w 2018 roku.

Standardowy komunikat, który teraz wita każdego odwiedzającego subreddit (zrzut archiwalny z poniedziałku, 13 czerwca), wyjaśnia, że “został zbanowany z powodu naruszenia zasad Reddita zakazujących pornografii tworzonej lub rozpowszechnianej bez zgody przedstawionych osób”.

Nowa strona główna dla r/deepfakesfw.

Sub r/deepfakesfw nie był często archiwizowany przez popularne serwisy archiwizujące, ale najnowszy zrzut archiwalny WayBack Machine, wykonany około dziesięciu dni temu (3 czerwca 2022), wskazuje, że sub miał 3095 czytelników w tym czasie.

To tak naprawdę wyższa liczba subskrybentów niż r/DeepFakesSFW (zauważ dodatkowe “s”), który obecnie ma 2827 czytelników (snapshot wykonany w poniedziałek, 13 czerwca 2022). Najpopularniejsza “legalna” społeczność SFW deepfakes wydaje się być obecnie r/SFWdeepfakes, która ma 16636 czytelników (snapshot wykonany w poniedziałek, 13 czerwca 2022).

Nawet o to nie proś

Co wydaje się być przyczyną upadku r/deepfakesfw, to nie samo publikowanie, ale żądanie deepfake pornografii. Zasady Reddit’u dotyczące mediów seksualnie jawnych stanowią:

‘[Obraz] lub film innej osoby opublikowany w celu sfabrykowania treści o charakterze jednoznacznie seksualnym lub zamawiania pornografii z udziałem osób podobnych do przedstawionej osoby (np. “deepfakes” lub “bubble porn”) jest również sprzeczny z Regułą.’

Na podstawie ostatnich dostępnych kanałów RSS z zabronionej społeczności SFW, wydaje się, że to żądanie, a nie samo publikowanie treści NSFW, wywołało ban:

Niektóre z ostatnich, wyraźnie NSFW postów z zlikwidowanej społeczności r/deepfakesfw. Źródło: Inoreader.

Chociaż posty, na które te RSS-y się odnoszą, nie są już dostępne, kliknięcie linków profilowych osób żądających (zaciemnionych na powyższym obrazie) ujawnia, że wiele z tych osób żąda zabronionej treści deepfake w więcej niż jednym forum i albo prosi o, albo oferuje niektóre z najbardziej ekstremalnych treści tego typu, w tym pornografię kazirodczą i różne odmiany pornografii bez zgody przedstawionych osób.

To sugeruje, że pozostałe społeczności “SFW” Reddit przetrwają dzięki szybkości, sumienności i szybkiemu czasowi reakcji moderatorów, ponieważ wydaje się, że Reddit nie chce stać się rodzajem forum ogłoszeń drobnych dla osób, które chcą się połączyć i dokonać transakcji nielegalnych deepfakes za pośrednictwem DM (w przypadkach, w których nie można tego wyraźnie zażądać w poście).

Jeśli tak, to niezbanowana jeszcze społeczność r/DeepFakesSFW może żyć na “pożyczonym” czasie; dwa najwyżej wyświetlane posty, które pojawiają się, gdy wprowadza się adres URL korzenia subredditu z włączonym motywem “stary” Reddit, zostały specjalnie oznaczone jako “NSFW” (tag, który nie powinien nawet być dostępny w tej społeczności).

W zależności od okoliczności, niektóre posty naruszające zasady pojawiają się obecnie w społeczności r/DeepFakesSFW. Źródło: https://www.reddit.com/r/DeepFakesSFW/

Można zobaczyć te dwa posty NSFW na górze forum r/DeepFakesSFW, zarchiwizowanego tutaj (snapshot wykonany w poniedziałek, 13 czerwca 2022).

W rzeczywistości nie ma dostępnego tagu “NSFW”, gdy tworzy się nowy post w r/DeepFakesSFW, który działa przez cztery lata, zgodnie z informacjami na pasku bocznym:

Dostępne “flair” przy tworzeniu posta w r/DeepFakesSFW.

Dlatego tagi “NSFW” w r/DeepFakesSFW wydają się być stosowane przez moderatorów forum lub przez wyższych administratorów – lub nawet algorytmy, możliwe, bez żadnej interwencji lub możliwości sprzeciwu ze strony lokalnych moderatorów. Skontaktowałem się z jedynym wymienionym moderatorem r/DeepFakesSFW w tej sprawie i opublikuję jakiekolwiek dostępne aktualizacje.

(EDYCJA, wtorek, 14 czerwca 2022 – Moderator z r/DeepFakesSFW odpowiedział, stwierdzając ‘Wygląda na to, że dzieje się tak, gdy konto użytkownika jest oznaczone jako NSFW’. Prawdopodobnie jedynym sposobem, aby zmniejszyć prawdopodobieństwo takich żądań w społecznościach SFW deepfakes, byłoby zbanowanie użytkowników, którzy “zarobili” tę klasyfikację.)

Większość treści na tym subredditzie, a także na większym r/SFWdeepfakes, dotyczy wykorzystania technologii deepfake do ponownego obsadzania ról z udziałem aktorów z popularnych lub klasycznych filmów, lub w inny sposób do zabawy z popularnymi mediami i technologią deepfake, i rzeczywiście kwalifikują się jako “SFW”.

Chociaż wiele takich postów graniczy niebezpiecznie z zakazami opartymi na prawach autorskich, ciągłe przetrwanie “przejętych IP” niepornograficznych filmów deepfake publikowanych przez czołowych twórców YouTube, takich jak Ctrl-Shift-Face, sugeruje szeroką tolerancję studia i posiadaczy praw wobec takiej działalności, przynajmniej na razie.

Pozorna „niewinność” procesu i ekosystemu deepfake

Dwa tygodnie temu wyszło na jaw (i wiele dyskusji) że Google nagle zbanował oprogramowanie do tworzenia deepfakes z popularnych środowisk przetwarzania w chmurze Colab. Nawet do dzisiaj, Colab jest rzekomo “wyzwalany” tylko przez próby uruchomienia DeepFaceLab (DFL), najpopularniejszego oprogramowania do tworzenia deepfakes na świecie (i tego, które jest najbardziej związane z AI porn), a nie mniej popularnych implementacji, takich jak FaceSwap, które mają lepszą reputację, chociaż wykonują te same zadania co DFL.

Do pewnego stopnia, taki podejście mogło być jedynym sposobem, w jaki Colab mógł wprowadzić jakiekolwiek ograniczenia na produkcję deepfake pornografii, ponieważ sam proces trenowania modeli deepfake wykorzystuje tylko oprogramowanie open source i mocno przycięte obrazy twarzy (zwykle o rozdzielczości 512×512 px, często mniej), z prawie zerową możliwością przechwycenia przez algorytmy rozpoznawania obrazów jakiejkolwiek treści pornograficznej.

Gdy model deepfake jest już wytrenowany, twórca deepfake nie potrzebuje już ogromnej mocy obliczeniowej Colab ani drogiego lokalnego GPU. Większość rzeczywistych przekształceń (tj. procesu nakładania twarzy na film, pornograficzny lub nie) może być wykonana lokalnie, na mało wydajnym układzie GPU laptopa – lub nawet na CPU (z nieco dłuższym czasem przetwarzania). Gdy w procesie tworzenia deepfake pojawia się jakakolwiek treść pornograficzna, Colab od dawna nie bierze już w nim udziału.

Dlatego składniki, które przechodzą między twórcami deepfake pornografii, rzadko reprezentują więcej niż potencjalne nieznaczne naruszenie praw autorskich, w postaci przekazywania “zbiorów twarzy”, które twórcy deepfake wyodrębnili z filmów wideo na YouTube, Blu-ray, wywiadów telewizyjnych, mediów społecznościowych i innych źródeł.

Czy Polityka “Spalonej Ziemi” Nadchodzi dla Społeczności Deepfake?

Pytanie, które dręczy mieszkańców społeczności deepfake Discord, takich jak DeepFaceLab (w tym DeepFaceLive), FaceSwap, Machine Video Editor (MVE, oparte na interfejsie graficznym środowisko dla DFL, z wieloma dodatkowymi funkcjami), i nowe serwery Discord audio deepfake, takie jak Audio Deepfakes jest Czy właściciele portali i platform wkrótce po prostu zbanują społeczności deepfake z zasady, zamiast ponosić koszty ciągłej moderacji przeciwko fali zwolenników i twórców NSFW?

Bryan Lyon, jeden z deweloperów FaceSwap i właściciel powiązanego serwera Discord, skomentował^†:

‘Udało nam się pozostać na Discord, pomimo kilku czystek, pozostając absolutnie nieskazitelnie czystymi. Nie mamy ukrytych kanałów ani tajnego drugiego serwera z nielegalną zawartością. Była czystka popularnego serwera DeepFaceLab kilka lat temu. Każdy na nim został zbanowany. Mieli role dostępne wyłącznie na zaproszenie, zapewniające dostęp do kanałów z pornografią bez zgody przedstawionych osób.’

Uwzględniając, że Google, jeden z największych zasobów technologicznych na świecie, całkowicie zakazał trenowania modeli deepfake na swoich serwerach i GPU, możliwe, że należący do Microsoftu GitHub może zdecydować, że ułatwianie tych technologii* nie będzie warte moralnej niepewności lub inwestycji w nadzór.

W tym czasie proces uzasadniania technologii deepfake, aby ich użycie przechodziło od domowej pornografii do produkcji filmów i telewizji, oraz zastosowań, które nie naruszają cudzych praw ani prawa karnego, jest zbyt wczesny, aby wytworzyć jasne wytyczne polityczne dla platform i usług hostingowych.

* Archiwum https://github.com/search?q=deepfake z poniedziałku, 13 czerwca 2022.
† W prywatnych wiadomościach DM na Discord.

Pierwotnie opublikowane 13 czerwca 2022. Edytowane 15:08 czasu UTC w celu poprawy obrazu.
Zmienione we wtorek, 14 czerwca 2022, 6:24 rano UTC, aby dodać odpowiedź moderatora Reddit dotyczącą statusu NSFW niektórych postów. Również poprawiono ilustrację kanałów RSS.