Reddit Verbietet ‘SFW’-Deepfake-Community

Über das Wochenende, offensichtlich irgendwann um Sonntag, hat Reddit die nominell ‘SFW’ (Safe For Work) Deepfakes-Community mit dem Titel r/deepfakesfw verboten. Das Subreddit war eine der ersten Reaktionen auf die Löschung der ursprünglichen, AI-porn-verschmutzten r/deepfakes-Sub durch den sozialen Medien-Riesen im Jahr 2018.

Die (relativ) standardmäßige Legende, die jetzt jeden begrüßt, der das Sub besucht (Archiv-Snapshot vom Montag, 13. Juni), erklärt, dass es ‘wegen eines Verstoßes gegen Reddits Regeln gegen unfreiwillige Pornografie’ verboten wurde.

Die neue Startseite für r/deepfakesfw.

Das Subreddit r/deepfakesfw wurde nicht häufig von populären Konservierungsplattformen archiviert, aber der aktuellste WayBack-Machine-Snapshot, der vor etwa zehn Tagen (am 3. Juni 2022) erstellt wurde, zeigt, dass das Sub zu diesem Zeitpunkt 3.095 Leser hatte.

Das ist tatsächlich eine höhere Anzahl an Abonnenten als r/DeepFakesSFW (mit dem Zusatz ‘s’), das derzeit 2.827 Leser hat (Archiv-Snapshot vom Montag, 13. Juni 2022). Die beliebteste ‘legitime’ SFW-Deepfakes-Community scheint derzeit r/SFWdeepfakes zu sein, die zum Zeitpunkt des Schreibens 16.636 Leser hat (Snapshot vom Montag, 13. Juni 2022).

Fragen Sie nicht

Was das Subreddit r/deepfakesfw offensichtlich zum Verhängnis wurde, war nicht das Posten, sondern das Anfordern von Deepfake-Pornografie. Reddits Regeln zu sexuell expliziten Medien besagen:

‘[Bilder] oder Videos einer anderen Person, die für den spezifischen Zweck der Erstellung von expliziten Inhalten oder der Anforderung von “Lookalike”-Pornografie (z.B. “Deepfakes” oder “Bubble-Porn”) veröffentlicht werden, sind auch gegen die Regel verstoßen.’

Basierend auf den letzten verfügbaren RSS-Feeds des jetzt verbotenen SFW-Subreddits wurde es durch das Anfordern und nicht durch das Posten von NSFW-Deepfake-Inhalten ausgelöst:

Einige der letzten, offensichtlich NSFW-Beiträge aus dem jetzt toten r/deepfakesfw-Subreddit. Quelle: Inoreader.

Obwohl die Beiträge, auf die diese RSS-Feeds verweisen, nicht mehr verfügbar sind, zeigt die Anklickung der Profillinks der Anforderer (im Bild oben unscharf dargestellt), dass viele der Poster verbotene Deepfake-Inhalte in mehr als einem Forum anfordern und entweder nach solchen Inhalten fragen oder sie anbieten, einschließlich Inzest-Pornografie und verschiedenen Arten von unfreiwilligen pornografischen Themen.

Dies deutet darauf hin, dass die verbleibenden ‘SFW’-Reddit-Subreddits durch die Geschwindigkeit, die Umsicht und die schnellen Reaktionszeiten ihrer Moderatoren überleben, da Reddit offensichtlich nicht zu einer Art ‘Kleinanzeigen’-Forum für Menschen werden möchte, die sich verbinden und illegitime Deepfakes über Direct Messages (in Fällen, in denen dies nicht explizit in einem Beitrag angefordert werden kann) austauschen.

Wenn dem so ist, dann lebt das noch nicht verbotene r/DeepFakesSFW möglicherweise auf Pump; die beiden aktuellen Top-Beiträge, wenn man die Root-Subreddit-URL mit dem ‘alten’ Reddit-Theme aufruft, sind speziell als ‘NSFW’ (ein Tag, der in dieser Community nicht einmal verfügbar sein sollte) markiert.

Abhängig von den Umständen erscheinen einige regelbrechende Beiträge derzeit im r/DeepFakesSFW-Sub. Quelle: https://www.reddit.com/r/DeepFakesSFW/

Man kann diese beiden NSFW-Beiträge archiviert hier (Snapshot vom Montag, 13. Juni 2022) sehen.

Tatsächlich gibt es im r/DeepFakesSFW, das seit vier Jahren in Betrieb ist, laut den Informationen in der Seitenleiste, keine NSFW-‘Flair’-Option, wenn man einen neuen Beitrag erstellt:

Verfügbare ‘Flairs’ beim Posten im r/DeepFakesSFW.

Daher scheinen die NSFW-Tags im r/DeepFakesSFW entweder von den Moderatoren des Forums oder von höheren Administratoren angewendet worden zu sein – oder sogar von Algorithmen, möglicherweise ohne jegliche Intervention oder verfügbare Opposition durch lokale Moderatoren. Ich habe mich an den einzigen gelisteten Moderator von r/DeepFakesSFW gewandt und werde alle verfügbaren Updates posten.

(Bearbeitet, Dienstag, 14. Juni 2022 – Ein Moderator von r/DeepFakesSFW hat geantwortet und erklärt: ‘Es scheint zu passieren, wenn das Benutzerkonto als NSFW markiert ist’. Es ist anzunehmen, dass die einzige Möglichkeit, die Wahrscheinlichkeit solcher Anfragen in SFW-Deepfake-Subreddits zu verringern, darin besteht, Benutzer zu verbannen, die diese Klassifizierung ‘verdient’ haben.)

Die meisten Inhalte in diesem Subreddit und im größeren r/SFWdeepfakes beschäftigen sich mit der Verwendung von Deepfake-Technologie, um ‘neue Besetzungen’ für beliebte oder klassische Filme zu erstellen oder auf andere Weise harmloses AI-getriebenes Vergnügen mit populären Medien und Deepfake-Technologie zu haben und qualifizieren sich tatsächlich als ‘SFW’.

Obwohl viele solcher Beiträge gefährlich nahe an urheberrechtsbedingte Verbote kommen, deutet das Überleben von ‘IP-angeglichen’ nicht-pornografischen Deepfake-Videos von großen YouTube-Deepfakes wie Ctrl-Shift-Face auf eine breite Toleranz von Studios und Rechteinhabern gegenüber solchen Aktivitäten hin, zumindest für den Moment.

Das ‘unschuldige’ Aussehen des Deepfake-Prozesses und der Ecostruktur

Vor zwei Wochen wurde bekannt, dass Google plötzlich die Erstellung von Deepfakes-Software in seinen beliebten Colab-Cloud-Verarbeitungsumgebungen verboten hat. Selbst bis heute ist Colab offensichtlich nur durch den Versuch ausgelöst, DeepFaceLab (DFL), die beliebteste Deepfakes-Software der Welt (und die am meisten mit AI-Pornografie in Verbindung gebracht wird), zu betreiben, und nicht durch weniger frequentierte Implementierungen wie FaceSwap, die besser angesehen wird, obwohl sie genau die gleichen Aufgaben wie DFL ausführt.

In gewissem Maße mag dieser Ansatz die einzige Möglichkeit gewesen sein, wie Colab irgendeine Einschränkung der Produktion von Deepfake-Pornografie umsetzen konnte, da der tatsächliche Deepfake-Trainingsprozess nichts als Open-Source-Software und hochgeschnittene Gesichtsbilder (in der Regel nur 512x512px, oft weniger) verwendet, mit fast keiner Möglichkeit für Bilderkennungsalgorithmen, tatsächliche pornografische Inhalte abzufangen.

Sobald das Deepfake-Modell trainiert ist, benötigt der Deepfaker nicht mehr die enorme Rechenleistung von Colab oder einem teuren lokalen GPU. Die meisten tatsächlichen Umsetzungen (d. h. der Prozess, ein Gesicht in ein Video zu übertragen, pornografisch oder nicht) können lokal auf Low-Power-Laptop-GPUs oder sogar auf einem CPU (mit einer etwas längeren Verarbeitungszeit) durchgeführt werden. Sobald etwas Pornografisches im Deepfake-Prozess passiert, ist Colab längst aus dem Bild heraus.

Daher stellen die konstitutiven Elemente, die zwischen Deepfake-Pornografie-Erstellern ausgetauscht werden, selten mehr als einen potenziellen geringfügigen Urheberrechtsverstoß in Form des Austauschs von ‘Face-Sets’ dar, die Deepfake-Ersteller aus YouTube-Videos, Blu-rays, Fernseh-Interviews, sozialen Medien und verschiedenen anderen Quellen extrahiert haben.

Ist eine ‘verbrannte Erde’-Politik für Deepfake-Communities im Kommen?

Die Frage, die die Bewohner von Deepfake-Discord-Communities wie DeepFaceLab (einschließlich DeepFaceLive), FaceSwap, Machine Video Editor (MVE, eine GUI-basierte Umgebung für DFL, mit vielen zusätzlichen Funktionen) und neue audio-basierte Deepfake-Discord-Server wie Audio Deepfakes ist Wird die derzeitigen Portal- und Plattformbesitzer bald einfach Deepfake-Communities aus Prinzip verbannen, anstatt die Kosten für ständige Moderation gegen eine Flut von NSFW-Anhängern und Erstellern zu tragen?

Bryan Lyon, einer der Entwickler von FaceSwap und Besitzer des zugehörigen Discord-Servers, kommentierte^†:

‘Wir sind es geschafft, auf Discord zu bleiben, trotz mehrerer Säuberungen, indem wir absolut sauber geblieben sind. Wir haben keine versteckten Kanäle oder einen geheimen zweiten Server mit unerlaubten Inhalten. Es gab eine Säuberung des beliebten DeepFaceLab-Servers vor ein paar Jahren. Jeder auf ihm wurde verbannt. Sie hatten einladungsgebundene Rollen mit Zugriff auf Kanäle mit nicht einvernehmlicher Pornografie.’

Angesichts der Tatsache, dass Google, einer der größten technologischen Hosting-Ressourcen der Welt, Deepfake-Training auf seinen Servern und GPUs verboten hat, ist es sogar möglich, dass der Microsoft-eigene GitHub beschließen könnte, dass die Unterstützung dieser Technologien* nicht die moralische Zweideutigkeit oder Investition in die Überwachung wert ist.

Zu diesem Zeitpunkt ist der Prozess der Legitimierung von Deepfake-Technologien, um ihre Verwendung von der Herstellung von Pornografie zu Film- und Fernsehproduktionen und nicht verletzenden/strafrechtlichen Verwendungen zu verlagern, noch zu neu, um klare Richtlinien für Plattformen und Community-Host-Dienste zu liefern.

* Archiv von https://github.com/search?q=deepfake vom Montag, 13. Juni 2022.
† In privaten Direktnachrichten auf Discord.

Erstveröffentlicht am 13. Juni 2022. Bearbeitet am 13. Juni 2022, 15:08 Uhr UTC, für die Änderung von Bildern.
Geändert am Dienstag, 14. Juni 2022, 6:24 Uhr UTC, um die Antwort des Reddit-Modulators hinzuzufügen, bezüglich des NSFW-Status einiger Poster. Auch Änderung des Bildes für die RSS-Feeds-Illustration.