CivitAI in neuer Zahlungsdienstleister-Krise, da Trump Anti-Deepfake-Gesetz unterzeichnet

Präsident Trump hat nun das Take It Down Act unterzeichnet, das sexuelle Deepfakes auf Bundesebene in den USA unter Strafe stellt. Gleichzeitig hat die CivitAI-Community ihren Versuch, ihre Richtlinien bezüglich NSFW-KI- und Promi-Inhalten zu “bereinigen”, letztendlich nicht dazu geführt, die Zahlungsdienstleister zu besänftigen, was dazu führt, dass die Plattform nach Alternativen sucht oder mit einer Schließung konfrontiert wird. All dies innerhalb von nur zwei Wochen, seit die älteste und größte Deepfake-Pornoseite der Welt offline ging…

Es war eine ereignisreiche Woche für den Zustand unregulierter Bild- und Video-Deepfakes. Vor nur zwei Wochen nahm die Nummer-1-Domain für die Gemeinschaft, die Deepfakes von Prominenten teilt, Mr. Deepfakes, plötzlich offline, nach mehr als sieben Jahren in einer dominanten und viel studierten Position als globaler Mittelpunkt für sexualisierte KI-Promi-Inhalte. Zu diesem Zeitpunkt erhielt die Seite im Durchschnitt mehr als fünf Millionen Besuche pro Monat.

Hintergrund, die Mr.-Deepfakes-Domain Anfang Mai; Einlage, die Sperrmitteilung, jetzt durch einen 404-Fehler ersetzt, seit die Domain offensichtlich von einem unbekannten Käufer am 4. Mai 2025 erworben wurde (https://www.whois.com/whois/mrdeepfakes.com). Quelle: mrdeepfakes.com

Die Einstellung des Dienstes für Mr. Deepfakes wurde offiziell der Rückzug eines “kritischen Dienstleisters” zugeschrieben (siehe Einlagebild oben, das innerhalb einer Woche durch den Domainfehler ersetzt wurde). Allerdings hatte eine gemeinsame journalistische Untersuchung direkt vor der Schließung eine Schlüsselfigur hinter Mr. Deepfakes enttarnt, was die Möglichkeit aufwirft, dass die Seite aus persönlichen und/oder rechtlichen Gründen des Einzelnen geschlossen wurde.

Währenddessen führte CivitAI, die kommerzielle Plattform, die häufig für Promi- und NSFW-LoRAs verwendet wird, ein Set ungewöhnlicher und umstrittener Selbstzensurmaßnahmen ein. Diese betrafen Deepfake-Generierung, Modell-Hosting und eine breitere Palette neuer Regeln und Einschränkungen, einschließlich vollständiger Verbote bestimmter marginaler NSFW-Fetische und was sie als “extremistische Ideologien” bezeichnete.

Diese Maßnahmen wurden durch Zahlungsdienstleister ausgelöst, die offensichtlich damit drohten, ihre Dienste von der Domain zurückzuziehen, wenn keine Änderungen hinsichtlich NSFW-Inhalten und KI-Promi-Darstellungen vorgenommen würden.

CivitAI abgeschnitten

Ab heute scheint es, dass die von CivitAI ergriffenen Maßnahmen VISA und Mastercard nicht besänftigt haben: Ein neuer Beitrag^† auf der Seite, von Community-Engagement-Manager Alasdair Nicoll, enthüllt, dass Kartenzahlungen für CivitAI (dessen “Buzz”-Virtuellgeld-System hauptsächlich von realen Kredit- und Debitkarten angetrieben wird) ab diesem Freitag (23. Mai 2025) eingestellt werden.

Dies wird Benutzern die Erneuerung monatlicher Mitgliedschaften oder den Kauf neuer Buzz unmöglich machen. Obwohl Nicoll Benutzern rät, ihre aktuellen Mitgliedschaftsrechte durch Umstellung auf eine Jahresmitgliedschaft (kostet^†† 100-550 USD) vor Freitag zu erhalten, ist die Zukunft der Domain zu diesem Zeitpunkt offensichtlich unsicher (Es sollte beachtet werden, dass Jahresmitgliedschaften zur gleichen Zeit eingeführt wurden, als die Ankündigung über den Verlust der Zahlungsdienstleister gemacht wurde).

Bezüglich des Fehlens eines Zahlungsdienstleisters sagt Nicoll: ‘Wir sprechen mit jedem Anbieter, der mit KI-Innovationen komfortabel ist’.

Zu dem Scheitern der jüngsten Bemühungen, die Richtlinien der Plattform bezüglich KI-Promi- und NSFW-Inhalten ausreichend neu zu bewerten, sagt Nicoll in dem Beitrag:

‘Einige Zahlungsdienstleister bezeichnen generative KI-Plattformen als hochrisikoreich, insbesondere wenn wir benutzererzeugte mature Inhalte zulassen, auch wenn diese legal und moderiert sind. Diese Richtlinienentscheidung, nicht etwas, das Benutzer getan haben, zwang uns zur Abschaltung.’

Ein Kommentar von Benutzer ‘Faeia’, die als Stabschefin des Unternehmens in ihrem CivitAI-Profil* bezeichnet wird, fügt diesem Ankündigung Kontext hinzu:

‘Um zu klären, wir werden aus dem Zahlungsdienstleister entfernt, weil wir uns entschieden haben, NSFW- und Erwachsenen-Inhalte von der Plattform nicht zu entfernen. Wir bleiben weiterhin dazu verpflichtet, alle Arten von Kreativen zu unterstützen und arbeiten an alternativen Lösungen.’

Als traditioneller Treiber neuer Technologien ist es nicht ungewöhnlich, dass NSFW-Inhalte verwendet werden, um Interesse an einem Bereich, einer Technologie oder einer Plattform zu wecken – nur um die ursprünglichen Anhänger später abzulehnen, wenn genug “legitimes” Kapital und/oder eine Benutzerbasis etabliert ist (d. h. genug Benutzer, damit die Entität ohne NSFW-Kontext überleben kann).

Es schien für eine Weile, als würde CivitAI Tumblr und diverse andere Initiativen auf dem Weg zu einem “gesäuberten” Produkt folgen, das bereit ist, seine Wurzeln zu vergessen. Allerdings stellt die zusätzliche und wachsende Kontroverse/Stigmatisierung um KI-generierte Inhalte jeglicher Art ein kumulatives Gewicht dar, das offensichtlich einen letzten Rettungsversuch verhindern wird. In der Zwischenzeit rät die offizielle Ankündigung Benutzern, Kryptowährungen als alternative Zahlungsmethode zu verwenden.

Fake Out

Die Ankündigung, dass Präsident Donald Trump das Bundes-TAKE IT DOWN Act unterzeichnet hat, hat wahrscheinlich einige dieser Ereignisse beeinflusst. Das neue Gesetz unter Strafe stellt die Verbreitung nicht einverständlicher intimer Bilder, einschließlich KI-generierter Deepfakes.

Das Gesetz verlangt, dass Plattformen gekennzeichnete Inhalte innerhalb von 48 Stunden entfernen, wobei die Durchsetzung von der Federal Trade Commission überwacht wird. Die strafrechtlichen Bestimmungen des Gesetzes treten sofort in Kraft, was es ermöglicht, Personen zu verfolgen, die wissentlich nicht einverständliche intime Bilder (einschließlich KI-generierter Deepfakes) innerhalb des Zuständigkeitsbereichs der Vereinigten Staaten veröffentlichen oder bedrohen.

Obwohl das Gesetz seltene bipartisan Unterstützung erhielt, sowie Unterstützung von Technologieunternehmen und Interessenverbänden, argumentieren Kritiker, dass es legitimen Inhalt unterdrücken und Privatsphäre-Tools wie Verschlüsselung gefährden könnte. Letzten Monat erklärte die Electronic Frontier Foundation (EFF) ihre Opposition zum Gesetzesentwurf, indem sie behauptete, dass die Entfernungsmechanismen, die es vorschreibt, eine breitere Palette von Materialien als die engeren Definitionen nicht einverständlicher intimer Bilder, die sich an anderen Stellen im Gesetz finden, ins Visier nehmen.

‘Die Entfernungsbestimmung im TAKE IT DOWN Act gilt für eine viel breitere Kategorie von Inhalten – potenziell alle Bilder, die intime oder sexuelle Inhalte beinhalten – als die engeren Definitionen nicht einverständlicher intimer Bilder, die sich an anderen Stellen im Gesetz finden. Die Entfernungsbestimmung verfügt auch nicht über kritische Schutzmaßnahmen gegen frivole oder böswillige Entfernungsanfragen.

‘Dienste werden auf automatisierte Filter zurückgreifen, die berüchtigt stumpfe Werkzeuge sind. Sie flaggen häufig legale Inhalte, von fair-use-Kommentaren bis hin zu Nachrichtenberichten. Die gesetzliche Frist von 48 Stunden erfordert, dass Apps und Websites Sprache innerhalb von 48 Stunden entfernen, was selten genug Zeit ist, um zu überprüfen, ob die Sprache tatsächlich illegal ist.

‘Als Ergebnis werden Online-Dienstleister, insbesondere kleinere, wahrscheinlich die oneröse rechtliche Risiken vermeiden, indem sie die Sprache einfach depublizieren, anstatt auch nur zu versuchen, sie zu verifizieren.’

Plattformen haben nun bis zu einem Jahr ab Inkrafttreten des Gesetzes Zeit, um ein formelles Benachrichtigungs- und Entfernungsverfahren einzurichten, das es betroffenen Personen oder ihren Vertretern ermöglicht, das Gesetz zur Entfernung von Inhalten anzufordern.

Dies bedeutet, dass obwohl die strafrechtlichen Bestimmungen sofort in Kraft treten, Plattformen nicht rechtlich verpflichtet sind, der Entfernungsinfrastruktur (wie dem Empfangen und Verarbeiten von Anfragen) nachzukommen, bis diese einjährige Frist abgelaufen ist.

Deckt das TAKE IT DOWN Act KI-generierte Promi-Inhalte ab?

Obwohl das TAKE IT DOWN Act alle Bundesstaatengrenzen überschreitet, verbietet es nicht unbedingt alle KI-getriebenen Medien von Prominenten. Das Gesetz unter Strafe stellt die Verbreitung nicht einverständlicher intimer Bilder, einschließlich KI-generierter Deepfakes, nur dann, wenn die dargestellte Person eine vernünftige Erwartung der Privatsphäre hatte:

Das Gesetz besagt:

“(2) VERGEHEN BEI AUTHENTISCHEN INTIMEN VISUELLEN DARSTELLUNGEN.—

“(A) BEI ERWACHSENEN.—Ausgenommen [für Beweiszwecke, Berichterstattung usw.], es soll für jede Person, die in Interstate- oder Auslandshandel tätig ist, rechtswidrig sein, einen interaktiven Computerservice zu nutzen, um wissentlich eine intime visuelle Darstellung einer identifizierbaren Person zu veröffentlichen, die kein Minderjähriger ist, wenn—

“(i) die intime visuelle Darstellung unter Umständen erlangt oder erstellt wurde, unter denen die Person wusste oder vernünftigerweise hätte wissen müssen, dass die identifizierbare Person eine vernünftige Erwartung der Privatsphäre hatte;

“(ii) was dargestellt wurde, nicht freiwillig von der identifizierbaren Person in einer öffentlichen oder kommerziellen Umgebung bloßgestellt wurde [d. h. Selbstveröffentlichung von Pornos];

“(iii) was dargestellt wird, nicht eine Angelegenheit von öffentlichem Interesse ist; und

“(iv) die Veröffentlichung der intimen visuellen Darstellung—

“(I) dazu bestimmt ist, Schaden zu verursachen; oder

“(II) Schaden verursacht, einschließlich psychologischen, finanziellen oder Rufschadens, der identifizierbaren Person.

Die “vernünftige Erwartung der Privatsphäre” in diesem Kontext hat traditionell nicht den Rechten von Prominenten Vorrang eingeräumt. Abhängig von der Rechtsprechung, die letztendlich entsteht, ist es möglich, dass sogar explizite KI-generierte Inhalte, die öffentliche Figuren in öffentlichen oder kommerziellen Umgebungen darstellen, nicht unter die Verbote des Gesetzes fallen.

Die endgültige Klausel zur Bestimmung des Umfangs des Schadens ist berühmt elastisch in rechtlichen Begriffen und fügt in diesem Sinne nichts besonders Neues zur gesetzlichen Belastung hinzu. Allerdings würde die Absicht, Schaden zu verursachen, den Anwendungsbereich des Gesetzes auf den Kontext von “Rache-Pornos” beschränken, in denen ein (unbekannter) Ex-Partner echte oder gefälschte Medieninhalte eines (ebenfalls unbekannten) Ex-Partners veröffentlicht.

Während die Anforderung des Gesetzes an “Schaden” möglicherweise nicht gut zu Fällen passt, in denen anonyme Benutzer KI-generierte Darstellungen von Prominenten posten, könnte sie in Stalking-Szenarien relevanter sein, in denen ein umfassenderes Muster von Belästigung zu dem Schluss führt, dass eine Person absichtlich und böswillig eine öffentliche Figur auf mehreren Ebenen gezielt hat.

Obwohl die Bezugnahme des Gesetzes auf “abgedeckte Plattformen” private Kanäle wie Signal oder E-Mail von seinen Entfernungsbestimmungen ausschließt, gilt diese Ausnahme nur für die Verpflichtung, ein formelles Entfernungsverfahren bis Mai 2026 einzurichten. Sie bedeutet nicht, dass nicht einverständliche KI- oder echte Darstellungen, die über private Kommunikation geteilt werden, außerhalb des Anwendungsbereichs der strafrechtlichen Verbote des Gesetzes liegen.

Offensichtlich hindert das Fehlen von Mechanismen zur Meldung auf der Plattform betroffene Parteien nicht daran, was nun illegale Inhalte der Polizei zu melden; ebenso wenig werden sie daran gehindert, herkömmliche Kontaktmethoden zu verwenden, um eine Beschwerde zu erstatten und die Entfernung von verletzenden Materialien zu beantragen.

Die zurückgelassenen Rechte

Mehr als sieben Jahre wachsender öffentlicher und medialer Kritik an Deepfake-Inhalten scheinen sich innerhalb eines ungewöhnlich kurzen Zeitraums verdichtet zu haben. Allerdings bietet das TAKE IT DOWN Act, obwohl es umfassende Bundesverbote mit sich bringt, möglicherweise nicht in jedem Fall Anwendung, der KI-generierte Simulationen beinhaltet, und überlässt bestimmte Szenarien der wachsenden Patchwork-Regulierung von Deepfakes auf Ebene der Bundesstaaten, wo die verabschiedeten Gesetze oft “lokale Interessen” widerspiegeln.

Beispielsweise beschränkt das California Celebrities Rights Act die exklusive Verwendung der Identität einer Prominenten auf sich selbst und ihr Nachlass, auch nach ihrem Tod; im Gegensatz dazu konzentriert sich der ELVIS Act von Tennessee auf den Schutz von Musikern vor nicht autorisierten KI-generierten Voice- und Bildreproduktionen, wobei jeder Fall einen gezielten Ansatz zu Interessengruppen auf Ebene der Bundesstaaten widerspiegelt.

Die meisten Bundesstaaten haben nun Gesetze, die sexuelle Deepfakes ins Visier nehmen, obwohl viele nicht klarstellen, ob diese Schutzmaßnahmen auch Privatpersonen und öffentliche Figuren gleichermaßen umfassen. Währenddessen könnten die politischen Deepfakes, die angeblich Donald Trumps Unterstützung für das neue Bundesgesetz ausgelöst haben, in bestimmten Kontexten möglicherweise verfassungsrechtliche Barrieren berühren.

^† Archivierte Version: https://web.archive.org/web/20250520024834/https://civitai.com/articles/14945

^†† Archivierte Version (enthält keine monatlichen Preise): https://web.archive.org/web/20250425020325/https://civitai.green/pricing

* Der tatsächliche “Stabschef” des CEO bei CivitAI ist auf LinkedIn unter einem nicht damit zusammenhängenden Namen aufgeführt, während der ähnlich klingende “Faiona” ein offizieller CivitAI-Mitarbeiter ist, der als Moderator im Subreddit der Plattform tätig ist.

Erstveröffentlicht am Dienstag, den 20. Mai 2025