CivitAI verschärft Deepfake-Regeln unter dem Druck von Mastercard und Visa

CivitAI, möglicherweise das beliebteste AI-Modell-Repository im Internet, hat schließlich nachgegeben und unter dem Druck von Zahlungsvermittlern wie MasterCard und Visa seine Richtlinien für NSFW-Inhalte und insbesondere seine Nutzungsbedingungen für Celebrity-LoRAs, einer der beliebtesten Benutzer-Beiträge auf der Plattform, radikal überarbeitet. Diese ermöglichen es den Nutzern, frei verfügbare Zusatzmodelle wie LoRAs zu verwenden, um AI-Darstellungen (einschließlich Video-Darstellungen) von bekannten Personen zu erstellen.

Bitte klicken, um abzuspielen. Obwohl Civit keine genauen Zahlen liefert (und Fehletikettierung/Fehlkategorisierung nicht ungewöhnlich ist, was die Zahlen wahrscheinlich verzerren würde), ist die Anzahl der Celebrity-AI-Modelle, vor allem LoRAs, offensichtlich im Bereich von mehreren Hundert oder sogar Tausenden und wird offensichtlich von weiblichen Themen dominiert. Quelle: civitai.com

Offensichtlich unter Druck stehend, erklärte der Community-Engagement-Manager von Civit, Alasdair Nicoll, in einem Twitch-Live-Stream** im Namen des Unternehmens, dass die Änderungen durch die Bedenken der Zahlungsvermittler über Erwachseneninhalte und die Darstellung realer Personen erzwungen wurden. Er räumte auch ein, dass es wahrscheinlich ist, dass die Hauptkräfte hinter diesen Vermittlern, Visa und MasterCard, später noch größere Änderungen verlangen werden:

‘Diese Änderungen sind nicht das, was wir vorhatten. Dies liegt an neuen und bevorstehenden Gesetzen. Es gibt Deepfake-Gesetze, AI-Porn-Gesetze… Zahlungsvermittler und letztendlich Visa und MasterCard sind beunruhigt; sie wollen nicht verklagt werden und treiben letztendlich diese Änderungen voran.

‘Einige der anderen Optionen, die uns angeboten wurden, waren, alle nicht sicheren Inhalte zu entfernen; X- und Triple-X-Inhalte von CivitAI auf eine komplett neue Plattform zu verschieben und dann diese Plattform zu geo-blocken, da über die Hälfte der US-Bundesstaaten eine Form der Porn-Geo-Blockierung erfordert, [sowie] viele asiatische Länder und das Vereinigte Königreich…

‘Die dritte Option bestand darin, auf Kryptowährungen umzusteigen, also nur Kryptowährungen… es gab also buchstäblich keine guten Optionen für dies.’

Die Civit-Domain war in den letzten Tagen aufgrund von Überarbeitungen zeitweise offline. Obwohl die Plattform bereits die Verwendung von NSFW-Themen in Celebrity-LoRA/Modell-Darstellungen verboten hatte, ist es jetzt unmöglich, den Modellbereich von Civit zu durchsuchen und Celebrity-LoRA-Vorschauen neben der sehr großen Anzahl von generischen NSFW-Modellen zu sehen, die für die Erstellung von Erwachseneninhalten entwickelt wurden.

Die offizielle Ankündigung besagt:

‘Inhalte, die mit realen Personennamen (wie “Tom Cruise”) gekennzeichnet sind oder als POI- (reale Person-) Ressourcen gekennzeichnet sind, werden nicht mehr in den Feeds angezeigt.’

In der Twitch-Sitzung enthüllte Nicoll weitere Details zu Maßnahmen, die darauf abzielen, berühmte Persönlichkeiten und reale Personen zu schützen. Civit hat es realen Personen immer ermöglicht, die Entfernung eines auf Civit gehosteten AI-Modells, das sie darstellt, zu beantragen, aber jetzt deutet Nicoll auf ein System hin, das die erneute Hochladung solcher Bilder nach der anfänglichen Ablehnung verhindern kann, mit der Möglichkeit, eine “geschützte” Persönlichkeit sogar in Bildern zu identifizieren, die das System noch nie zuvor gesehen hat.

Zu diesem Zweck geht die Plattform jetzt eine Partnerschaft mit dem Clavata-AI-Modérationssystem ein – obwohl der Umfang, in dem Clavata diese neuen Funktionen antreibt, noch nicht klar ist.

Nicoll sagte:

‘Tom Hanks hat beispielsweise seinen Ähnlichkeitsanspruch bei uns geltend gemacht. Viele der Erwachsenendarstellerinnen haben dies ebenfalls getan; viele A-List-Schauspieler und -Schauspielerinnen haben…

‘Ich denke, der erste, der dies getan hat, war Barbara Eden, ihr Anwesen* – sie war eine der ersten, die ihren Ähnlichkeitsanspruch geltend gemacht hat, was irgendwie lustig ist, weil sie alt ist.’

Geschützt von Standard?

In den letzten zwei Jahren hat das AI-VFX-Unternehmen Metaphysic (vollständige Offenlegung: Ich habe von Anfang 2022 bis Ende 2024 für Metaphysic.ai gearbeitet) versucht, ein proprietäres System zu erstellen, das es jedem ermöglichen würde, seine eigene Ähnlichkeit zu registrieren, vor allem auf Hollywood-Namen, die besorgt über die AI-basierte Übernahme ihrer Identitäten sind, mit Unterstützung von Schauspielern wie Anne Hathaway, Octavia Spencer und Tom Hanks (mit dem die Firma an dem Robert-Zemeckis-Film Here [2024] gearbeitet hat).

Logisch gesehen hängt die Nützlichkeit des Systems immer von der endgültigen Rechtsprechung ab; basierend auf den Maßnahmen, die Civit jetzt ergriffen hat, könnte der abonnementbasierte Dienst^†, den Metaphysic vorschlägt, im Angesicht des schnellen Wachstums von Deepfake-Gesetzen und des potenziellen (kostenlosen) Schutzes durch das allgemeine Recht überflüssig sein. Es ist derzeit nicht bekannt, ob das Metaphysic-Pro-Angebot auf die Double-Negative-VFX-Firma übertragen wird, die die Vermögenswerte von Metaphysic im letzten Jahr erworben hat.

Jedenfalls scheint es immer wahrscheinlicher, dass globale Gesetze und allgemeine Marktdruck eher Schutz und Abhilfe bieten als kommerzielle Lösungen dieser Art.

Das Frosch-Kochen

Ein Bericht von 404 Media aus dem Jahr 2023 hat auf die Neigung von Celeb- und Porn-AI-Modellen bei Civit hingewiesen, obwohl der Gründer von Civit, Justin Maier, die Beziehung zwischen Benutzer-Beiträgen von Celebrity-Ähnlichkeiten und deren Verwendung bei der Erstellung von pornografischem Material heruntergespielt hat.

Obwohl Civit Geld durch die Nutzung von LoRAs und anderen Benutzer-Modellen auf der Plattform verdient, ist Nicoll klar, dass dies nicht das Hauptanliegen ist, das Visa und MasterCard dazu veranlasst, Änderungen an der Plattform zu verlangen, damit diese weiterhin monetarisiert werden kann:

‘Einige Leute sagen, dass der Grund, warum wir in dieser Situation sind, darin liegt, dass wir die Generierung zulassen. Das spielt keine Rolle. Die Aufnahme dieser Modelle, die Aufnahme dieses Inhalts, ist bereits ausreichend, um die Aufmerksamkeit von Sauron auf sich zu ziehen.’

Community-Kommentar-Threads haben in den letzten Jahren festgestellt, dass Civit Celebrity-Ähnlichkeiten gehostet hat. Angesichts der Möglichkeit, vielleicht der Unausweichlichkeit einer restriktiveren Regelung, wurden mehrere Initiativen vorgeschlagen oder umgesetzt, um LoRAs zu erhalten, die von Civit oder ihren Uploadern entfernt wurden, einschließlich des (bislang) eher vernachlässigten Subreddits r/CivitaiArchives.

Obwohl viele vorgeschlagen haben, dass eine torrent-basierte Initiative die natürliche Lösung ist, scheint noch kein bekanntes Domain zu existieren – und in jedem Fall würde dies wahrscheinlich die Aktivität, die bei Civit und anderswo verboten ist, an die äußersten Ränder des Internets verlagern; in abgeschlossene Gärten; und, am wahrscheinlichsten, in das Darknet, da die meisten Frameworks, die verbotene Ähnlichkeits-LoRAs (wie Reddit und Discord) aufnehmen könnten, entweder bereits solche Inhalte verbieten oder wahrscheinlich bald verbieten werden.

Derzeit können Celebrity-LoRAs bei Civit mit einigen Einschränkungen noch gesehen werden, obwohl die meisten generierten Inhalte aus der Liste entfernt wurden und von der casualen Entdeckung ausgeschlossen werden. Was wahrscheinlich ist, schlug ein Kommentator in der Twitch-Sitzung vor, ist, dass die restriktive Regelung vertieft wird (vermutlich in dem Maße, dass alle Ähnlichkeiten realer Personen in hochgeladenen Modellen oder Darstellungen verboten werden).

Nicoll antwortete:

‘”Sie werden nicht hier aufhören, sie werden immer mehr und mehr fordern” – absolut! Ja, absolut. Das ist einfach die Welt, in der wir leben. Die einzige Hoffnung ist, dass wir groß und stark genug werden, um ein bisschen mehr zu bestimmen, was uns diktiert wird […]

Verzweifelt an den Alternativen, die Civit angeboten wurden, fügte Nicoll hinzu:

‘[…] Niemand wird Bitcoin kaufen, um den CivitAI-Generator zu verwenden. Wir haben also versucht, dies so angenehm wie möglich zu machen, und das ist, was wir herausgefunden haben. Also entschuldigen Sie, wenn dies etwas ist, das Sie einfach nicht ertragen können, aber leider ist es, was es ist. Wir haben unser Bestes getan, wir haben so viel wie möglich Widerstand geleistet, aber letztendlich wurden wir informiert, dass dies es ist – Sie müssen dies tun, oder es wird das Ende sein […]’

‘[…] Diese Finanzinstitute, sie verstehen nicht, was die Leute hier damit machen. Wir haben versucht, es ihnen zu erklären, wir haben versucht, mit ihnen zu sprechen, aber wir sind praktisch die letzte Bastion von [NSFW]-Inhalten.

Nicoll sagte, dass Civit jeden Zahlungsvermittler angesprochen hat:

‘Sogar die High-Risk-Zahlungsvermittler, die Porn-Websites verwenden, und sie sind alle sehr, sehr vorsichtig mit AI-Inhalten. Das ist das Problem – es sind AI-Inhalte. Wenn wir eine traditionelle Porn-Website wären, wären wir in Ordnung, aber AI-Inhalte sind es, was sie fürchten.’

Wohin als Nächstes?

Bevor diese Ankündigung gemacht wurde, war Civit dabei beobachtet worden, Uploads zu entfernen, die von einigen der Kategorien und Arten von Inhalten abgedeckt wurden, die jetzt verboten sind. Zum Zeitpunkt des Schreibens wurde ein “Notfall-Repository” für Wan 2.1 LoRAs auf der Hugging-Face-Website eingerichtet. Obwohl einige der LoRAs, die dort archiviert sind, dazu bestimmt sind, allgemeine sexuelle Aktivitäten zu erleichtern, die in neuen Video-Modellen wie Wan 2.1 nur schlecht trainiert oder fehlen, fallen einige von ihnen unter die jetzt streng verbotene “Entkleidung”-Kategorie (d. h. “Entkleiden”), einschließlich einiger Modelle, die als “extrem” oder offensichtlich anstößig angesehen werden können.

Der Subreddit r/datahoarders, der an der Spitze der Bewegung stand, um Online-Literatur der US-Regierung unter Donald Trumps Massenlöschungskampagne zu bewahren, hat bisher verachtung für die Idee gezeigt, verloren gegangene CivitAI-Inhalte zu retten.

In der Literatur ist CivitAIs einfache Erleichterung der NSFW-AI-Generierung nicht unbemerkt geblieben. Allerdings ist eine der meistzitierten Studien, die 2024 veröffentlichte Exploring the Use of Abusive Generative AI Models on Civitai, durch die Tatsache eingeschränkt, dass Civit bislang keine Celebrity- oder illegale AI-Generierungen zugelassen hat und durch die Entscheidung der Forscher, ihre Beweise auf Civit selbst zu finden.

Offensichtlich jedoch ist es, was die Zahlungsvermittler beunruhigt, nicht das, was mit LoRAs auf Civit selbst produziert wird, oder was dort veröffentlicht wird, sondern was in anderen Gemeinschaften mit diesen Modellen getan wird, die entweder geschlossen oder allgemein weniger reguliert sind.

Die Mr.-Deepfakes-Website, die synonym mit der vorherrschenden autoencoder-basierten Methode von NSFW-Deepfakes war, bis zum Aufkommen von Stable Diffusion und diffusion-basierten Modellen im Jahr 2022, hat kürzlich begonnen, Beispiele von celeb-basierten pornografischen Videos mit den neuesten Wellen von Text-zu-Video- und Bild-zu-Video-Generatoren zu posten, einschließlich Hunyuan Video und Wan 2.1 – beides sehr aktuelle Veröffentlichungen, deren Einfluss noch in den Kinderschuhen steckt, aber die im Laufe des Jahres Schlagzeilen machen werden.

Pflichtmetadaten

Eine interessante Änderung, die offensichtlich von den Zahlungsvermittlern verlangt wird, ist, dass alle Bilder auf der Website jetzt Metadaten enthalten müssen. Wenn ein Bild oder ein Video von einem generativen Modell in einem typischen Workflow auf einer Plattform wie ComfyUI produziert wird, enthält die Ausgabe normalerweise Metadaten, die das verwendete Modell (seinen Hash sowie seinen Namen, damit seine Herkunft auch dann klar bleibt, wenn das Modell von einem Benutzer umbenannt wird) und mehrere andere Einstellungen auflisten.

Da diese versteckten Datenpunkte über die Erstellung des Bildes vorhanden sind, können Benutzer ein Video oder ein Bild, das von jemand anderem erstellt wurde, in ihren eigenen ComfyUI-Workflow ziehen und den gesamten Workflow neu erstellen und fehlende Abhängigkeiten (wie Modelle oder Komponenten, die der ursprüngliche Ersteller hatte, die der Benutzer dann finden und herunterladen muss) angehen.

Alle Bild- oder Video-Generierungen, die diese Daten fehlen, werden, wie Civit angekündigt hat, innerhalb von 30 Tagen gelöscht. Benutzer können diese Daten manuell hinzufügen, indem sie sie auf der Civit-Website selbst eingeben.

Da der Wert von Metadaten (vermutlich) beweisrechtlich ist, scheint diese Anforderung ziemlich sinnlos; es ist trivial, Metadaten von einer Datei in eine andere zu kopieren, und die ad-hoc-Erfindung von Metadaten über ein Web-Formular macht diese neue Regel ein bisschen verwirrend.

Trotzdem haben mehrere Benutzer (einschließlich eines, der in der Twitch-Sitzung kommentierte) Tausende von Bildern auf Civit hochgeladen. Ihre einzige Möglichkeit ist es jetzt, jedes von ihnen manuell zu annotieren oder sie zu löschen und Versionen der Bilder mit hinzugefügten Metadaten neu hochzuladen – was alle “Likes” oder “Buzz” oder Konversationen, die die ursprünglichen Bilder generiert haben, löschen wird.

Die neuen Regeln

Hier sind die zusammengefassten Änderungen, die ab heute auf Civit anwendbar sind:

• Inhalte, die mit realen Personennamen oder als reale Person-Ressourcen gekennzeichnet sind, werden nicht mehr in öffentlichen Feeds angezeigt.
• Inhalte mit Kind/Minor-Themen werden aus den Feeds gefiltert.
• X- und XXX-Rated-Inhalte, die Metadaten-Generierungsdaten fehlen, werden aus der öffentlichen Ansicht verborgen und mit einer Warnung gekennzeichnet, die es dem Hochlader ermöglicht, die fehlenden Details hinzuzufügen. Solche Inhalte werden nicht gelöscht, sondern bleiben nur für ihren Ersteller sichtbar, bis sie aktualisiert werden.
• Bilder, die mit der Bring-Your-Own-Image- (BYOI-) Funktion erstellt werden, müssen jetzt mindestens 50% Rauschänderung während der Generierung anwenden. Dies bedeutet, dass die künstliche Intelligenz das hochgeladene Bild erheblich ändern muss, wodurch die Wahrscheinlichkeit, fast identische Replikate zu erzeugen, verringert wird. Bilder, die jedoch vollständig auf CivitAI erstellt oder aus anderen CivitAI-Inhalten remixt wurden, unterliegen nicht dieser Regel und können immer noch jeden Denoise-Level verwenden, von keiner Änderung (0,0) bis hin zu vollständiger Transformation (1,0). Diese Änderung soll den Missbrauch der BYOI-Funktion verhindern, die sonst verwendet werden könnte, um subtile oder nicht erkennbare Deepfakes durch leichte Änderung von echten Bildern realer Personen zu erstellen. Die erzwungene Mindeständerung von 50% stellt sicher, dass die künstliche Intelligenz nicht nur ein bestehendes Foto einer realen Person leicht bearbeitet.
• Wenn mit X- oder XXX-Inhalten durchsucht wird, werden Suchanfragen nach Celebrity-Namen keine Ergebnisse liefern. Die Kombination von Celebrity-Namen mit Erwachseneninhalten bleibt verboten.
• Werbung wird nicht auf Bildern oder Ressourcen angezeigt, die darauf abzielen, das Aussehen realer Personen nachzubilden.
• Das “Buzz”-System (Tipping) wird für Bilder oder Ressourcen deaktiviert, die reale Personen darstellen.
• Modelle, die darauf ausgelegt sind, reale Personen nachzubilden, sind nicht für den Early-Access-Service von Civitai zugelassen, der es Erstellern ermöglicht, Inhalte zuerst an zahlende Unterstützer zu veröffentlichen. Dies beschränkt die Monetarisierung von Celebrity- oder realen Person-Ähnlichkeiten.
• Ein 2257-Konformitätserklärung wurde hinzugefügt, um zu klären, dass die Plattform keine nicht von künstlicher Intelligenz generierten Inhalte zulässt. Dies hilft, rechtlichen Schutz zu gewährleisten, indem bestätigt wird, dass alle expliziten Materialien synthetisch und nicht auf realen Fotografien oder Videos basieren.
• Ein neues Inhalt-Entfernungsanfrage-Formular ermöglicht es jedem, missbräuchliche oder illegale Materialien ohne Anmeldung zu melden. Registrierte Benutzer sollten die integrierten Berichtstools auf jedem Beitrag weiterhin verwenden. Dies ist getrennt von dem bestehenden Formular zur Anfrage der Entfernung eines eigenen Ähnlichkeitsanspruchs von der Plattform.
• CivitAI hat ein neues Moderationssystem durch eine Partnerschaft mit Clavata eingeführt, deren Bildanalyse-Tools frühere Lösungen wie Amazon Rekognition und Hive übertrafen.

** Ab dem 20. Mai 2025, 11:23:47 (es könnte früher passiert sein), wurde der Twitch-Live-Stream heruntergenommen. Um sicherzustellen, dass ich die in der Übertragung gemeldeten Fakten überprüfen konnte, behalte ich eine Kopie bei.

* Trotz der Erwähnung von Barbara Edens “Anwesen”, ist die Schauspielerin von “Ich träumte von Jeannie” noch am Leben und derzeit 93 Jahre alt.
^† Archiviert: https://archive.ph/tsMb0

Erstveröffentlicht am Donnerstag, dem 24. April 202. Geändert am Donnerstag, dem 24. April 2025, 14:32:28: Korrigierte Daten. Geändert am Dienstag, dem 20. Mai 2025, um die Entfernung von Twitch-Inhalten zu berücksichtigen, die als Referenzmaterial verwendet wurden.