CivitAI verschärft Deepfake-Regeln unter dem Druck von Mastercard und Visa

CivitAI, möglicherweise das beliebteste AI-Modell-Repository im Internet, hat schließlich dem Druck von Zahlungsfacilitatoren MasterCard und Visa nachgegeben, um ihre Richtlinien zu NSFW-Inhalten radikal zu überarbeiten – und insbesondere ihre TOS bezüglich Celebrity LoRAs, einer der beliebtesten Benutzer-Beiträge, die es ermöglichen, frei herunterladbare Zusatzmodelle wie LoRAs zu verwenden, um AI-Darstellungen (einschließlich Video-Darstellungen) von bekannten Personen zu erstellen.

Bitte klicken, um abzuspielen. Obwohl Civit keine genauen Zahlen angibt (und Fehletikettierung/Fehlkategorisierung nicht ungewöhnlich ist, was die Zahlen wahrscheinlich verzerren würde), ist die Anzahl der Celebrity-AI-Modelle, vor allem LoRAs, offensichtlich im Bereich von mehreren Hundert oder sogar Tausenden, und offensichtlich von weiblichen Subjekten dominiert. Quelle: civitai.com

Offensichtlich unter dem Druck einer Twitch-Live-Übertragung** im Namen des Unternehmens, gab der Community-Engagement-Manager von Civit, Alasdair Nicoll, selbst ein Ersteller von (SFW)-Modellen bei Civit, zu, dass die Änderungen durch die Bedenken der Zahlungsverarbeiter über adulte Inhalte und die Darstellung realer Personen erzwungen wurden. Er gibt auch zu, dass die Hauptkräfte hinter diesen Verarbeitern, Visa und MasterCard, wahrscheinlich noch größere Änderungen verlangen werden:

‘Diese sind keine Änderungen, die wir vornehmen wollten. Dies lässt sich auf neue und bevorstehende Gesetze zurückführen. Es gibt Deepfake-Gesetze, es gibt AI-Porn-Gesetze… Zahlungsverarbeiter und letztendlich Visa und MasterCard sind beunruhigt; sie wollen nicht verklagt werden, und sie treiben diese Änderungen voran.

‘Einige der anderen Optionen, die uns angeboten wurden, waren, nicht sichere Inhalte vollständig zu entfernen; X- und Triple-X-Inhalte von CivitAI zu entfernen und auf eine vollständig neue Plattform zu übertragen, und dann diese Plattform zu geo-blocken, da über die Hälfte der US-Bundesstaaten einige Form von Porn-Geo-Blocking erfordert, [sowie] viele asiatische Länder und das Vereinigte Königreich…

‘Die dritte Option war, vollständig auf Kryptowährungen umzusteigen… also gab es buchstäblich keine guten Optionen für dies.’

Die Civit-Domain war in den letzten Tagen periodisch aufgrund von Überarbeitungen offline, offensichtlich, um die Änderungen umzusetzen. Obwohl die Website bereits die Verwendung von NSFW-Themen in Celebrity-LoRA-/Modell-Darstellungen verboten hatte, ist es jetzt unmöglich, den Modellbereich von Civit zu durchsuchen und Celebrity-LoRA-Vorschauen nebeneinander mit der sehr großen Anzahl generischer NSFW-Modelle zu sehen, die für die Erstellung von Inhalten für Erwachsene konzipiert sind.

Die offizielle Ankündigung besagt:

‘Inhalte, die mit realen Personennamen (wie “Tom Cruise”) gekennzeichnet sind oder als POI (reale Person) Ressourcen gekennzeichnet sind, werden aus den Feeds verborgen.’

In der Twitch-Sitzung enthüllte Nicoll weitere Details zu Maßnahmen, die dazu dienen, berühmte Persönlichkeiten und reale Personen zu schützen. Civit hat es immer ermöglicht, dass reale Personen beantragen, dass ein auf Civit gehostetes AI-Modell, das sie darstellt, entfernt wird, aber jetzt deutet Nicoll auf ein System hin, das verhindern kann, dass solche Bilder nach der ersten Ablehnung erneut hochgeladen werden, mit der Möglichkeit, eine “geschützte” Persönlichkeit sogar in Bildern zu identifizieren, die das System noch nie gesehen hat.

Zu diesem Zweck kooperiert die Website jetzt mit dem Clavata-AI-Moderationssystem – obwohl der Umfang, in dem Clavata diese neuen Einrichtungen antreibt, noch nicht klar ist.

Nicoll sagte:

‘Tom Hanks hat zum Beispiel sein Ähnlichkeitsbild von uns beansprucht. Viele der Erwachsenendarstellerinnen haben dies ebenfalls getan; viele A-List-Schauspieler und -Schauspielerinnen haben…

‘Ich denke, die erste Person, die dies getan hat, war Barbara Eden, ihr Nachlass* – sie war eine der ersten, die ihr Ähnlichkeitsbild beanspruchte, was ein bisschen lustig ist, weil sie alt ist.’

Geschützt standardmäßig?

In den letzten paar Jahren hat das AI-VFX-Unternehmen Metaphysic (vollständige Offenlegung: Ich habe von Anfang 2022 bis Ende 2024 für Metaphysic.ai gearbeitet) versucht, ein proprietäres System zu erstellen, das es jedem ermöglichen würde, sein eigenes Ähnlichkeitsbild zu registrieren, vor allem auf Hollywood-Namen, die besorgt über die AI-basierte Entwendung ihrer Identitäten sind, mit Unterstützung von Schauspielern wie Anne Hathaway, Octavia Spencer und Tom Hanks (mit dem die Firma an dem Robert-Zemeckis-Film Here [2024] gearbeitet hat).

Logisch gesehen hängt die Nützlichkeit des Systems immer von der endgültigen Rechtsprechung ab; basierend auf den Maßnahmen, die Civit jetzt ergriffen hat, könnte der abonnementbasierte Dienst^†, den Metaphysic vorschlägt, im Angesicht des schnellen Wachstums von Deepfake-Gesetzen und möglicher (kostenloser) Abdeckung unter dem Common Law überflüssig sein. Es ist derzeit nicht bekannt, ob das Metaphysic-Pro-Angebot auf das Double-Negative-VFX-Unternehmen übertragen wird, das die Vermögenswerte von Metaphysic im letzten Jahr erworben hat.

Jedenfalls scheint es immer mehr, dass globale Gesetze und allgemeine Marktdruck eher Schutz und Abhilfe bieten werden, im Gegensatz zu kommerziellen Lösungen dieser Art.

Das langsame Kochen des Froschs

Ein Bericht von 404 Media aus dem Jahr 2023 hatte darauf hingewiesen, dass es auf Civit eine Neigung zu Celeb- und Porn-AI-Modellen gibt, obwohl der Gründer von Civit, Justin Maier, die Beziehung zwischen benutzerbeitragenen Celebrity-Ähnlichkeitsbildern und deren Verwendung bei der Erstellung von pornografischem Material heruntergespielt hat.

Obwohl Civit Geld verdient, indem es die Verwendung von LoRAs und anderen benutzerbeigesteuerten Modellen auf der Website ermöglicht, ist Nicoll klar, dass dies nicht die Hauptursache ist, die Visa und MasterCard dazu veranlasst, Änderungen an der Website zu verlangen, damit diese weiter monetarisiert werden kann:

‘Einige Leute sagen, dass der Grund, warum wir in diesem Schlamassel stecken, darin liegt, dass wir die Generierung ermöglichen. Das spielt keine Rolle. Die Aufnahme dieser Modelle, die Aufnahme dieser Inhalte, ist bereits ausreichend, um das Auge von Sauron auf sich zu ziehen.’

Community-Kommentarthreads haben in den letzten Jahren festgestellt, dass Civit Celebrity-Ähnlichkeitsbilder hostet. Angesichts der Möglichkeit, vielleicht Unvermeidbarkeit einer restriktiveren Regelung, wurden mehrere Initiativen vorgeschlagen oder umgesetzt, um LoRAs zu erhalten, die von Civit oder ihren Uploadern entfernt wurden, einschließlich der (bis jetzt) ziemlich vernachlässigten Subreddit r/CivitaiArchives.

Obwohl viele vorgeschlagen haben, dass eine torrentbasierte Initiative die natürliche Lösung ist, scheint noch keine gut gefolgte Domäne aufgetaucht zu sein – und in jedem Fall würde dies wahrscheinlich die Aktivität, die auf Civit und anderswo verboten ist, an die äußersten Ränder des Internets verlagern; in abgeschlossene Gärten; und, wahrscheinlich, ins Darknet, da die meisten Frameworks, die verbotene Ähnlichkeits-LoRAs aufnehmen könnten (wie Reddit und Discord), entweder bereits solche Inhalte verbieten oder wahrscheinlich bald verbieten werden.

Zurzeit können Celebrity-LoRAs mit einigen Einschränkungen auf Civit noch gesehen werden, obwohl die meisten der generierten Inhalte bereits aus der Liste entfernt und von der casualen Entdeckung ausgeschlossen werden. Was wahrscheinlich ist, schlug ein Kommentator in der Twitch-Sitzung vor, ist, dass die restriktivere Regelung vertieft wird (vermutlich in dem Maße, dass alle Ähnlichkeitsbilder realer Personen in hochgeladenen Modellen oder Darstellungen verboten werden).

Nicoll antwortete:

‘”Sie werden nicht hier stoppen, sie werden immer mehr und mehr verlangen” – absolut! Ja, absolut. Das ist einfach die Welt, in der wir leben. Die einzige Hoffnung ist, dass wir groß und mächtig genug werden, um ein bisschen mehr zu bestimmen, was uns diktiert wird […]

Verzweifelt an den Alternativen, die Civit angeboten wurden, fügte Nicoll hinzu:

‘[…] Niemand wird Bitcoin kaufen, um den CivitAI-Generator zu verwenden. Also haben wir versucht, dies so angenehm wie möglich zu machen, und das ist, was wir herausgefunden haben. Also entschuldigen Sie, wenn dies etwas ist, das Sie einfach nicht ertragen können, aber leider ist es, was es ist. Wir haben unser Bestes getan, wir haben so viel wie möglich zurückgedrängt, aber letztendlich wurden wir angewiesen, dass dies es ist – Sie müssen dies tun oder es wird das Ende sein […] ‘

‘[…] Diese Finanzinstitute, sie verstehen nicht, was die Leute hiermit machen. Wir haben versucht, es ihnen zu erklären, wir haben versucht, mit ihnen zu sprechen, aber wir sind praktisch die letzte Bastion von [NSFW]-Inhalten.

Nicoll sagte, dass Civit jeden Zahlungsverarbeiter angesprochen habe, den man sich vorstellen kann:

‘Sogar die High-Risk-Zahlungsverarbeiter, die Porn-Websites verwenden, und sie sind alle sehr sehr vorsichtig mit AI-Inhalten. Das ist das Problem – es sind AI-Inhalte. Wenn wir eine traditionelle Porn-Website wären, würden wir in Ordnung sein, aber AI-Inhalte sind das, wovor sie Angst haben.’

Wo als Nächstes?

Bevor diese Ankündigung gemacht wurde, war Civit dabei beobachtet worden, Uploads zu entfernen, die von einigen der Kategorien und Arten von Inhalten abgedeckt wurden, die jetzt verboten sind. Zum Zeitpunkt des Schreibens wurde ein “Notfall-Repository” für Wan 2.1 LoRAs auf der Hugging Face-Website eingerichtet. Obwohl einige der LoRAs, die dort archiviert sind, dazu dienen, allgemeine sexuelle Aktivitäten zu ermöglichen, die in neuen Video-Modellen wie Wan 2.1 knapp trainiert oder fehlen, fallen einige davon unter die jetzt streng verbotene “Entkleidung”-Kategorie (d. h. “Entkleidung”), einschließlich einiger Modelle, die als “extrem” oder offensichtlich potenziell anstößig angesehen werden können.

Die Subreddit r/datahoarders, die an der Spitze der Erhaltung von Online-Literatur der US-Regierung unter Donald Trumps Massenlöschkampagne stand, hat bisher Verachtung für die Idee gezeigt, verloren gegangene CivitAI-Inhalte zu erhalten.

In der Literatur ist die leichte Erstellung von NSFW-AI-Generationen durch CivitAI nicht unbemerkt geblieben. Allerdings ist eine der meistzitierten Studien, das 2024 Papier Exploring the Use of Abusive Generative AI Models on Civitai, durch die Tatsache eingeschränkt, dass Civit keine Celebrity- oder illegale AI-Generationen bis heute zugelassen hat, und durch die Entscheidung der Forscher, ihre Beweise auf Civit selbst zu finden.

Offensichtlich jedoch ist es nicht das, was mit LoRAs auf Civit selbst produziert wird, oder was dort veröffentlicht wird, was die Zahlungsverarbeiter beunruhigt, sondern was in anderen Gemeinschaften mit diesen Modellen getan wird, die entweder geschlossen oder allgemein weniger reguliert sind.

Die Mr. Deepfakes-Website, die synonym mit der vorherrschenden autoencoder-basierten Methode von NSFW-Deepfaking war, bis zum Aufkommen von Stable Diffusion und diffusion-basierten Modellen im Jahr 2022, hat kürzlich begonnen, Beispiele von celeb-basierten pornografischen Videos mit der neuesten Welle von Text-zu-Video- und Bild-zu-Video-Generatoren zu posten, einschließlich Hunyuan Video und Wan 2.1 – beide sehr neu und deren Einfluss noch im Entstehen ist, aber die anscheinend darauf abzielen, brisante Schlagzeilen zu erhalten, wenn sich ihre jeweiligen Gemeinschaften im Laufe dieses Jahres entwickeln.

Pflichtmetadaten

Eine interessante Änderung, die offensichtlich von den Zahlungsverarbeitern verlangt wird, ist, dass alle Bilder auf der Website Metadaten enthalten müssen. Wenn ein Bild oder ein Video von einem generativen Modell in einem typischen Workflow auf einer Plattform wie ComfyUI erzeugt wird, enthält die Ausgabe normalerweise Metadaten, die das verwendete Modell (seinen Hash sowie seinen Namen, sodass im Falle einer Umbenennung des Modells durch einen Benutzer seine Herkunft erhalten bleibt) und mehrere andere Einstellungen auflisten.

Da diese versteckten Datenpunkte über die Erstellung des Bildes vorhanden sind, können Benutzer ein Video oder Bild, das von jemand anderem erstellt wurde, in ihren eigenen ComfyUI-Workflow ziehen und den gesamten Fluss rekonstruieren und fehlende Abhängigkeiten (wie Modelle oder Komponenten, die der ursprüngliche Ersteller hatte, die der Benutzer dann finden und herunterladen muss) angehen.

Jedes Bild- oder Video-Generieren, dem diese Daten fehlen, wird, wie Civit angekündigt hat, innerhalb von dreißig Tagen gelöscht. Benutzer können solche Daten manuell hinzufügen, indem sie sie auf der Civit-Website selbst eingeben.

Da der Wert von Metadaten (vermutlich) beweisrechtlich ist, scheint diese Anforderung ziemlich sinnlos; es ist trivial, Metadaten von einer Datei in eine andere zu kopieren, und die ad-hoc-Erfindung von Metadaten über ein Web-Formular macht diese neue Regel ein bisschen verwirrend.

Trotzdem haben mehrere Benutzer (einschließlich eines, der in der Twitch-Sitzung kommentierte) Tausende von Bildern auf Civit hochgeladen. Ihre einzige Möglichkeit ist jetzt, jedes von ihnen manuell zu annotieren oder Versionen der Bilder mit hinzugefügten Metadaten zu löschen und erneut hochzuladen – was alle “Likes” oder “Buzz” oder Gespräche, die die ursprünglichen Bilder generiert haben, löschen wird.

Die neuen Regeln

Hier sind die zusammengefassten Änderungen, die ab heute auf Civit anwendbar sind:

• Inhalte, die mit realen Personennamen gekennzeichnet sind oder als reale Person-Ressourcen identifiziert werden, werden nicht länger in öffentlichen Feeds angezeigt.
• Inhalte mit Kind-/Minderjährigenthemen werden aus den Feeds gefiltert.
• X- und XXX-bewertete Inhalte, die keine Generierungs-Metadaten enthalten, werden aus der öffentlichen Ansicht verborgen und mit einer Warnung gekennzeichnet, die es dem Hochlader ermöglicht, die fehlenden Details hinzuzufügen. Solche Inhalte werden nicht gelöscht, sondern bleiben nur für ihren Ersteller sichtbar, bis sie aktualisiert werden.
• Bilder, die mit der Bring-Your-Own-Image-(BYOI)-Funktion erstellt werden, müssen jetzt während der Generierung mindestens 50% Rauschänderung anwenden. Dies bedeutet, dass die künstliche Intelligenz das hochgeladene Bild erheblich ändern muss, wodurch die Chance, nahezu exakte Replikate zu erzeugen, verringert wird. Bilder, die jedoch vollständig auf CivitAI erstellt oder aus anderen CivitAI-Inhalten remixt werden, unterliegen dieser Regel nicht und können immer noch jeden Entrauschungsgrad verwenden, von keiner Änderung (0,0) bis hin zu vollständiger Umwandlung (1,0). Diese Änderung soll den Missbrauch der BYOI-Funktion verringern, der sonst dazu verwendet werden könnte, subtile oder nicht erkennbare Deepfakes durch leichte Änderung von echten Bildern zu erzeugen. Die Verpflichtung zu einer Mindeständerung von 50% stellt sicher, dass die künstliche Intelligenz nicht nur ein leicht bearbeitetes existinges Foto einer realen Person bearbeitet.
• Bei der Suche mit X- oder XXX-Inhalten werden Suchanfragen nach Celebrity-Namen keine Ergebnisse liefern. Die Kombination von Celebrity-Namen mit maturem Inhalt bleibt verboten.
• Werbung wird nicht auf Bildern oder Ressourcen angezeigt, die darauf abzielen, das Aussehen realer Personen nachzuahmen.
• Das Tippen (Buzz) wird für Bilder oder Ressourcen deaktiviert, die reale Personen darstellen.
• Modelle, die reale Personen nachahmen, sind nicht für den Early-Access-Modus von Civitai geeignet, eine Funktion, die es Erstellern ermöglicht, Inhalte zuerst an zahlende Unterstützer zu veröffentlichen. Dies begrenzt die Monetarisierung von Celebrity- oder realen Person-Ähnlichkeitsbildern.
• Ein 2257-Konformitätserklärung wurde hinzugefügt, um zu klären, dass die Plattform keinen nicht von künstlicher Intelligenz generierten Inhalt zulässt. Dies hilft, rechtlichen Schutz zu gewährleisten, indem bestätigt wird, dass alle expliziten Materialien synthetisch und nicht auf reale Fotografie oder Video basierend sind.
• Ein neuer Inhaltsentfernungsantrag ermöglicht es jedem, missbräuchliche oder illegale Materialien ohne Anmeldung zu melden. Registrierte Benutzer sollten weiterhin die integrierten Meldetools auf jedem Beitrag verwenden. Dies ist separates von dem bestehenden Formular zur Anfrage der Entfernung des eigenen Ähnlichkeitsbildes von der Plattform.
• CivitAI hat ein neues Moderationssystem durch eine Partnerschaft mit Clavata eingeführt, dessen Bildanalyse-Tools die bisherigen Lösungen wie Amazon Rekognition und Hive übertroffen haben.

** Ab Dienstag, dem 20. Mai 2025, 11:23:47 Uhr (es könnte früher passiert sein), wurde die Twitch-Live-Übertragung entfernt. Um sicherzustellen, dass ich die in der Übertragung gemeldeten Fakten überprüfen kann, behalte ich eine Kopie.

* Trotz der Erwähnung des “Nachlasses” von Barbara Eden ist die Ich träume von Jeannie -Schauspielerin noch am Leben, derzeit 93 Jahre alt.
^† Archiviert: https://archive.ph/tsMb0

Erstveröffentlichung am Donnerstag, dem 24. April 202. Geändert am Donnerstag, dem 24. April 2025, 14:32:28 Uhr: Korrektur der Daten.
Geändert am Dienstag, dem 20. Mai 2025, um die Entfernung des Twitch-Inhalts als Referenzmaterial widerzuspiegeln.