CivitAI strammer dykkefalsk-regler under press fra Mastercard og Visa

CivitAI, muligens det mest populære AI-modell-repositoriet på internett, har endelig gitt etter for press fra betalingsformidlere MasterCard og Visa for å radikalt revidere sine politikker for NSFW-innhold – og særlig deres TOS vedrørende celebrity LoRAs, en av sidens mest populære brukergenererte innholdstrømmer, som gjør det mulig for mennesker å bruke fritt nedlastbare hjelpemodeller som LoRAs for å lage AI-avbildninger (inkludert videoavbildninger) av kjente mennesker.

Klikk for å spille. Selv om Civit ikke gir nøyaktige tall (og feilkvalifisering/feilkategorisering er ikke uvanlig, noe som ville kunne forvrengle tallene), er antallet celebrity AI-modeller, primært LoRAs, tydelig i flere hundre eller tusener, og tydelig dominert av kvinnelige emner. Source: civitai.com

Det er tydelig at de opererer under press i en Twitch live-stream** på vegne av selskapet, selskapets Community Engagement Manager Alasdair Nicoll, selv en skaper av (SFW) modeller på Civit, innrømmet at endringene har blitt tvunget på siden av deres betalingsprosessorers bekymringer om vokseninnhold og avbildninger av virkelige mennesker. Han innrømmet også sannsynligheten for at de primære kreftene bak disse prosessorerne, Visa og MasterCard, sannsynligvis kommer til å kreve enda større endringer senere:

‘Disse er ikke endringer som vi ønsket å gjøre. Dette handler om nye og forestående lovgivning. Det finnes dykkefalsk-lover der ute, det finnes AI-porn-lover…betalingsprosessorer, og til slutt Visa og MasterCard er redd; de vil ikke bli saksøkt, og de driver disse endringene.

‘Noen av de andre alternativene som vi fikk, var å fjerne ikke-trygg-for-arbeid helt; å fjerne x og triple-x-innhold fra CivitAI og på et helt nytt platform, og så å blokkere geo for det platformet, fordi over halvparten av USAs delstater krever noen form for pornografi-geo-blokkering, [samt] mange asiatiske land og Storbritannia…

‘Det tredje alternativet var å gå fullt krypto, kryptobetaling kun…så det var bokstavelig talt ingen gode alternativer for dette.’

Civit-domenet har vært ned periodisk for revisjoner de siste dagene, åpenbart for å effektuere endringene. Selv om siden allerede hadde forbudt bruk av NSFW-temaer i celebrity LoRA/modell-avbildninger, er det nå umulig å bla gjennom modell-delen av Civit og se celebrity LoRA-forhåndsvisninger side om side med det svært store antallet generiske NSFW-modeller som er designet for å produsere vokseninnhold.

Den offisielle annonseringen sier:

‘Innhold merket med virkelige personers navn (som “Tom Cruise”) eller merket som POI (virkelig person) ressurser, vil bli skjult fra feeds.’

I Twitch-sesjonen avslørte Nicoll ytterligere detaljer om tiltak designet for å beskytte berømte personer og virkelige mennesker. Civit har alltid tillatt virkelige mennesker å be om at en Civit-vert AI-modell som avbildet dem, skulle fjernes, men nå antyder Nicoll et system som kan forhindre at slike bilder blir lastet opp igjen etter initial avvisning, med muligheten til å identifisere en ‘beskyttet’ personligdom, selv i bilder som systemet aldri har sett før.

Med dette formål, samarbeider siden nå med Clavata AI-modererings-system – selv om omfanget av Clavata vil bli brukt til å aktivere disse nye fasilitetene, er ikke ennå klart.

Nicoll sa:

‘Tom Hanks har hevdet sin likhet fra oss, for eksempel. Ganske mange av de voksne skuespillerne har; ganske mange A-liste skuespillere og skuespillerinner har…

‘Jeg tror den første som vi noen gang hadde, var Barbara Eden, hennes eiendom* – hun var en av de første som hevdet sin likhet, som er ganske morsomt, fordi hun er gammel.’

Beskyttet som standard?

Over de siste par årene, har AI VFX-selskapet Metaphysic (full åpenhet: Jeg jobbet for Metaphysic.ai fra tidlig 2022 til sent 2024) forsøkt å skape et proprietært system som ville tillate noen å registrere sin egen likhet, hovedsakelig rettet mot Hollywood-navn som er bekymret for AI-basert kapring av deres identiteter, med støtte fra skuespillere slik som Anne Hathaway, Octavia Spencer og Tom Hanks (som selskapet samarbeidet med på Robert Zemeckis-utgivelsen Here [2024]).

Logisk sett, ville nytten av systemet alltid avhenge av eventuell rettspraksis; basert på de tiltakene Civit nå blir tvunget til å iverksette, kunne det abonnementsbaserte tjenesten proposisjonen^† foreslått av Metaphysic, være overflødig i lys av den raske veksten av dykkefalsk-lover, og potensiell (gratis) dekning under vanlig lovgivning. Det er ikke kjent om Metaphysic Pro-tilbudet vil overføres til Double Negative VFX-selskapet, som kjøpte Metaphysics eiendeler i fjor.

Uansett, synes det stadig mer og mer at global lovgivning og generelle markedskrefter er mer sannsynlig å gi beskyttelse og løsninger, i stedet for kommersielle løsninger av denne typen.

Frosk i kokende vann

En rapport fra 404 Media i 2023 brakte oppmerksomhet til celeb- og porn AI-modeller på Civit, selv om selskapets grunnlegger Justin Maier nedtonet forholdet mellom brukergenererte celebrity-likheter og deres bruk i å generere pornografisk materiale.

Selv om Civit tjener penger på å fasilitere bruk av LoRAs og andre brukergenererte modeller på siden, er Nicoll tydelig på at dette ikke er det primære bekymringen som motiverer Visa og MasterCard til å diktere endringer på siden, for at den kan fortsette å bli monalisert:

‘Noen mennesker sier at grunnen til at vi er i denne messen, er fordi vi tillater generering. Det kommer ikke inn på det. Vertningen av disse modellene, vertningen av dette innholdet, er nok til å trekke øyet til Sauron.’

Community-kommentartråder har undret seg over de siste årene over at Civit har blitt tillatt å vertte celebrity-likheter. Bekreftet på muligheten, kanskje uunngåeligheten av en klempe, har flere initiativer til å bevare LoRAs enten fjernet av Civit eller av deres uploadere, blitt foreslått eller implementert, inkludert (inntil nå) ganske forlatt subreddit r/CivitaiArchives.

Flere har foreslått at en torrent-basert initiativ er den naturlige løsningen, men ingen godt fulgt domene synes å ha dukket opp ennå – og i alle fall, ville dette synes å flytte aktivitet forbudt på Civit og andre steder til ytterkantene av internettet; til lukkede hager; og, mest sannsynlig, til det mørke nettet, ettersom de fleste rammer som kunne akseptere forbudte likhet LoRAs (slik som Reddit og Discord) enten allerede forbudt slikt innhold eller synes å forbudt det snart.

For øyeblikket kan celebrity LoRAs fortsatt sees med noen begrensninger på Civit, selv om de fleste genererte innhold har blitt fjernet fra listen og vil bli ekskludert fra vanlig oppdagelse. Hva som synes sannsynlig, foreslo en kommentator til Nicoll i Twitch-sesjonen, er at klempe vil dykke (presumably til en slik grad at alle likheter av virkelige mennesker i lastede modeller eller avbildninger blir forbudt).

Nicoll svarte:

‘”De vil ikke stoppe her, de vil fortsette å kreve mer og mer” – absolutt! Ja, absolutt. Det er bare verden som vi lever i. Den eneste håpet er at vi blir store nok og mektige nok til å ha litt mer å si i hva som blir diktert til oss […]

Nicoll la til, fortvilet over alternativene som ble presentert for Civit:

‘[…] Ingen vil kjøpe Bitcoin for å [bruke] CivitAI-generatoren. Så vi har prøvd å gjøre dette så smakfullt som mulig, og dette er hva vi har endt opp med. Så, unnskyld hvis dette er noe som du bare ikke kan bære, men dessverre er det hva det er. Vi prøvde vårt beste, vi presset tilbake så mye som vi kunne, men til slutt ble vi fortalt at dette er det – du må gjøre dette eller det blir slut […]’

‘[…] Disse finansielle institusjonene, de forstår ikke hva mennesker gjør her med det. Vi har prøvd å fortelle dem, vi har prøvd å snakke med dem, men vi er praktisk talt den siste bastionen av [NSFW] innhold.

Nicoll sa at Civit hadde kontaktet ‘hver eneste betalingsprosessor som er tenkelig:

‘Selv de høyrisikable betalingsprosessorer som pornosider bruker, og de er alle veldig veldig forsiktige med AI-innhold. Det er AI-innhold. Hvis vi var en tradisjonell pornoside, ville vi være grei, men AI-innhold er det de er redd for.’

Hva nå?

Før denne annonseringen, hadde Civit blitt observert til å fjerne lastinger dekket av noen av kategorier og typer innhold som nå er forbudt. På tidspunktet for skriving, har et ‘nødhjelps-repositorium’ for Wan 2.1 LoRAs blitt etablert på Hugging Face-nettstedet. Selv om noen av LoRAs arkivert der er designet for å fasilitere generelle seksuelle aktiviteter som er dårlig trent eller fraværende i nye video-modeller som Wan 2.1, faller flere av dem under den nå strengt forbudte ‘avkle’ kategorien (dvs. ‘nudifisering’), inkludert noen modeller som kan argumenteres for å være ‘ekstreme’ eller åpenbart potensielt offensive.

Subreddit r/datahoarders, som har vært i forkant av å bevare online litteratur av USAs regjering under Donald Trumps mass-deleter-kampanje, har så langt vist forakt for ideen om å redde tapt CivitAI-innhold.

I litteraturen, har CivitAIs lette fasilitasjon av NSFW AI-generering ikke gått ubemerket. Imidlertid er en av de mest siterte studiene, 2024 paperet Exploring the Use of Abusive Generative AI Models on Civitai, hindret av at Civit ikke har tillatt celebrity eller ulovlige AI-genereringer til dato, og av forskernes bestemmelse til å finne deres bevis på Civit selv.

Det er tydelig, imidlertid, at det som bekymrer betalingsprosessorer, er ikke hva som produseres med LoRAs på Civit selv, eller hva som publiseres der, men hva som gjøres med disse modellene i andre samfunn som er enten lukkede eller generelt mindre regulerte.

Nettstedet Mr. Deepfakes, som var synonymt med den dominerende autoencoder-baserte metoden for NSFW dykkefalsk, inntil oppkomsten av Stable Diffusion og diffusjons-baserte modeller i 2022, har nylig begynt å poste eksempler på celeb-basert pornografiske videoer som bruker den siste bølgen av tekst-til-video og bilde-til-video-genereringer, inkludert Hunyuan Video og Wan 2.1 – begge svært nylige utgivelser hvis innflytelse er i sin begynnelse, men som synes å skulle skape brannhetende overskrifter mens deres respektive samfunn utvikler seg over løpet av dette året.

Obligatorisk metadata

En interessant endring som tilsynelatende blir krevd av betalingsprosessorer, ifølge Nicoll, er at alle bilder på siden nå må inneholde metadata. Når et bilde eller en video produseres av en generativ modell i en typisk arbeidsflyt på en plattform som ComfyUI, inneholder utgangen vanligvis metadata som listar modellen som ble brukt (dens hash samt dens navn, så hvis modellen blir omdøpt av en bruker, forblir dens proveniens åpenbar) og flere andre innstillinger.

Grundet disse skjulte datapunktene om hvordan bildet ble laget, kan brukere dra en video eller et bilde laget av noen andre inn i deres egen ComfyUI-arbeidsflyt og gjenskape hele flyten, og håndtere eventuelle manglende avhengigheter (slik som modeller eller komponenter som den opprinnelige skaperen hadde, som brukeren nå må finne og laste ned).

Enhver bilde- eller video-generering som mangler denne dataen, vil, ifølge Civit, bli slettet innen tredve dager. Brukere kan manuelt legge til slike data ved å skrive det inn på Civit-nettstedet selv.

Ettersom verdien av metadata er (antageligvis) bevislig, synes denne bestemmelsen ganske meningsløs; det er trivielt å kopiere og lime metadata fra en fil til en annen, og ad hoc oppfinnelse av metadata via en web-skjema gjør denne nye regelen litt forvirrende.

Likevel har flere brukere (inkludert en som kommenterte i Twitch-sesjonen) mange tusen bilder lastet opp på Civit. Deres eneste utvei nå er å manuelt annotere hver av dem, eller å slette og laste opp versjoner av bildene med lagt til metadata – som vil slette eventuelle ‘likes’ eller ‘buzz’ eller samtaler som de opprinnelige bildene genererte.

De nye reglene

Her er de sammenfattede endringene som gjelder for Civit fra i dag:

• Innhold merket med virkelige personers navn eller identifisert som virkelige personressurser, vil ikke lenger være synlige i offentlige feeds.
• Innhold med barn/minor-temaer vil bli filtrert ut av feeds.
• X og XXX-graderte innhold som mangler genererings-metadata, vil bli skjult fra offentlig visning og merket med en advarsel, som tillater uploaderen å legge til de manglende detaljene. Slike innhold vil ikke bli slettet, men vil forblir synlige bare for skaperen til det blir oppdatert.
• Bilder laget med Bring Your Own Image (BYOI)-funksjonen, må nå bruke minst 50% støyendring under generering. Dette betyr at AI-en må signifikant modifisere det lastede bildet, og redusere sjansen for å generere nærmest ekakte kopier. Imidlertid er bilder laget helt på CivitAI eller remixet fra annet CivitAI-innhold, ikke underlagt denne regelen og kan fortsatt bruke enhver støynivå, fra ingen endring (0,0) til full transformasjon (1,0). Denne endringen er ment å redusere misbruk av BYOI-verktøyet, som ellers kunne brukes til å produsere subtile eller uoppdagelige dykkefalsk ved å bare lett endre virkelige bilder.
• Når du blar med X eller XXX-innhold aktivert, vil søk etter celebrity-navn returnere ingen resultater. Kombinering av celebrity-navn med vokseninnhold er fremdeles forbudt.
• Reklame vil ikke vises på bilder eller ressurser designet for å replikere utseendet til virkelige personer.
• Tipping (Buzz) vil bli deaktivert for bilder eller ressurser som avbilder virkelige personer.
• Modeller designet for å replikere virkelige mennesker, vil ikke være kvalifisert for Early Access, en Civitai-funksjon som lar skapere slippe innhold først til betalende støttespillere. Dette begrenser moneteringen av celebrity- eller virkelige personlikheter.
• En 2257 Compliance Statement har blitt lagt til for å klargjøre at plattformen ikke tillater noen ikke-AI-generert innhold. Dette hjelper til å sikre juridisk beskyttelse ved å bekrefte at all eksplisitt materiale er syntetisk og ikke basert på virkelig fotografi eller video.
• En ny Content Removal Request-side lar noen rapportere om misbruk eller ulovlig materiale uten å logge inn. Registrerte brukere bør fortsette å bruke de innebygde rapporteringsverktøyene på hver post. Dette er separat fra den eksisterende skjema for å be om fjerning av en egen likhet fra plattformen.
• CivitAI har introdusert et nytt modererings-system gjennom et samarbeid med Clavata, hvis bilde-analyse-verktøy overgikk tidligere løsninger som Amazon Rekognition og Hive.

** Som av tirsdag, 20. mai 2025 11:23:47 (det kan ha skjedd tidligere), har Twitch live-stream blitt tatt ned. For å sikre at jeg kunne verifisere faktene som ble rapportert i strømmen, har jeg beholdt en kopi.

* Tropper Barbara Edens ‘eiendom’, er I Dream of Jeannie skuespilleren fortsatt i live, nå 93 år gammel.
^† Arkivert: https://archive.ph/tsMb0

Først publisert torsdag, 24. april 202. Endret torsdag, 24. april 2025 14:32:28: korrigerte datoer.
Endret tirsdag, 20. mai 2025 for å reflektere fjerning av Twitch-innhold brukt som referansemateriale.