CivitAI strammer regler for deepfakes under pres fra Mastercard og Visa

CivitAI, muligvis det mest populære AI-model-repositorie på internettet, har endelig givet efter for pres fra betalingsfacilitatorerne MasterCard og Visa for at radikalt ændre deres politikker på NSFW-indhold – og særligt deres TOS vedrørende celebrity LoRAs, en af de mest populære bruger-uploadede indholdstrømme på siden, som giver folk mulighed for at bruge frit downloadbare hjælpe-modeller såsom LoRAs til at skabe AI-afbildninger (herunder video-afbildninger) af kendte mennesker.

Klik for at afspille. Selvom Civit ikke giver præcise tal (og forkert mærkning/forkert kategorisering ikke er usædvanligt, hvilket sandsynligvis ville forvrænge tal), er antallet af kendte AI-modeller, primært LoRAs, tydeligt i hundredvis eller endda tusindvis, og tydeligt domineret af kvindelige emner. Kilde: civitai.com

Det er tydeligt, at de opererer under pres i en Twitch live-stream** på vegne af virksomheden, at Community Engagement Manager Alasdair Nicoll, selv en skaber af (SFW) modeller på Civit, indrømmer, at ændringerne er tvunget på siden af deres betalingsprocessorer på grund af bekymringer om voksenindhold og afbildninger af rigtige mennesker. Han indrømmer også sandsynligheden for, at de primære kræfter bag disse processorer, Visa og MasterCard, sandsynligvis vil kræve endnu større ændringer senere:

‘Disse ændringer er ikke noget, vi ønskede at gøre. Dette handler om nye og forestående love. Der er deepfake-love derude, der er AI-porn-love… betalingsprocessorer og ultimativt Visa og MasterCard er bange; de vil ikke være blevet sagsøgt, og de driver i sidste ende disse ændringer.

‘Nogle af de andre muligheder, vi fik, var at fjerne ikke-sikker-for-arbejde helt; fjerne x og triple-x-indhold fra CivitAI og på en helt ny platform, og derefter geo-blokere denne platform, fordi over halvdelen af US-staterne kræver en form for porn-geo-blokering, [samt] mange asiatiske lande og Storbritannien…

‘Den tredje mulighed var at gå fuldt ud i krypto, krypto-betalinger kun… så der var bogstaveligt talt ingen gode muligheder for dette.’

Civit-domænet har været nede periodisk i de seneste dage, åbenbart for at effektuere ændringerne. Selvom siden allerede havde forbudt brugen af NSFW-temaer i celebrity LoRA/model-afbildninger, er det nu umuligt at browse model-sektionen af Civit og se celebrity LoRA-forhåndsvisninger side om side med det meget store antal generiske NSFW-modeller, der er designet til at producere voksenindhold.

Den officielle meddelelse siger:

‘Indhold, der er mærket med rigtige personers navne (som “Tom Cruise”) eller markeret som POI (rigtig person) ressourcer, vil blive skjult fra feeds.’

I Twitch-sessionen afslørede Nicoll yderligere detaljer om foranstaltninger, der er designet til at beskytte kendte og rigtige mennesker. Civit har altid tilladt rigtige mennesker at anmode om, at en Civit-vært AI-model, der afbilder dem, skal fjernes, men nu antyder Nicoll et system, der kan forhindre, at sådanne billeder genuploades efter den første afvisning, med muligheden for at identificere en ‘beskyttet’ personlighed, selv i billeder, som systemet aldrig har set før.

Til dette formål er siden nu i samarbejde med Clavata AI-moderationssystemet – selvom omfanget af, hvortil Clavata vil drive disse nye faciliteter, endnu ikke er klart.

Nicoll sagde:

‘Tom Hanks har krævet sin lighed fra os, for eksempel. Meget af de voksne skuespillerinder har; meget af A-liste skuespillere og skuespillerinder har…

‘Jeg tror, den første, vi nogensinde havde, var Barbara Eden, hendes ejendom* – hun var en af de første til at kræve sin lighed, hvilket er lidt morsomt, fordi hun er gammel.’

Beskyttet som standard?

Over de sidste par år har AI-VFX-virksomheden Metaphysic (fuld afsløring: Jeg arbejdede for Metaphysic.ai fra begyndelsen af 2022 til slutningen af 2024) forsøgt at oprette et proprietært system, der ville give mulighed for enhver at registrere deres egen lighed, primært rettet mod Hollywood-navne, der er bekymrede for AI-baseret kapring af deres identiteter, med støtte fra skuespillere såsom Anne Hathaway, Octavia Spencer og Tom Hanks (med hvem virksomheden arbejdede på Robert Zemeckis’ Here [2024]).

Logisk set ville nyttigheden af systemet altid afhænge af eventuel retspraksis; baseret på de ændringer, Civit nu er tvunget til at gøre, kunne det abonnementsbaserede service, der er foreslået af Metaphysic, være overflødigt i lyset af den hurtige vækst af deepfake-love og potentiel (gratis) dækning under fælles lov. Det er ikke kendt, om Metaphysic Pro-tilbuddet vil overføres til Double Negative VFX-virksomheden, som købte Metaphysics aktiver sidste år.

I alle tilfælde synes det mere og mere, at global lov og generelle markedskræfter er mere sandsynlige at give beskyttelse og midler, modsat kommercielle løsninger af denne art.

At koge en frø

En rapport fra 404 Media i 2023 tiltrak opmærksomhed til tendensen til celeb- og porn-AI-modeller på Civit, selvom virksomhedens grundlægger Justin Maier nedtonede forholdet mellem brugerbidragne celeberty-ligheder og deres brug til at generere pornografisk materiale.

Selvom Civit tjener penge ved at facilitere brugen af LoRAs og andre bruger-tilførte modeller på siden, er Nicoll klar over, at dette ikke er den primære bekymring, der motiverer Visa og MasterCard til at diktere ændringer på siden, så den kan fortsat blive moniteret:

‘Nogle mennesker siger, at årsagen til, at vi er i denne situation, er, at vi tillader generation. Det kommer ikke ind i det. Værten af disse modeller, værten af dette indhold, er nok til at tiltrække Saurons øje.’

Community-kommentartråde har undret sig over de seneste år over, at Civit har været tilladt at hoste celeberty-ligheder. Bevidst om muligheden, måske uundgåeligheden af en nedlukning, er der blevet foreslået eller implementeret flere initiativer til at bevare LoRAs, der enten er fjernet af Civit eller af deres uploadere, herunder det (indtil nu) ret oversete subreddit r/CivitaiArchives.

Da mange har foreslået, at en torrent-baseret initiativ er den naturlige løsning, synes det ikke, at nogen velkendt domæne endnu er dukket op – og i alle tilfælde ville dette sandsynligvis flytte aktivitet, der er forbudt på Civit og andre steder, til de yderste kanter af internettet; til lukkede haver; og, sandsynligvis, til det mørke net, da de fleste rammer, der kunne rumme forbudte lighed-LoRAs (såsom Reddit og Discord), enten allerede forbinder sådant indhold eller sandsynligvis vil gøre det snart.

For øjeblikket kan celeberty-LoRAs stadig ses med visse begrænsninger på Civit, selvom det meste af det genererede indhold er blevet fjernet fra listen og vil blive ekskluderet fra casual opdagelse. Det synes sandsynligt, at en kommentator foreslog til Nicoll i Twitch-sessionen, at nedlukningen vil dykke (formodentlig til det punkt, hvor alle ligheder af rigtige mennesker i uploadede modeller eller afbildninger bliver forbudt).

Nicoll svarede:

‘”De vil ikke stoppe her, de vil fortsætte med at kræve mere og mere” – absolut! Ja, absolut. Det er bare den verden, vi lever i. Den eneste håb er, at vi bliver store og magtfulde nok, så vi har en smule mere at sige i, hvad der bliver dikteret os […]

Nicoll tilføjede, desperation over de tilbudte alternativer til Civit:

‘[…] Ingen vil købe Bitcoin for at [bruge] CivitAI-generatoren. Så vi har forsøgt at gøre dette så palæbeligt som muligt, og det er, hvad vi er endt med. Så, undskyld, hvis dette er noget, du ikke kan bære, men desværre er det, hvad det er. Vi har forsøgt vores bedste, vi har presset tilbage så meget som muligt, men til sidst blev vi fortalt, at dette er det – du må gøre dette eller det er slut […]’

‘[…] Disse finansielle institutioner, de forstår ikke, hvad folk gør her med det. Vi har forsøgt at fortælle dem, vi har forsøgt at tale med dem, men vi er praktisk talt den sidste bastion af [NSFW]-indhold.

Nicoll sagde, at Civit havde kontaktet ‘hver eneste betalingsprocessor, der kan tænkes:

‘Selv de højrisikobetalingsprocessorer, som pornosites bruger, og de er alle meget, meget forsigtige med AI-indhold. Det er AI-indhold, der er problemet. Hvis vi var en traditionel pornoside, ville vi være okay, men AI-indhold er, hvad de er bange for.’

Hvor næste?

Før denne meddelelse havde Civit været observeret til at fjerne uploads, der var dækket af nogle af de kategorier og typer af indhold, der nu er forbudt. På tidspunktet for skrivningen er en ’emergency repository’ for Wan 2.1 LoRAs blevet etableret på Hugging Face-webstedet. Selvom nogle af LoRAs, der er arkiveret her, er designet til at facilitere generelle seksuelle aktiviteter, der er dårligt trænet eller fraværende i nye video-modeller såsom Wan 2.1, falder flere af dem under den nu strengt forbudte ‘undress’-kategori (dvs. ‘nudificering’), herunder nogle modeller, der kan argumenteres for at være ‘ekstreme’ eller åbenbart potentielt krænkende.

Subredditen r/datahoarders, som har været i spidsen for at bevare online litteratur fra den amerikanske regering under Donald Trumps massedeletion-kampagne, har hidtil vist foragt for idéen om at redde tabt CivitAI-indhold.

I litteraturen har CivitAIs lette facilitation af NSFW AI-generation ikke været ubemærket. En af de mest citerede studier, 2024 paperet Exploring the Use of Abusive Generative AI Models on Civitai, er handicappet af, at Civit ikke har tilladt celeberty- eller ulovlige AI-genereringer til dato, og af forskernes beslutning om at finde deres beviser på Civit selv.

Det er dog tydeligt, at hvad der bekymrer betalingsprocessorer, ikke er, hvad der produceres med LoRAs på Civit selv, eller hvad der offentliggøres der, men hvad der gøres med disse modeller i andre fællesskaber, der er lukkede eller generelt mindre regulerede.

Mr. Deepfakes-webstedet, som var synonymt med den almindelige autoencoder-baserede metode til NSFW deepfaking, indtil ankomsten af Stable Diffusion og diffusion-baserede modeller i 2022, har nyligt begyndt at offentliggøre eksempler på celeb-baseret pornografisk video ved hjælp af den seneste bølge af tekst-til-video og billed-til-video-generering, herunder Hunyuan Video og Wan 2.1 – begge meget nye udgivelser, hvis indflydelse er i sin begyndelse, men som synes at skulle få incendiary overskrifter, da deres respektive fællesskaber udvikler sig over løbet af dette år.

Obligatorisk metadata

En interessant ændring, der tilsyneladende er blevet krævet af betalingsprocessorerne, ifølge Nicoll, er, at alle billeder på siden nu skal indeholde metadata. Når et billede eller en video er produceret af en generativ model i en typisk arbejdsgang på en platform som ComfyUI, indeholder outputtet generelt metadata, der nævner den model, der er brugt (dens hash samt dens navn, så hvis modellen er omdøbt af en bruger, forbliver dens proveniens klar) og flere andre indstillinger.

Da brugere kan trække en video eller et billede, der er lavet af en anden, ind i deres egen ComfyUI-arbejdsgang og genskabe hele arbejdsgangen, og håndtere eventuelle manglende afhængigheder (såsom modeller eller komponenter, som den oprindelige skaber havde, som brugeren derefter skal finde og downloade),

Enhver billede- eller video-generering, der mangler denne data, vil, som Civit har meddelt, blive slettet inden for tredive dage. Brugere kan tilføje sådant data manuelt ved at skrive det ind på Civit-webstedet selv.

Da værdien af metadata er (formodentlig) bevisligt, synes denne krav ret meningsløs; det er trivialt at kopiere og indsætte metadata fra en fil til en anden, og ad hoc-opfindelse af metadata via en web-form gør denne nye regel lidt forvirrende.

Alligevel har flere brugere (herunder en, der kommenterede i Twitch-sessionen) mange tusinde billeder uploadet på Civit. Deres eneste udvej er nu at manuelt annotere hver af dem eller slette og genupload versioner af billederne med tilføjet metadata – hvilket vil slette eventuelle ‘likes’ eller ‘buzz’ eller samtaler, som de oprindelige billeder genererede.

De nye regler

Her er de sammenfattede ændringer, der gælder for Civit fra i dag:

• Indhold, der er mærket med rigtige personers navne eller identificeret som rigtig person-ressourcer, vil ikke længere være synlige i offentlige feeds.
• Indhold med barn/minor-temaer vil blive filteret ud af feeds.
• X og XXX-klassificeret indhold, der mangler generations-metadata, vil blive skjult fra offentlig visning og markeret med en advarsel, hvilket giver uploaderen mulighed for at tilføje de manglende oplysninger. Sådant indhold vil ikke blive slettet, men vil kun være synligt for dens skaber, indtil det er opdateret.
• Billeder, der er lavet med Bring Your Own Image (BYOI)-funktionen, skal nu anvende mindst 50% støjændring under generation. Dette betyder, at AI’en skal modificere det uploadede billede betydeligt, hvilket reducerer chancen for at generere næsten eksakte kopier. Billeder, der er lavet helt på CivitAI eller remixet fra andet CivitAI-indhold, er ikke omfattet af denne regel og kan stadig bruge enhver støjniveau, fra ingen ændring (0,0) til fuld transformation (1,0). Denne ændring er designet til at reducere misbrug af BYOI-værktøjet, som ellers kunne bruges til at producere subtile eller uopdagelige deepfakes ved at ændre virkelige billeder kun lidt.
• Når du browser med X eller XXX-indhold aktiveret, vil søgninger efter celeberty-navne ikke returnere nogen resultater. At kombinere celeberty-navne med voksenindhold er stadig forbudt.
• Reklamer vil ikke vises på billeder eller ressourcer, der er designet til at efterligne rigtige personers udseende.
• Tipping (Buzz) vil blive deaktiveret for billeder eller ressourcer, der afbilder rigtige personer.
• Modeller, der er designet til at efterligne rigtige mennesker, vil ikke være berettiget til Early Access, en Civitai-funktion, der giver skabere mulighed for at udgive indhold først til betalende støtter. Dette begrænser moniteringen af celeberty- eller rigtige person-ligheder.
• En 2257 Compliance Statement er blevet tilføjet for at klargøre, at platformen ikke tillader noget ikke-AI-genereret indhold. Dette hjælper med at sikre juridisk beskyttelse ved at bekræfte, at alle eksplicitte materialer er syntetiske og ikke baseret på rigtige fotografier eller video.
• En ny Content Removal Request-side giver mulighed for enhver at anmelde misbrugt eller ulovligt materiale uden at skulle logge ind. Registrerede brugere skal fortsat bruge de indbyggede rapporteringsværktøjer på hver post. Dette er separat fra den eksisterende formular til anmodning om fjernelse af ens lighed fra platformen.
• CivitAI har introduceret et nyt moderationsystem gennem et samarbejde med Clavata, hvis billedanalyseværktøjer har overgået tidligere løsninger såsom Amazon Rekognition og Hive.

** Som af tirsdag, 20. maj 2025, 11:23:47 (det kan være sket tidligere), er Twitch live-stream blevet taget ned. For at sikre, at jeg kunne verificere fakta i streamen, har jeg en kopi.

* Trods omtale af Barbara Edens ‘ejendom’, er I Dream of Jeannie skuespilleren stadig i live, nu 93 år gammel.
^† Arkiveret: https://archive.ph/tsMb0

Først udgivet torsdag, 24. april 202. Ændret torsdag, 24. april 2025, 14:32:28: korrektede datoer. Ændret tirsdag, 20. maj 2025, for at afspejle fjernelse af Twitch-indhold, der blev brugt som reference.