CivitAI Strammer Deepfake-Regler Under Pres Fra Mastercard Og Visa

CivitAI, muligvis det mest populære AI-model-repository på internettet, har endelig givet efter for pres fra betalingsfacilitatorerne MasterCard og Visa for at radikalt revidere deres politikker for NSFW-indhold – og særligt deres TOS vedrørende celebrity LoRAs, en af webstedets mest populære brugerindsendte indholdstrømme, som giver folk mulighed for at bruge frit downloadbare hjælpemodeller som f.eks. LoRAs til at skabe AI-skildringer (herunder video-skildringer) af kendte personer.

Klik for at afspille. Selvom Civit ikke giver præcise tal (og forkert mærkning/forkert kategorisering ikke er usædvanligt, hvilket sandsynligvis ville forvrænge tal), er antallet af celebrity AI-modeller, primært LoRAs, klart i flere hundreder eller endda tusinder, og klart domineret af kvindelige emner. Kilde: civitai.com

Det er klart, at de opererer under pres i en Twitch live-stream** på vegne af virksomheden, at Community Engagement Manager Alasdair Nicoll, selv en skaber af (SFW) modeller på Civit, indrømmer, at ændringerne er blevet tvunget på webstedet af deres betalingsprocessorer bekymringer om voksenindhold og skildring af virkelige personer. Han indrømmer også sandsynligheden for, at de primære kræfter bag disse processorer, Visa og MasterCard, sandsynligvis vil kræve endnu større ændringer senere:

‘Disse ændringer er ikke noget, vi ønskede at gøre. Dette kommer tilbage til nye og forestående lovgivning. Der er deepfake-love derude, der er AI-pornolove… betalingsprocessorer, og ultimativt Visa og MasterCard er bange; de vil ikke være sagsøgt, og de driver i sidste ende disse ændringer.

‘Nogle af de andre muligheder, vi fik, var at fjerne ikke-sikker-for-arbejde-overalt; fjerne x og triple-x-indhold fra CivitAI og over på en helt ny platform, og derefter geo-blokere denne platform, fordi over halvdelen af US-staterne kræver nogen form for pornografisk geo-blokering, [samt] mange asiatiske lande og Storbritannien…

‘Den tredje mulighed var at gå fuldt ud i krypto, krypto-betalinger kun… så der var bogstavelig talt ingen gode muligheder for dette.’

Civit-domænet har været nede periodisk for revisioner i de seneste dage, åbenbart for at effektuere ændringerne. Selvom webstedet allerede havde forbudt brugen af NSFW-temaer i celebrity LoRA/model-skildringer, er det nu umuligt at gennemse model-sektionen af Civit og se celebrity LoRA-forhåndsvisninger side om side med det meget store antal generiske NSFW-modeller, der er designede til at producere voksenindhold.

Den officielle meddelelse siger:

‘Indhold, der er mærket med rigtige personnavne (som “Tom Cruise”) eller markeret som POI (rigtig person) ressourcer, vil blive skjult fra feeds.’

I Twitch-sessionen afslørede Nicoll yderligere detaljer om foranstaltninger, der er designet til at beskytte berømte personer og virkelige personer. Civit har altid tilladt virkelige personer at anmode om, at en Civit-vært AI-model, der afbilder dem, skal fjernes, men nu antyder Nicoll et system, der kan forhindre, at sådanne billeder genuploades efter den første afvisning, med muligheden for at identificere en ‘beskyttet’ personlighed, selv i billeder, som systemet aldrig har set før.

Til dette formål er webstedet nu i partnerskab med Clavata AI-moderationssystemet – selvom omfanget af, hvilken grad Clavata vil drive disse nye faciliteter, endnu ikke er klart.

Nicoll sagde:

‘Tom Hanks har krævet sin lighed fra os, for eksempel. Meget af de voksne skuespillerinder har; meget af A-liste-skuespillere og skuespillerinder har…

‘Jeg tror, den første, vi nogensinde havde, var Barbara Eden, hendes bo* – hun var en af de første til at kræve sin lighed, hvilket er lidt morsomt, fordi hun er gammel.’

Beskyttet Som Standard?

Over de sidste par år har AI-VFX-virksomheden Metaphysic (fuld afsløring: Jeg arbejdede for Metaphysic.ai fra begyndelsen af 2022 til slutningen af 2024) forsøgt at skabe et proprietært system, der ville give mulighed for, at hvem som helst kan registrere deres egen lighed, selvom det primært var rettet mod Hollywood-navne, der er bekymrede for AI-baseret kapring af deres identiteter, med støtte fra skuespillere såsom Anne Hathaway, Octavia Spencer og Tom Hanks (med hvem virksomheden arbejdede på Robert Zemeckis’ Her [2024]).

Logisk set ville nyttigheden af systemet altid afhænge af endelige retssager; baseret på de ændringer, Civit nu er tvunget til at gøre, kunne abonnementsbaseret tjeneste^† foreslået af Metaphysic være overflødig i lyset af den hurtige vækst af deepfake-love og potentiel (gratis) dækning under fælles lov. Det er ikke kendt, om Metaphysic Pro-tilbuddet vil overføres til Double Negative VFX-virksomheden, som erhvervede Metaphysics aktiver sidste år.

I alle tilfælde synes det, at globale love og generelle markedskræfter er mere sandsynlige til at give beskyttelse og retsmidler, i stedet for kommercielle løsninger af denne art.

At Koge Frøen

En rapport fra 2023 fra 404 Media tiltrak opmærksomhed til tilbøjeligheden for celeb- og porn AI-modeller på Civit, selvom webstedets grundlægger Justin Maier nedtonede forholdet mellem brugerbidragne celebrity-ligheder og deres brug til at generere pornografisk materiale.

Selvom Civit tjener penge ved at facilitere brugen af LoRAs og andre brugerleverede modeller på webstedet, er Nicoll klar over, at dette ikke er den primære bekymring, der motiverer Visa og MasterCard til at specificere ændringer på webstedet, så det kan fortsætte med at blive moneteret:

‘Nogle mennesker siger, at årsagen til, at vi er i denne situation, er, fordi vi tillader generation. Det kommer ikke ind i det. Værten for disse modeller, værten for dette indhold, er nok til at tiltrække Saurons øje.’

Community-kommentartråde har undret sig over de seneste år over, at Civit har været tilladt at værte celebrity-ligheder. Bevidste om muligheden, måske uundgåeligheden af en nedlukning, er der blevet foreslået eller implementeret flere initiativer til at bevare LoRAs, der enten er fjernet af Civit eller af deres uploadere, herunder den (indtil nu) ret oversete subreddit r/CivitaiArchives.

Selvom mange har foreslået, at en torrent-baseret initiativ er den naturlige løsning, synes det ikke, at nogen velkendt domæne endnu er dukket op – og i alle tilfælde ville dette synes at flytte aktivitet, der er forbudt på Civit og andre steder, til de yderste kanter af internettet; til lukkede haver; og sandsynligvis til det sorte net, da de fleste rammer, der kunne rumme forbudte ligheds-LoRAs (såsom Reddit og Discord), enten allerede forbyder sådant indhold eller synes sandsynligt at forbyde det snart.

I øjeblikket kan celebrity LoRAs stadig ses med visse begrænsninger på Civit, selvom det meste af det genererede indhold er blevet fjernet og vil blive ekskluderet fra almindelig opdagelse. Det synes sandsynligt, at en kommentator foreslog til Nicoll i Twitch-sessionen, at nedlukningen vil dykke (formodentlig til en sådan grad, at alle ligheder af virkelige personer i uploaded modeller eller skildringer bliver forbudt).

Nicoll svarede:

‘”De vil ikke stoppe her, de vil fortsætte med at kræve mere og mere” – absolut! Ja, absolut. Det er bare den verden, vi lever i. Den eneste håb er, at vi bliver store nok og magtfulde nok, så vi vil have lidt mere at sige i, hvad der bliver dikteret os […]

Fortvivlet over de alternative muligheder, der blev tilbudt Civit, tilføjede Nicoll:

‘[…] Ingen vil købe Bitcoin for at [bruge] CivitAI-generatoren. Så vi har forsøgt at gøre dette så smagligt som muligt, og det er, hvad vi er endt med. Så, mine undskyldninger, hvis dette er noget, du ikke kan bære, men desværre er det, hvad det er. Vi har forsøgt vores bedste, vi har presset tilbage så meget som muligt, men til sidst blev vi fortalt, at dette er det – du må gøre dette, eller det vil være slut […]’

‘[…] Disse finansielle institutioner, de forstår ikke, hvad folk gør her med det. Vi har forsøgt at fortælle dem, vi har forsøgt at tale med dem, men vi er praktisk talt den sidste fæstning af [NSFW] indhold.

Nicoll sagde, at Civit havde kontaktet ‘hver eneste betalingsprocessor, der kan tænkes:

‘Selv de højrisikable betalingsprocessorer, som pornosider bruger, og de er alle meget, meget forsigtige med AI-indhold. Det er problemet – det er AI-indhold. Hvis vi var en traditionel pornoside, ville vi være okay, men AI-indhold er, hvad de er bange for.’

Hvorhen?

Før denne meddelelse havde Civit været observeret til at fjerne uploads, der dækkede nogle af de kategorier og typer af indhold, der nu er forbudt. På tidspunktet for skrivningen er der blevet etableret en ‘nødhjælpsrepository’ for Wan 2.1 LoRAs på Hugging Face-webstedet. Selvom nogle af LoRAs, der er arkiveret her, er designede til at lette generelle seksuelle aktiviteter, der er dårligt trænet eller fraværende i nye video-modeller såsom Wan 2.1, falder flere af dem under den nu strengt forbudte ‘afklædnings’-kategori (dvs. ‘nøgenhed’), herunder nogle modeller, der kan siges at være ‘ekstreme’ eller åbenlyst potentielt krænkende.

Subreddit r/datahoarders, som har været i spidsen for at bevare online-litteratur fra den amerikanske regering under Donald Trumps massesletkampagne, har hidtil vist foragt for idéen om at redde tabt CivitAI-indhold.

I litteraturen har CivitAIs lette facilitation af NSFW AI-generation ikke været ubemærket. Dog er en af de mest citerede studier, 2024-rapporten Exploring the Use of Abusive Generative AI Models on Civitai, handicappet af, at Civit ikke har tilladt celebrity eller ulovlige AI-generationer til dato, og af forskernes beslutning om at finde deres beviser på Civit selv.

Det er dog klart, at hvad der bekymrer betalingsprocessorer, ikke er, hvad der produceres med LoRAs på Civit selv, eller hvad der offentliggøres der, men hvad der gøres med disse modeller i andre fællesskaber, der enten er lukkede eller generelt mindre regulerede.

Webstedet Mr. Deepfakes, som var synonymt med den almindelige autoencoder-baserede metode til NSFW deepfaking, indtil ankomsten af Stable Diffusion og diffusion-baserede modeller i 2022, har nyligt begyndt at offentliggøre eksempler på celeb-baserede pornografiske videoer, der bruger den seneste bølge af tekst-til-video- og billed-til-video-generering, herunder Hunyuan Video og Wan 2.1 – begge meget nye udgivelser, hvis indflydelse er i sin begyndelse, men som synes at skulle fremkalde kontroversielle overskrifter, da deres respektive fællesskaber udvikler sig over løbet af dette år.

Obligatorisk Metadata

En interessant ændring, der åbenbart er blevet krævet af betalingsprocessorerne, ifølge Nicoll, er, at alle billeder på webstedet nu skal indeholde metadata. Når et billede eller en video er produceret af en generativ model i en typisk arbejdsgang på en platform som ComfyUI, indeholder outputtet generelt metadata, der nævner den model, der er brugt (dens hash samt dens navn, så hvis modellen er omdøbt af en bruger, forbliver dens oprindelse tydelig) og mange andre indstillinger.

Fordi disse skjulte datapunkter om, hvordan billedet er lavet, kan brugere trække en video eller et billede, der er lavet af en anden, ind i deres egen ComfyUI-arbejdsgang og genskabe hele flowet og løse eventuelle manglende afhængigheder (såsom modeller eller komponenter, som den oprindelige skaber havde, som brugeren derefter skal finde og downloade).

Ethvert billede eller video-generation, der mangler disse data, vil, som Civit har meddelt, blive slettet inden for tredive dage. Brugere kan tilføje sådanne data manuelt ved at taste dem ind på Civit-webstedet selv.

Da værdien af metadata åbenbart er (formodentlig) bevisligt, synes denne betingelse ret meningsløs; det er let at kopiere og indsætte metadata fra en fil til en anden, og ad hoc-opfindelse af metadata via en webform gør denne nye regel lidt forvirrende.

Alligevel har flere brugere (herunder en, der kommenterede i Twitch-sessionen) mange tusinder af billeder uploaded på Civit. Deres eneste udvej er nu at manuelt annotere hver af dem eller slette og genupload versioner af billederne med tilføjet metadata – hvilket vil slette eventuelle ‘synes om’ eller ‘buzz’ eller samtaler, som de oprindelige billeder genererede.

De Nye Regler

Her er de sammenfattede ændringer, der er gældende på Civit fra i dag:

• Indhold, der er mærket med rigtige personnavne eller markeret som rigtig person ressourcer, vil ikke længere være synlige i offentlige feeds.
• Indhold med barn/minor-temaer vil blive filtreret ud af feeds.
• X og XXX-klassificerede indhold, der mangler generations-metadata, vil blive skjult fra offentlig visning og markeret med en advarsel, hvilket giver uploaderen mulighed for at tilføje de manglende detaljer. Sådant indhold vil ikke blive slettet, men vil forblive synligt kun for dens skaber, indtil det er opdateret.
• Billeder, der er lavet med funktionen Bring Your Own Image (BYOI), skal nu anvende mindst 50% støjændring under generation. Dette betyder, at AI’en skal modificere det uploaded billede betydeligt, hvilket reducerer chancen for at generere næsten eksakte kopier. Billeder, der er lavet helt på CivitAI eller remixet fra andet CivitAI-indhold, er ikke omfattet af denne regel og kan stadig bruge enhver støjniiveau, fra ingen ændring overhovedet (0,0) til fuld transformation (1,0). Denne ændring er designet til at reducere misbrug af BYOI-værktøjet, som ellers kunne bruges til at producere subtile eller usynlige deepfakes ved at ændre virkelige billeder meget lidt.
• Når du gennemser med X eller XXX-indhold aktiveret, vil søgninger efter celebrity-navne ikke returnere nogen resultater. At kombinere celebrity-navne med voksenindhold er stadig forbudt.
• Reklamer vil ikke være synlige på billeder eller ressourcer, der er designet til at genskabe udseendet af rigtige personer.
• Tipping (Buzz) vil blive deaktiveret for billeder eller ressourcer, der afbilder rigtige personer.
• Modeller, der er designet til at genskabe rigtige personer, vil ikke være berettiget til Early Access, en Civitai-funktion, der giver skabere mulighed for at udgive indhold først til betalende støtter. Dette begrænser moneteringen af celebrity eller rigtig person ligheder.
• En 2257 Compliance Statement er blevet tilføjet for at klargøre, at platformen ikke tillader noget ikke-AI-genereret indhold. Dette hjælper med at sikre juridisk beskyttelse ved at bekræfte, at alle eksplicitte materialer er syntetiske og ikke baseret på rigtig fotografi eller video.
• En ny Content Removal Request-side giver mulighed for, at hvem som helst kan rapportere misbrugt eller ulovligt materiale uden at skulle logge ind. Registrerede brugere skal fortsætte med at bruge de indbyggede rapporteringsværktøjer på hver post. Dette er separat fra den eksisterende formular til at anmode om fjernelse af ens lighed fra platformen.
• CivitAI har introduceret et nyt moderationsystem gennem et samarbejde med Clavata, hvis billedanalyseværktøjer overgik tidligere løsninger som Amazon Rekognition og Hive.

** Som af tirsdag, den 20. maj 2025, kl. 11:23:47 (det kan være sket tidligere), er Twitch live-stream blevet taget ned. For at sikre, at jeg kunne verificere faktuelle oplysninger i streamen, har jeg en kopi.

* Despite mention of Barbara Edens ‘estate’, the I Dream of Jeannie skuespiller er stadig i live, nu 93 år gammel.
^† Arkiveret: https://archive.ph/tsMb0

Udgivet torsdag, den 24. april 202. Ændret torsdag, den 24. april 2025, kl. 14:32:28: rettede dato.
Ændret tirsdag, den 20. maj 2025, for at reflektere fjernelse af Twitch-indhold, der blev brugt som reference.