CivitAI skärper regler för deepfakes under tryck från Mastercard och Visa

CivitAI, möjligen den mest populära AI-modellrepositorien på internet, har till slut gett med sig för trycket från betalningsfacilitatorerna MasterCard och Visa att radikalt revidera sina policys för NSFW-innehåll – och särskilt deras TOS avseende kändis-LoRAs, en av webbplatsens mest populära användargenererade innehållsströmmar, som möjliggör för människor att använda fritt nedladdningsbara tilläggsmodeller som LoRAs för att skapa AI-avbildningar (inklusive videoavbildningar) av välkända personer.

Klicka för att spela. Även om Civit inte tillhandahåller exakta siffror (och felmärkning/felmärkning är inte ovanligt, vilket skulle sannolikt snedvrida siffrorna), är antalet kändis-AI-modeller, främst LoRAs, tydligt i flera hundra eller till och med tusentals, och tydligt dominerat av kvinnliga ämnen. Källa: civitai.com

Det är uppenbart att Civit opererar under tryck i en Twitch live-stream** på uppdrag av företaget, meddelade företagets Community Engagement Manager Alasdair Nicoll, själv en skapare av (SFW) modeller på Civit, att ändringarna har tvingats på webbplatsen av deras betalningsprocessors oro för vuxet innehåll och avbildningar av riktiga människor. Han medger också sannolikheten att de primära krafterna bakom dessa processorer, Visa och MasterCard, sannolikt kommer att kräva ännu större ändringar senare:

‘Dessa är inte ändringar som vi ville göra. Detta beror på nya och förestående lagstiftning. Det finns deepfake-lagar där ute, det finns AI-pornlagar…betalningsprocessorer, och slutligen Visa och MasterCard är rädda; de vill inte bli stämda, och de driver i slutändan dessa ändringar.

‘Några av de andra alternativen som vi fick var att ta bort allt som inte är lämpligt för arbete; ta bort x och trippel-x-innehåll från CivitAI och till en helt ny plattform, och sedan geo-blockera den plattformen, eftersom mer än hälften av de amerikanska delstaterna kräver någon form av pornografisk geo-blockering, [samt] många asiatiska länder och Storbritannien…

‘Det tredje alternativet var att gå fullt ut med krypto, kryptobetalningar bara…så det fanns bokstavligen inga bra alternativ för detta.’

Civit-domänen har varit nere periodvis under de senaste dagarna, tydligen för att genomföra ändringarna. Även om webbplatsen redan hade förbjudit användning av NSFW-teman i kändis-LoRA/modellavbildningar, är det nu omöjligt att bläddra i modellsektionen på Civit och se kändis-LoRA-förhandsvisningar sida vid sida med det mycket stora antalet generiska NSFW-modeller som är utformade för att producera vuxet innehåll.

Den officiella tillkännagivandet anger:

‘Innehåll som är märkt med riktiga personers namn (som “Tom Cruise”) eller flaggat som POI (riktig-person) resurser kommer att döljas från flöden.’

I Twitch-sessionen avslöjade Nicoll ytterligare information om åtgärder som är utformade för att skydda kändisar och riktiga människor. Civit har alltid tillåtit riktiga människor att begära att en Civit-värd AI-modell som avbildar dem ska tas bort, men nu antyder Nicoll ett system som kan förhindra att sådana bilder laddas upp igen efter det initiala avslaget, med möjligheten att identifiera en “skyddad” person även i bilder som systemet aldrig har sett förut.

För att uppnå detta samarbetar webbplatsen nu med Clavata AI-modereringssystem – även om omfattningen av vilken Clavata kommer att driva dessa nya funktioner ännu inte är klar.

Nicoll sa:

‘Tom Hanks har hävdatt sin likhet från oss, till exempel. Ganska många av de vuxna skådespelerskorna har; ganska många A-lista skådespelare och skådespelerskor har…

‘Jag tror att den första som vi någonsin hade var Barbara Eden, hennes “egendom”* – hon var en av de första som hävdade sin likhet, vilket är ganska roligt, eftersom hon är gammal.’

Skyddad som standard?

Under de senaste åren har det AI-VFX-företaget Metaphysic (fullständig avslöjande: jag arbetade för Metaphysic.ai från början av 2022 till slutet av 2024) försökt skapa ett proprietärt system som skulle tillåta vem som helst att registrera sin egen likhet, främst riktat mot Hollywood-namn som är oroliga för AI-baserad kapning av deras identiteter, med stöd från skådespelare såsom Anne Hathaway, Octavia Spencer och Tom Hanks (med vilken företaget samarbetade på Robert Zemeckis film Här [2024]).

Logiskt sett skulle nyttan av systemet alltid bero på eventuell rättspraxis; baserat på de åtgärder som Civit nu tvingas vidta, kunde den prenumerationstjänst som föreslogs av Metaphysic ^† vara överflödig i ljuset av den snabba tillväxten av deepfake-lagar och potentiell (kostnadsfri) täckning under allmän lag. Det är för närvarande inte känt om Metaphysic Pro-erbjudandet kommer att överföras till Double Negative VFX-företaget, som förvärvade Metaphysics tillgångar förra året.

I vilket fall som helst verkar det alltmer så att global lagstiftning och allmänna marknadskrafter är mer benägna att ge skydd och lösningar, snarare än kommersiella lösningar av detta slag.

Grodkokning

En rapport från 2023 av 404 Media drew attention till benägenheten för kändis- och porr-AI-modeller på Civit, även om webbplatsens grundare Justin Maier nedtonade sambandet mellan användargenererade kändislikheter och deras användning för att generera pornografiskt material.

Även om Civit tjänar pengar genom att underlätta användningen av LoRAs och andra användargenererade modeller på webbplatsen, är Nicoll tydlig med att detta inte är den primära orsaken till att Visa och MasterCard kräver ändringar på webbplatsen, så att den kan fortsätta att generera intäkter:

‘Några människor säger att anledningen till att vi är i den här röran är att vi tillåter generering. Det kommer inte in på det. Värden av dessa modeller, värden av det här innehållet, är tillräckligt för att dra ögonen av Sauron.’

Community-kommentartrådar har förundrats över att Civit har tillåtit kändislikheter. Medvetna om möjligheten, kanske oundvikligheten av en kraftigt inskränkning, har flera initiativ för att bevara LoRAs antingen tagits bort av Civit eller av deras uppladdare, föreslagits eller genomförts, inklusive den (hittills) ganska försummade subreddit r/CivitaiArchives.

Även om många har föreslagit att ett torrentbaserat initiativ är den naturliga lösningen, verkar ingen välkänd domän ha dykt upp än – och i vilket fall som helst verkar det troligt att sådan aktivitet kommer att flyttas till de yttre marginalerna av internet; till murade trädgårdar; och, troligen, till det mörka nätet, eftersom de flesta ramverk som kan ta emot förbjudna likhets-LoRAs (såsom Reddit och Discord) antingen redan förbjuder sådant innehåll eller verkar vara på väg att förbjuda det inom kort.

För närvarande kan kändis-LoRAs fortfarande ses med vissa begränsningar på Civit, även om de flesta genererade innehållet har tagits bort från listan och kommer att uteslutas från vanlig upptäckt. Vad som verkar troligt, föreslog en kommentator till Nicoll under Twitch-sessionen, är att kraftigt inskränkningen kommer att fördjupas (förmodligen till den grad att alla likheter av riktiga människor i uppladdade modeller eller avbildningar förbjuds).

Nicoll svarade:

‘”De kommer inte att sluta här, de kommer att fortsätta kräva mer och mer” – absolut! Ja, absolut. Det är bara den värld som vi lever i. Den enda förhoppningen är att vi blir tillräckligt stora och kraftfulla så att vi har lite mer att säga till om vad som dikteras för oss […]

Förtvivlad över de alternativ som erbjudits till Civit, tillade Nicoll:

‘[…] Ingen kommer att köpa Bitcoin för att [använda] CivitAI-genereringen. Så vi har försökt att göra detta så smakligt som möjligt, och det är vad vi har hamnat med. Så, mina ursäkter om detta är något som du bara inte kan stå ut med, men tyvärr är det vad det är. Vi försökte vårt bästa, vi tryckte tillbaka så mycket som vi kunde, men till slut blev vi tillsagda att detta är det – du måste göra detta eller så kommer det att vara slut […]’

‘[…] Dessa finansiella institutioner, de förstår inte vad människor gör här med det. Vi har försökt att tala om det för dem, vi har försökt att prata med dem, men vi är praktiskt taget den sista bastionen av [NSFW] innehåll.

Nicoll sa att Civit hade kontaktat ‘varje betalningsprocessor som är tänkbar:

‘Även de högriskbetalningsprocessorer som porrsajter använder, och de är alla mycket, mycket försiktiga med AI-innehåll. Det är AI-innehållet. Om vi vore en traditionell porrsajt, skulle vi vara okej, men AI-innehåll är vad de är rädda för.’

Vart nästa?

Före detta tillkännagivande hade Civit observerats ta bort uppladdningar som omfattades av några av de kategorier och typer av innehåll som nu är förbjudna. Vid tidpunkten för skrivandet har ett “nödförråd” för Wan 2.1 LoRAs etablerats på Hugging Face-webbplatsen. Även om några av LoRAs som arkiverats där är utformade för att underlätta allmänna sexuella aktiviteter som är knapphändigt tränade eller frånvarande i nya videomodeller som Wan 2.1, faller flera av dem under den nu strikt förbjudna “avklädning”-kategorin (dvs. “nudifiering”), inklusive några modeller som kan hävdas vara “extrema” eller uppenbart potentiellt stötande.

Subredditen r/datahoarders, som har varit i främsta ledet för att bevara online-litteratur från den amerikanska regeringen under Donald Trumps mass-deletionskampanj, har hittills visat förakt för idén att spara förlorat CivitAI-innehåll.

I litteraturen har CivitAIs enkla underlättande av NSFW-AI-generering inte gått obemärkt förbi. Emellertid är en av de mest citerade studierna, 2024-artikeln Exploring the Use of Abusive Generative AI Models on Civitai, hämmad av det faktum att Civit inte har tillåtit kändis- eller olaglig AI-generering hittills, och av forskarnas bestämmelse att hitta sina bevis på Civit självt.

Tydligen är det dock vad som bekymrar betalningsprocessorer inte vad som produceras med LoRAs på Civit självt, eller vad som publiceras där, utan vad som görs med dessa modeller i andra samhällen som är antingen stängda eller allmänt mindre reglerade.

Webbplatsen Mr. Deepfakes, som var synonym med den vanliga autoencoder-baserade metoden för NSFW-deepfaking, tills framväxten av Stable Diffusion och diffusion-baserade modeller 2022, har nyligen börjat publicera exempel på kändisbaserad pornografisk video med den senaste vågen av text-till-video- och bild-till-video-genererare, inklusive Hunyuan Video och Wan 2.1 – båda mycket nyligen släppta vars inflytande är embryonalt, men som verkar vara på väg att skapa kontroversiella rubriker allteftersom deras respektive samhällen utvecklas under året.

Obligatorisk metadata

En intressant ändring som tydligen krävs av betalningsprocessorer, enligt Nicoll, är att alla bilder på webbplatsen nu måste innehålla metadata. När en bild eller video produceras av en generativ modell i en typisk arbetsflöde på en plattform som ComfyUI, innehåller utmatningen vanligtvis metadata som listar den använda modellen (dess hash samt dess namn, så att om modellen döps om av en användare, förblir dess ursprung tydligt) och flera andra inställningar.

Eftersom dessa dolda datapunkter om hur bilden skapades kan användare dra en video eller bild skapad av någon annan in i sin egen ComfyUI-arbetsflöde och återskapa hela flödet, och hantera eventuella saknade beroenden (såsom modeller eller komponenter som den ursprungliga skaparen hade, som användaren sedan måste leta reda på och ladda ner).

Eventuella bild- eller video-genereringar som saknar denna data kommer, enligt Civit, att tas bort inom trettio dagar. Användare kan lägga till sådan data manuellt, genom att skriva in den på Civit-webbplatsen själv.

Eftersom värdet av metadata är (förmodligen) bevis, verkar denna bestämmelse ganska meningslös; det är trivialt att kopiera och klistra in metadata från en fil till en annan, och ad hoc-uppförandet av metadata via en webbform gör att denna nya regel är lite förbryllande.

Trots detta har flera användare (inklusive en som kommenterade i Twitch-sessionen) många tusen bilder uppladdade på Civit. Deras enda utväg nu är att manuellt annotera var och en av dem, eller så ta bort och ladda upp versioner av bilderna med tillagd metadata – vilket kommer att sudda ut eventuella “gilla-markeringar” eller “buzz” eller samtal som de ursprungliga bilderna genererade.

De nya reglerna

Här är de sammanfattade ändringarna som gäller på Civit från och med idag:

• Innehåll som är märkt med riktiga personers namn eller identifieras som riktiga-personresurser kommer inte längre att visas i offentliga flöden.
• Innehåll med barn- eller mindreåriga teman kommer att filtreras bort från flöden.
• X och XXX-betygsinnehåll som saknar generationsmetadata kommer att döljas från offentlig vy och flaggas med en varning, vilket tillåter uppladdaren att lägga till de saknade detaljerna. Sådant innehåll kommer inte att tas bort men kommer att förbli synligt endast för dess skapare tills det uppdateras.
• Bilder som skapas med funktionen Bring Your Own Image (BYOI) måste nu tillämpa minst 50% brusändring under generering. Detta innebär att AI måste signifikant modifiera den uppladdade bilden, vilket minskar chansen att generera nästan exakta kopior. Bilder som skapas helt på CivitAI eller omgjorda från annat CivitAI-innehåll omfattas inte av denna regel och kan fortfarande använda vilken som helst avbrusningsnivå, från ingen förändring alls (0,0) till fullständig omvandling (1,0). Denna ändring är avsedd att minska missbruk av BYOI-verktyget, som annars kunde användas för att producera subtila eller ouppdagliga deepfakes genom att knappt ändra riktiga bilder.
• När du bläddrar med X eller XXX-innehåll aktiverat kommer sökningar efter kändisnamn att returnera inga resultat. Att kombinera kändisnamn med vuxet innehåll förblir förbjudet.
• Annonsörer kommer inte att visas på bilder eller resurser som är utformade för att replikera utseendet på riktiga människor.
• Tipping (Buzz) kommer att inaktiveras för bilder eller resurser som avbildar riktiga människor.
• Modeller som är utformade för att replikera riktiga människor kommer inte att vara berättigade till Early Access, en Civitai-funktion som låter skapare släppa innehåll först till betalande supportrar. Detta begränsar monetiseringen av kändis- eller riktiga-person-likheter.
• En 2257 Compliance Statement har lagts till för att klargöra att plattformen inte tillåter något icke-AI-genererat innehåll. Detta hjälper till att säkerställa juridiskt skydd genom att bekräfta att allt explicit material är syntetiskt och inte baserat på riktiga foton eller videor.
• En ny innehållsborttagningsbegäran låter vem som helst rapportera stötande eller olagligt material utan att behöva logga in. Registrerade användare bör fortsätta att använda de inbyggda rapporteringsverktygen på varje inlägg. Detta är separat från den befintliga formuläret för att begära borttagning av sin egen likhet från plattformen.
• CivitAI har infört ett nytt modereringssystem genom ett samarbete med Clavata, vars bildanalysverktyg överträffade tidigare lösningar som Amazon Rekognition och Hive.

** Från och med tisdag, den 20 maj 2025, 11:23:47 (det kan ha hänt tidigare), har Twitch live-streamen tagits bort. För att säkerställa att jag kunde verifiera fakta som rapporterades i strömmen, behåller jag en kopia.

* Trots nämnandet av Barbara Edens “egendom”, är I Dream of Jeannie skådespelerskan fortfarande vid liv, för närvarande 93 år gammal.
^† Arkiverad: https://archive.ph/tsMb0

Publicerad torsdag, den 24 april 202. Ändrad torsdag, den 24 april 2025, 14:32:28: korrigering av datum.
Ändrad tisdag, den 20 maj 2025, för att återspegla borttagning av Twitch-innehåll som användes som referensmaterial.