CivitAI skärper regler för deepfakes under press från Mastercard och Visa

CivitAI, möjligen den mest populära AI-modellrepositoryn på internet, har slutligen gett med sig för pressen från betalningsfacilitatorerna MasterCard och Visa att radikalt revidera sina policys för NSFW-innehåll – och särskilt deras TOS avseende celebrity LoRAs, en av webbplatsens mest populära användargenererade innehållsströmmar, som möjliggör för människor att använda fritt nedladdningsbara tilläggsmodeller som t.ex. LoRAs för att skapa AI-avbildningar (inklusive videoavbildningar) av välkända personer.

Klicka för att spela. Även om Civit inte tillhandahåller exakta siffror (och felmärkning/felmärkning är inte ovanligt, vilket skulle kunna snedvrida siffrorna), är antalet celebrity AI-modeller, främst LoRAs, tydligt i flera hundra eller till och med tusentals, och tydligt dominerat av kvinnliga ämnen. Källa: civitai.com

Det är uppenbart att Civit opererar under press i en Twitch live-stream** på uppdrag av företaget, att communitychefer Alasdair Nicoll, själv en skapare av (SFW) modeller på Civit, medgav att ändringarna har tvingats på webbplatsen av deras betalningsprocessors oro över vuxeninnehåll och avbildningar av riktiga människor. Han medger också sannolikheten att de primära krafterna bakom dessa processorer, Visa och MasterCard, sannolikt kommer att kräva ännu större ändringar senare:

‘Dessa är inte ändringar som vi ville göra. Detta beror på nya och förestående lagstiftning. Det finns deepfake-lagar där ute, det finns AI-pornolagar… betalningsprocessorer, och slutligen Visa och MasterCard är rädda; de vill inte bli stämda, och de driver i slutändan dessa ändringar.

‘Några av de andra alternativen som vi fick var att ta bort allt som inte är lämpligt för arbete; ta bort x och triple-x-innehåll från CivitAI och lägga det på en helt ny plattform, och sedan geo-blockera den plattformen, eftersom över hälften av de amerikanska delstaterna kräver någon form av pornografisk geo-blockering, [samt] många asiatiska länder och Storbritannien…

‘Det tredje alternativet var att gå fullt ut med krypto, kryptobetalningar… så det fanns bokstavligen inga bra alternativ för detta.’

Civit-domänen har varit nere periodvis för revisioner under de senaste dagarna, tydligen för att genomföra ändringarna. Även om webbplatsen redan hade förbjudit användningen av NSFW-teman i celebrity LoRA/modellavbildningar, är det nu omöjligt att bläddra i modellsektionen på Civit och se celebrity LoRA-förhandsvisningar sida vid sida med den mycket stora mängden generiska NSFW-modeller som är utformade för att producera vuxeninnehåll.

Det officiella tillkännagivandet säger:

‘Innehåll som är märkt med riktiga personers namn (som “Tom Cruise”) eller flaggat som POI (riktig-person) resurser kommer att döljas från flöden.’

I Twitch-sessionen avslöjade Nicoll ytterligare information om åtgärder som är utformade för att skydda kändisar och riktiga människor. Civit har alltid tillåtit riktiga människor att begära att en Civit-värd AI-modell som avbildar dem ska tas bort, men nu antyder Nicoll ett system som kan förhindra att sådana bilder laddas upp igen efter det initiala avslaget, med möjligheten att identifiera en “skyddad” person även i bilder som systemet aldrig har sett förut.

För detta ändamål samarbetar webbplatsen nu med Clavata AI-modereringssystem – även om omfattningen av Clavatas bidrag till dessa nya funktioner ännu inte är klar.

Nicoll sa:

‘Tom Hanks har krävt sin likhet från oss, till exempel. Ganska många av de vuxna skådespelerskorna har; ganska många A-lista skådespelare och skådespelerskor har…

‘Jag tror att den första som vi någonsin hade var Barbara Eden, hennes estate* – hon var en av de första som krävde sin likhet, vilket är ganska roligt, eftersom hon är gammal.’

Skyddad som standard?

Under de senaste åren har AI-VFX-företaget Metaphysic (fullständig upplysning: jag arbetade för Metaphysic.ai från början av 2022 till slutet av 2024) försökt skapa ett proprietärt system som skulle tillåta vem som helst att registrera sin egen likhet, även om det i huvudsak riktades mot Hollywood-namn som var oroliga för AI-baserad kapning av deras identiteter, med stöd från skådespelare såsom Anne Hathaway, Octavia Spencer och Tom Hanks (med vilken företaget arbetade på Robert Zemeckis film Här [2024]).

Logiskt sett skulle systemets användbarhet alltid bero på slutgiltig rättspraxis; baserat på de åtgärder Civit nu tvingas vidta, kunde prenumerationsbaserade tjänsten^† som föreslogs av Metaphysic vara överflödig i ljuset av den snabba tillväxten av deepfake-lagar och potentiell (kostnadsfri) täckning under allmän lag. Det är för närvarande inte känt om Metaphysic Pro-erbjudandet kommer att överföras till Double Negative VFX-företaget, som förvärvade Metaphysics tillgångar förra året.

I vilket fall som helst verkar det alltmer som att global lagstiftning och allmän marknadspress är mer benägna att ge skydd och lösningar, snarare än kommersiella lösningar av detta slag.

Att koka grodan

En rapport från 2023 av 404 Media drog uppmärksamhet till benägenheten hos celeb- och porr-AI-modeller på Civit, även om webbplatsens grundare Justin Maier bagatelliserade relationen mellan användargenererade celebrity-likheter och deras användning för att generera pornografiskt material.

Även om Civit tjänar pengar genom att underlätta användningen av LoRAs och andra användargenererade modeller på webbplatsen, är Nicoll tydlig med att detta inte är den primära orsaken till att Visa och MasterCard kräver ändringar på webbplatsen, så att den kan fortsätta att generera intäkter:

‘Vissa människor säger att anledningen till att vi är i den här röran är att vi tillåter generering. Det kommer inte in på det. Värden av dessa modeller, värden av det här innehållet, är tillräckligt för att dra ögonen på Sauron.’

Community-kommentartrådar har undrat under de senaste åren hur Civit har kunnat värd celebrity-likheter. Medvetna om möjligheten, kanske oundvikligheten av en kraftigt skärpt lagstiftning, har ett antal initiativ för att bevara LoRAs antingen borttagna av Civit eller av deras uppladdare, föreslagits eller genomförts, inklusive den (tills nu) ganska försummade subreddit r/CivitaiArchives.

Även om många har föreslagit att ett torrentbaserat initiativ är den naturliga lösningen, verkar ingen välkänd domän ha dykt upp ännu – och i vilket fall som helst verkar det troligt att detta skulle flytta aktiviteter som är förbjudna på Civit och andra platser till de yttersta marginalerna av internet; till inhägnade trädgårdar; och, troligen, till det mörka nätet, eftersom de flesta ramverk som kunde rymma förbjudna likhets-LoRAs (såsom Reddit och Discord) antingen redan förbjuder sådant innehåll eller verkar vara säkra på att förbjuda det inom kort.

För tillfället kan celebrity-LoRAs fortfarande ses med vissa begränsningar på Civit, även om de flesta genererade innehållet har tagits bort och kommer att uteslutas från vanlig upptäckt. Vad som verkar troligt, föreslog en kommentator till Nicoll under Twitch-sessionen, är att krafttagen kommer att fördjupas (förmodligen till den grad att alla likheter av riktiga människor i uppladdade modeller eller avbildningar förbjuds).

Nicoll svarade:

‘”De kommer inte att sluta här, de kommer att fortsätta kräva mer och mer” – absolut! Ja, absolut. Det är bara den värld som vi lever i. Den enda förhoppningen är att vi blir tillräckligt stora och kraftfulla så att vi kommer att ha lite mer att säga till om i vad som dikteras för oss […]

I avsaknad av de alternativ som erbjudits till Civit, tillade Nicoll:

‘[…] Ingen kommer att köpa Bitcoin för att [använda] CivitAI-genereringen. Så vi har försökt att göra detta så smakligt som möjligt, och det är vad vi har hamnat i. Så, mitt uraktande om detta är något som du bara inte kan stå ut med, men tyvärr är det vad det är. Vi försökte vårt bästa, vi tryckte tillbaka så mycket som vi kunde, men slutligen blev vi tillsagda att detta är det – du måste göra detta eller så kommer det att vara slutet […]’

‘[…] Dessa finansiella institutioner, de förstår inte vad människor gör här med det. Vi har försökt att berätta för dem, vi har försökt att prata med dem, men vi är praktiskt taget den sista bastionen av [NSFW] innehåll.

Nicoll sa att Civit hade kontaktat ‘varje betalningsprocessor som man kan tänka sig:

‘Även de högriskbetalningsprocessorer som porrsajter använder, och de är alla mycket mycket försiktiga med AI-innehåll. Det är AI-innehållet som är problemet. Om vi vore en traditionell porrsajt, skulle vi vara okej, men AI-innehåll är vad de är rädda för.’

Vart nästa?

Före detta tillkännagivande hade Civit observerats ta bort uppladdningar som omfattades av några av de kategorier och typer av innehåll som nu är förbjudna. Vid tidpunkten för skrivande har ett ‘nödfallslager’ för Wan 2.1 LoRAs inrättats på Hugging Face-webbplatsen. Även om några av LoRAs som arkiverats där är utformade för att underlätta allmänna sexuella aktiviteter som är dåligt tränade eller frånvarande i nya videomodeller som Wan 2.1, faller flera av dem under den nu strikt förbjudna ‘avklädnings’-kategorin (dvs. ‘nudifiering’), inklusive några modeller som kan anses vara ‘extrema’ eller uppenbart potentiellt stötande.

Subreddit r/datahoarders, som har varit i främsta ledet för att bevara online-litteratur från den amerikanska regeringen under Donald Trumps mass-deletionskampanj, har hittills visat förakt för idén att spara förlorat CivitAI-innehåll.

I litteraturen har CivitAIs enkla underlättande av NSFW AI-generering inte gått obemärkt förbi. Men en av de mest citerade studierna, 2024 papperet Exploring the Use of Abusive Generative AI Models on Civitai, är hämmat av det faktum att Civit inte har tillåtit celebrity eller olagliga AI-genereringar hittills, och av forskarnas bestämda beslut att hitta sina bevis på Civit själva.

Tydligt är dock att vad som bekymrar betalningsprocessorer inte är vad som produceras med LoRAs på Civit själva, eller vad som publiceras där, utan vad som görs med dessa modeller i andra samhällen som antingen är stängda eller allmänt mindre reglerade.

Webbplatsen Mr. Deepfakes, som var synonym med den vanliga autoencoder-baserade metoden för NSFW deepfaking, tills framväxten av Stable Diffusion och diffusion-baserade modeller 2022, har nyligen börjat publicera exempel på celeb-baserad pornografisk video med den senaste vågen av text-till-video- och bild-till-video-genererare, inklusive Hunyuan Video och Wan 2.1 – båda mycket nyligen släppta vars inflytande är embryonalt, men som verkar vara på väg att skapa kontroversiella rubriker allteftersom deras respektive samhällen utvecklas under året.

Obligatorisk metadata

En intressant ändring som tydligen krävs av betalningsprocessorer, enligt Nicoll, är att alla bilder på webbplatsen nu måste innehålla metadata. När en bild eller video produceras av en generativ modell i en typisk arbetsflöde på en plattform som ComfyUI, innehåller utdata vanligtvis metadata som listar den modell som användes (dess hash samt dess namn, så att om modellen omnamns av en användare, dess ursprung förblir tydligt) och flera andra inställningar.

På grund av dessa dolda datapunkter om hur bilden gjordes, kan användare dra en video eller bild gjord av någon annan in i sitt eget ComfyUI-arbetsflöde och återskapa hela flödet, och hantera eventuella saknade beroenden (såsom modeller eller komponenter som den ursprungliga skaparen hade, som användaren sedan måste leta reda på och ladda ner).

Alla bild- eller video-genereringar som saknar dessa data kommer, enligt Civit, att tas bort inom trettio dagar. Användare kan lägga till sådana data manuellt, genom att skriva in dem på Civit-webbplatsen själv.

Eftersom värdet av metadata (förmodligen) är bevisbaserat, verkar denna bestämmelse ganska meningslös; det är trivialt att kopiera och klistra in metadata från en fil till en annan, och ad hoc-uppfinning av metadata via en webbform gör att denna nya regel verkar lite förvirrad.

Trots detta har flera användare (inklusive en som kommenterade i Twitch-sessionen) många tusen bilder uppladdade på Civit. Deras enda utväg nu är att manuellt annotera var och en av dem, eller också ta bort och ladda upp versioner av bilderna med tillagd metadata – vilket kommer att utplåna eventuella “gilla” eller “buzz” eller samtal som de ursprungliga bilderna genererade.

De nya reglerna

Här är de sammanfattade ändringarna som gäller på Civit från och med idag:

• Innehåll som är märkt med riktiga personers namn eller identifierade som riktiga-personresurser kommer inte längre att visas i offentliga flöden.
• Innehåll med barn/minor-teman kommer att filtreras bort från flöden.
• X och XXX-betygat innehåll som saknar generationsmetadata kommer att döljas från allmän visning och markeras med en varning, vilket tillåter uppladdaren att lägga till de saknade detaljerna. Sådant innehåll kommer inte att tas bort, men kommer att förbli synligt endast för dess skapare tills det uppdateras.
• Bilder som skapas med funktionen Bring Your Own Image (BYOI) måste nu tillämpa minst 50% brusändring under generering. Detta innebär att AI måste signifikant modifiera den uppladdade bilden, vilket minskar chansen att generera nästan exakta kopior. Bilder som skapas helt på CivitAI eller remixas från annat CivitAI-innehåll omfattas dock inte av denna regel och kan fortfarande använda vilken avbrusningsnivå som helst, från ingen förändring alls (0,0) till fullständig omvandling (1,0). Denna ändring är avsedd att minska missbruk av BYOI-verktyget, som annars kunde användas för att producera subtila eller ouppmärksammade deepfakes genom att bara lätt modifiera befintliga bilder av riktiga människor. Att tvinga en minimiförändring på 50% säkerställer att AI inte bara lätt redigerar en befintlig foto av en riktig person.
• När du bläddrar med X eller XXX-innehåll aktiverat, kommer sökningar efter kändisnamn att returnera inga resultat. Att kombinera kändisnamn med vuxeninnehåll förblir förbjudet.
• Reklam kommer inte att visas på bilder eller resurser som är utformade för att replikera utseendet på riktiga människor.
• Tipping (Buzz) kommer att inaktiveras för bilder eller resurser som avbildar riktiga människor.
• Modeller som är utformade för att replikera riktiga människor kommer inte att vara berättigade till Tidig åtkomst, en Civitai-funktion som låter skapare släppa innehåll först till betalande supportrar. Detta begränsar monetariseringen av kändis- eller riktiga personers likheter.
• En 2257 Compliance Statement har lagts till för att klargöra att plattformen inte tillåter något icke-AI-genererat innehåll. Detta hjälper till att säkerställa juridiskt skydd genom att bekräfta att allt explicit material är syntetiskt och inte baserat på riktiga foton eller videor.
• En ny Innehållsborttagningsbegäran tillåter vem som helst att rapportera missbrukat eller olagligt material utan att behöva logga in. Registrerade användare bör fortsätta att använda de inbyggda rapporteringsverktygen på varje inlägg. Detta är separat från den befintliga formuläret för att begära borttagning av sin likhet från plattformen.
• CivitAI har infört ett nytt modereringssystem genom ett samarbete med Clavata, vars bildanalysverktyg överträffade tidigare lösningar som Amazon Rekognition och Hive.

** Från och med tisdag, den 20 maj 2025 11:23:47 (det kan ha hänt tidigare), har Twitch live-streamen tagits bort. För att säkerställa att jag kunde verifiera fakta som rapporterats i strömmen, behåller jag en kopia.

* Trots nämnandet av Barbara Edens “estate”, är I Dream of Jeannie skådespelerskan fortfarande vid liv, för närvarande 93 år gammal.
^† Arkiverad: https://archive.ph/tsMb0

Publicerad första gången torsdag, den 24 april 202. Ändrad torsdag, den 24 april 2025 14:32:28: rättade datum.
Ändrad tisdag, den 20 maj 2025 för att återspegla borttagning av Twitch-innehåll som användes som referensmaterial.