CivitAI i ny betalningsleverantörskris, medan Trump undertecknar anti-deepfake-lag

President Trump har nu undertecknat Take It Down Act, som kriminaliserar sexuella deepfakes på federal nivå i USA. Samtidigt har CivitAI-gemenskapens försök att “städa upp sitt akt” när det gäller NSFW-AI och kändisutmatning slutat i fiasko och inte lyckats blidka betalningsprocessorer, vilket får webbplatsen att söka alternativ eller riskera att stängas. Allt detta inom loppet av bara två veckor sedan den äldsta och största deepfake-porrwebbplatsen i världen gick offline…

Det har varit en betydelsefull period för den oreglerade bild- och videodeepfakingen. För bara två veckor sedan stängde Mr. Deepfakes, den främsta webbplatsen för delning av kändisdeepfakes, efter mer än sju år i en dominant position som den globala navet för sexualiserat AI-innehåll. När den gick offline hade webbplatsen i genomsnitt mer än fem miljoner besökare per månad.

Bakgrund, Mr. Deepfakes-domänen i början av maj; infällt, avbrottsmeddelandet, som nu har ersatts av ett 404-fel, sedan domänen tydligen köptes av en okänd köpare den 4 maj 2025 (https://www.whois.com/whois/mrdeepfakes.com). Källa: mrdeepfakes.com

Upphörandet av tjänster för Mr. Deepfakes tillskrevs officiellt tillbakadragandet av en “kritisk tjänsteleverantör” (se infällt bild ovan, som ersattes av domänfel inom en vecka). En samarbetsjournalistisk utredning hade avmaskat en nyckelfigur bakom Mr. Deepfakes direkt före stängningen, vilket möjliggjorde att webbplatsen kan ha stängts av personliga eller juridiska skäl.

Ungefär samtidigt införde CivitAI, den kommersiella plattformen som oftast används för kändis- och NSFW-LoRAs, en uppsättning ovanliga och kontroversiella självcensuråtgärder. Dessa påverkade deepfake-generering, modellvärd och en bredare uppsättning nya regler och begränsningar, inklusive fullständiga förbud mot vissa marginala NSFW-fetischer och vad de kallade “extremistiska ideologier”.

Dessa åtgärder föranleddes av betalningsleverantörer som tydligen hotade att dra tillbaka sina tjänster från domänen om inte ändringar gjordes när det gäller NSFW-innehåll och kändis-AI-avbildningar.

CivitAI Cut Off

Som det ser ut idag har de åtgärder som CivitAI har vidtagit inte blidkat VISA och Mastercard: ett nytt inlägg^† på webbplatsen, från communityengagemangschefen Alasdair Nicoll, avslöjar att kortbetalningar för CivitAI (vars “buzz”-system för virtuell valuta till stor del drivs av riktiga kredit- och betalkort) kommer att avbrytas från och med den 23 maj 2025.

Detta kommer att förhindra användare från att förnya månadsabonnemang eller köpa ny buzz. Även om Nicoll råder användare att byta till ett årsabonnemang (som kostar^†† 100-550 USD) före den 23 maj, är framtiden för domänen ganska osäker just nu (det bör noteras att årsabonnemang aktiverades samtidigt som tillkännagivandet om förlusten av betalningsprocessorer gjordes).

När det gäller bristen på en betalningsprocessor säger Nicoll: ‘Vi pratar med alla leverantörer som är bekväma med AI-innovation.’

När det gäller misslyckandet med de senaste försöken att ompröva webbplatsens ofta kritiserade policys kring kändis-AI och NSFW-innehåll, säger Nicoll i inlägget:

‘Vissa betalningsföretag klassificerar generativa AI-plattformar som högrisk, särskilt när vi tillåter användargenererat vuxet innehåll, även om det är lagligt och modererat. Det policyvalet, inte vad användarna gjorde, tvingade fram avbrottet.’

En kommentar från användaren “Faeia”, som är utpekad som företagets chefsstab i deras CivitAI-profil*, lägger till kontext till detta tillkännagivande:

‘Bara för att förtydliga, vi tas bort från betalningsprocessorn eftersom vi valde att inte ta bort NSFW- och vuxet innehåll från plattformen. Vi förblir engagerade i att stödja alla typer av skapare och arbetar på alternativa lösningar.’

Som en traditionell drivkraft för nya tekniker, är det inte ovanligt att NSFW-innehåll används för att starta intresse för en domän, teknik eller plattform – bara för att de ursprungliga anhängarna sedan förkastas när tillräckligt med “legitimt” kapital och/eller en användarbas har etablerats (dvs. tillräckligt med användare för att enheten ska kunna överleva när den berövas ett NSFW-sammanhang).

Det verkade som om CivitAI skulle följa Tumblr och diverse andra initiativ nedåt denna väg mot en “sanerad” produkt redo att glömma sina rötter. Men den ytterligare och växande kontroversen/stigmatiseringen kring AI-genererat innehåll av alla slag utgör en kumulativ vikt som verkar vara på väg att förhindra en sista-minuten-räddning i det här fallet. Under tiden råder det officiella tillkännagivandet användare att anta krypto som ett alternativt betalningsmedel.

Fake Out

Tillkomsten av president Donald Trump, som entusiastiskt undertecknat den federala TAKE IT DOWN-lagen, kommer sannolikt att ha påverkat några av dessa händelser. Den nya lagen kriminaliserar distributionen av icke-samtyckta intima bilder, inklusive AI-genererade deepfakes.

Lagen kräver att plattformar tar bort flaggat innehåll inom 48 timmar, med tillsyn av Federal Trade Commission. De straffrättsliga bestämmelserna i lagen träder i kraft omedelbart, vilket möjliggör åtal mot personer som medvetet publicerar eller hotar att publicera icke-samtyckta intima bilder (inklusive AI-genererade deepfakes) inom ramen för USA.

Medan lagen fick sällsynt bipartisan-stöd, samt stöd från techföretag och advokatgrupper, hävdar kritiker att den kan undertrycka legitimitet och hota integritetsverktyg som kryptering. Förra månaden förklarade Electronic Frontier Foundation (EFF) motstånd till lagförslaget, och hävdade att avlägsnandemekanismerna det föreskriver riktar sig mot en bredare kategori av material än den snävare definitionen av icke-samtyckta intima bilder som finns på andra ställen i lagstiftningen.

‘Avlägsnandebestämmelsen i TAKE IT DOWN gäller en mycket bredare kategori av innehåll – potentiellt alla bilder som innehåller intima eller sexuella innehåll – än den snävare definitionen av icke-samtyckta intima bilder som finns på andra ställen i lagförslaget. Avlägsnandebestämmelsen saknar också kritiska skydd mot frivilliga eller illvilliga avlägsnandeförfrågningar.

‘Tjänster kommer att förlita sig på automatiserade filter, som är ökänt trubbiga verktyg. De flaggar ofta lagligt innehåll, från kommentarer om rättvis användning till nyhetsrapportering. Lagens snäva tidsram kräver att appar och webbplatser tar bort tal inom 48 timmar, vilket sällan är tillräckligt med tid för att verifiera om talet faktiskt är olagligt.

‘Som ett resultat kommer online-tjänsteleverantörer, särskilt mindre företag, sannolikt att välja att undvika den betungande juridiska risken genom att enkelt avpublicera talet i stället för att ens försöka verifiera det.’

Plattformar har nu upp till ett år från lagens ikraftträdande för att etablera en formell anmälan och avlägsnande-process, vilket möjliggör för drabbade personer eller deras representanter att åberopa lagstiftningen för att begära innehållsborttagning.

Detta innebär att även om de straffrättsliga bestämmelserna är omedelbart i kraft, är plattformar inte juridiskt skyldiga att följa avlägsnandemekanismen (såsom mottagande och bearbetning av förfrågningar) förrän den ettårsperioden har löpt ut.

Om TAKE IT DOWN Act täcker AI-genererat kändisinnehåll

Även om TAKE IT DOWN Act täcker alla delstater, förbjuder den inte nödvändigtvis all AI-drivet media som innehåller kändisar. Lagen kriminaliserar distributionen av icke-samtyckta intima bilder, inklusive AI-genererade deepfakes, endast när den avbildade personen hade en rimlig förväntan om privatliv:

Lagen fastställer:

“(2) Brott som involverar äkta intima visuella avbildningar.

“(A) Involverar vuxna.

”- Utom [för bevis, rapporteringsändamål, etc.], ska det vara olagligt för varje person, i mellanstatlig eller utländsk handel, att använda en interaktiv dator för att medvetet publicera en intima visuell avbildning av en identifierbar person som inte är minderårig, om –

“(i) den intima visuella avbildningen erhölls eller skapades under omständigheter där personen visste eller borde ha vetat att den identifierbara personen hade en rimlig förväntan om privatliv;

“(ii) vad som avbildas inte frivilligt exponerades av den identifierbara personen i en offentlig eller kommersiell miljö

“(iii) vad som avbildas inte är en fråga om allmänt intresse; och

“(iv) publiceringen av den intima visuella avbildningen –

“(I) är avsedd att orsaka skada; eller

“(II) orsakar skada, inklusive psykologisk, ekonomisk eller ryktesmässig skada, för den identifierbara personen.

Den “rimliga förväntan om privatliv”-klausulen som tillämpas här har traditionellt inte gynnat kändisars rättigheter. Beroende på den rättspraxis som till slut utvecklas, är det möjligt att till och med uttryckliga AI-genererade innehåll som innehåller offentliga personer i offentliga eller kommersiella miljöer kanske inte omfattas av lagens förbud.

Den sista klausulen om att fastställa omfattningen av skada är famöst elastisk i juridiska termer, och i den meningen tillför den ingenting särskilt nytt till den lagstiftningsmässiga bördan. Men avsikten att orsaka skada verkar begränsa lagens omfattning till sammanhanget “hämnporr”, där en (okänd) ex-partner publicerar riktiga eller falska medieinnehåll om en (lika okänd) ex-partner.

Medan lagens “skada”-krav kan tyckas olämpligt för fall där anonyma användare publicerar AI-genererade avbildningar av kändisar, kan det visa sig vara mer relevant i stalkningsscenarier, där ett bredare mönster av trakasserier stöder slutsatsen att en person har medvetet och illvilligt riktat sig mot en offentlig person på flera fronter.

Även om lagens hänvisning till “täckta plattformar” utesluter privata kanaler som Signal eller e-post från dess avlägsnandebestämmelser, gäller denna uteslutning endast för skyldigheten att implementera en formell borttagningsmekanism senast maj 2026. Det innebär inte att icke-samtyckta AI- eller riktiga avbildningar som delas via privata kommunikationer faller utanför lagens straffrättsliga förbud.

Det är uppenbart att bristen på rapporteringsmekanismer på webbplatsen inte hindrar drabbade parter från att rapportera vad som nu är olagligt innehåll till polisen; inte heller förhindras de från att använda vilka konventionella kontaktmetoder som helst som en webbplats kan tillhandahålla för att göra en anmälan och begära borttagning av stötande material.

De rättigheter som lämnades kvar

Mer än sju års växande allmänna och mediala kritik mot deepfake-innehåll verkar ha kulminerat inom en ovanligt kort tidsperiod. Men medan TAKE IT DOWN Act erbjuder federala förbud, kan den inte tillämpas i alla fall som involverar AI-genererade simuleringar, vilket lämnar vissa scenarier att hanteras av den växande patchwork av delstatslagstiftning om deepfakes, där lagarna ofta reflekterar “lokala intressen”.

Till exempel i Kalifornien begränsar California Celebrities Rights Act den exklusiva användningen av en kändis identitet till sig själv och deras dödsbo, även efter deras död; däremot fokuserar ELVIS Act i Tennessee på att skydda musiker från obehöriga AI-genererade röst- och bildreproduktioner, med varje fall som reflekterar en riktad approach till intressegrupper som är framträdande på delstatsnivå.

De flesta delstater har nu lagar som riktar sig mot sexuella deepfakes, men många stoppar kort för att förtydliga om dessa skydd sträcker sig lika till privata personer och offentliga personer. Under tiden kan de politiska deepfakes som rapporteras ha satt igång Donald Trumps stöd för den nya federala lagen, men kan i praktiken stöta på konstitutionella hinder i vissa sammanhang.

^† Arkiverad version: https://web.archive.org/web/20250520024834/https://civitai.com/articles/14945

^†† Arkiverad version (som inte innehåller månatliga priser): https://web.archive.org/web/20250425020325/https://civitai.green/pricing

* Den faktiska “chefen för personalen” till VD:n på CivitAI är listad på LinkedIn under ett orelaterat namn, medan det liknande namnet “Faiona” är en officiell CivitAI-stabmoderator på webbplatsens subreddit.

Publicerad första gången tisdagen den 20 maj 2025