CivitAI Verscherpt Deepfake-regels Onder Druk Van Mastercard en Visa

CivitAI, mogelijk het meest populaire AI-modelrepository op internet, heeft uiteindelijk toegegeven aan de druk van betalingsverwerkers MasterCard en Visa om hun beleid met betrekking tot NSFW-inhoud radicaal te herzien – en met name hun TOS met betrekking tot celebrity LoRAs, een van de meest populaire door gebruikers ingediende inhoudsstroom op de site, die mensen in staat stelt om vrij beschikbare adjunctmodellen zoals LoRAs te gebruiken om AI-afbeeldingen (inclusief video-afbeeldingen) van bekende personen te maken.

Click om af te spelen. Hoewel Civit geen exacte cijfers verstrekt (en mislabeling/miscategorizing is niet ongebruikelijk, wat de cijfers zou kunnen vertekenen), is het aantal celebrity AI-modellen, voornamelijk LoRAs, duidelijk in de honderden of zelfs duizenden, en duidelijk gedomineerd door vrouwelijke onderwerpen. Bron: civitai.com

Het is duidelijk dat de site onder druk staat in een Twitch live-stream** namens het bedrijf, de Community Engagement Manager Alasdair Nicoll, zelf een creator van (SFW) modellen op Civit, gaf toe dat de veranderingen zijn opgelegd aan de site door de zorgen van hun betalingsverwerkers over volwassen inhoud en afbeeldingen van echte personen. Hij geeft ook toe dat het waarschijnlijk is dat de belangrijkste krachten achter deze verwerkers, Visa en MasterCard, waarschijnlijk nog meer veranderingen zullen eisen:

‘Dit zijn geen veranderingen die we wilden doorvoeren. Dit komt neer op nieuwe en aankomende wetgeving. Er zijn deepfake-wetten, AI-pornowetten… betalingsverwerkers, en uiteindelijk Visa en MasterCard zijn bang; ze willen niet worden aangeklaagd, en ze zijn uiteindelijk degenen die deze veranderingen afdwingen.

‘Sommige van de andere opties die we kregen waren het verwijderen van niet-veilige inhoud voor volwassenen; het verwijderen van x en triple-x inhoud van CivitAI en naar een compleet nieuwe platform, en vervolgens geo-blokkeren van dat platform, omdat meer dan de helft van de Amerikaanse staten een vorm van pornogeoblokkering vereist, [evenals] veel Aziatische landen en het Verenigd Koninkrijk…

‘De derde optie was volledig crypto, crypto-betalingen alleen… dus er waren letterlijk geen goede opties voor dit.’

De Civit-domein is de afgelopen dagen periodiek uit geweest voor revisies, om de veranderingen door te voeren. Hoewel de site al het gebruik van NSFW-thema’s in celebrity LoRA/model-afbeeldingen had verboden, is het nu onmogelijk om de modelsectie van Civit te doorzoeken en celebrity LoRA-voorbeelden naast de zeer grote hoeveelheid generieke NSFW-modellen te zien die zijn ontworpen om volwassen inhoud te produceren.

Het officiële bericht vermeldt:

‘Inhoud getagd met echte persoonsnamen (zoals “Tom Cruise”) of gemarkeerd als POI (echte persoon) bronnen zullen worden verborgen voor feeds.’

In de Twitch-sessie onthulde Nicoll verdere details van maatregelen die zijn ontworpen om beroemde figuren en echte personen te beschermen. Civit heeft altijd toegestaan dat echte personen kunnen vragen om een Civit-gehoste AI-model dat hen afbeeldt te verwijderen, maar nu suggereert Nicoll een systeem dat dergelijke afbeeldingen kan voorkomen dat ze opnieuw worden geüpload na de initiële afwijzing, met de mogelijkheid om een ‘beschermde’ persoon te identificeren, zelfs in afbeeldingen die het systeem nog nooit heeft gezien.

Om dit doel te bereiken, werkt de site nu samen met het Clavata AI-moderatiesysteem – hoewel de mate waarin Clavata deze nieuwe faciliteiten zal aandrijven nog niet duidelijk is.

Nicoll zei:

‘Tom Hanks heeft zijn gelijkenis van ons opgeëist, bijvoorbeeld. Best veel volwassen actrices hebben; best veel A-lijst acteurs en actrices hebben…

‘Ik denk dat de eerste die we ooit hadden Barbara Eden was, haar estate* – ze was een van de eerste die haar gelijkenis opeiste, wat eigenlijk best grappig is, omdat ze oud is.’

Bescherming Standaard?

In de afgelopen paar jaar heeft het AI-VFX-bedrijf Metaphysic (volledige openbaarmaking: ik werkte voor Metaphysic.ai van begin 2022 tot eind 2024) geprobeerd om een propriëtair systeem te creëren dat het iedereen mogelijk zou maken om hun eigen gelijkenis te registreren, voornamelijk gericht op Hollywood-namen die zich zorgen maken over AI-gebaseerde overname van hun identiteit, met steun van acteurs zoals Anne Hathaway, Octavia Spencer en Tom Hanks (met wie het bedrijf samenwerkte aan de Robert Zemeckis-uiting Here [2024]).

Logischerwijs zou de bruikbaarheid van het systeem altijd afhankelijk zijn van de uiteindelijke rechtspraak; op basis van de maatregelen die Civit nu wordt gedwongen te nemen, kan de abonnementsgebaseerde service^† die door Metaphysic wordt voorgesteld, overbodig zijn in het licht van de snelle groei van deepfake-wetten en potentieel (gratis) dekking onder het gewone recht. Het is nu niet bekend of het Metaphysic Pro-aanbod zal worden overgedragen aan het Double Negative VFX-bedrijf, dat de activa van Metaphysic vorig jaar heeft overgenomen.

In ieder geval lijkt het er steeds meer op dat wereldwijd recht en algemene marktdrukken waarschijnlijker zijn om bescherming en middelen te bieden, in plaats van commerciële oplossingen van deze soort.

De Kikker Koken

Een rapport uit 2023 van 404 Media bracht aandacht voor de neiging van celeb- en porn AI-modellen op Civit, hoewel de oprichter van de site, Justin Maier, de relatie bagatelliseerde tussen gebruikersbijdragen van celebrity-lijkenissen en hun gebruik bij het genereren van pornografisch materiaal.

Hoewel Civit geld verdient door het gebruik van LoRAs en andere door gebruikers geleverde modellen op de site te faciliteren, is Nicoll duidelijk dat dit niet de belangrijkste zorg is die Visa en MasterCard ertoe aanzet om veranderingen aan de site op te leggen, zodat deze kan worden gemonetariseerd:

‘Sommige mensen zeggen dat de reden dat we in deze puinhoop zitten is omdat we generatie toestaan. Dat komt er niet aan te pas. Het hosten van deze modellen, het hosten van deze inhoud, is genoeg om de aandacht van Sauron te trekken.’

Community-commentaarthreads hebben de afgelopen jaren gemarkeerd dat Civit celebrity-lijkenissen mag hosten. Bewust van de mogelijkheid, misschien onvermijdelijkheid van een klap, zijn verschillende initiatieven voorgesteld of geïmplementeerd om LoRAs te behouden die door Civit of door hun uploaders zijn verwijderd, waaronder de (tot nu toe) nogal verwaarloosde subreddit r/CivitaiArchives.

Hoewel veel mensen hebben gesuggereerd dat een torrent-gebaseerd initiatief de natuurlijke oplossing is, lijkt geen enkel goed gevolgde domein nog te zijn verschenen – en in ieder geval zou dit waarschijnlijk activiteit die verboden is bij Civit en elders naar de buitenste randen van het internet verplaatsen; naar omheinde tuinen; en, waarschijnlijk, naar het dark net, aangezien de meeste kaders die verboden gelijkenis LoRAs kunnen accommoderen (zoals Reddit en Discord) deze inhoud al verbieden of waarschijnlijk binnenkort zullen verbieden.

Op dit moment kunnen celebrity LoRAs nog steeds worden bekeken met enkele beperkingen op Civit, hoewel de meeste gegenereerde inhoud is gedelist en zal worden uitgesloten van casual ontdekking. Wat waarschijnlijk is, suggereerde een commenter aan Nicoll in de Twitch-sessie, is dat de klopjacht dieper zal worden (waarschijnlijk tot het verbieden van alle gelijkenissen van echte personen in geüploade modellen of afbeeldingen).

Nicoll reageerde:

‘”Ze zullen niet stoppen hier, ze zullen steeds meer en meer eisen” – absoluut! Ja, absoluut. Dat is gewoon de wereld waarin we leven. De enige hoop is dat we groot genoeg en machtig genoeg worden dat we een beetje meer te zeggen hebben over wat ons wordt opgedragen […]

Wanhopig over de alternatieven die aan Civit zijn aangeboden, voegde Nicoll toe:

‘[…] Niemand gaat Bitcoin kopen om [te gebruiken] de CivitAI-generator. Dus hebben we geprobeerd om dit zo acceptabel mogelijk te maken, en dit is wat we hebben gekregen. Dus, mijn excuses als dit iets is dat je gewoon niet kunt verdragen, maar helaas is dit wat het is. We hebben ons best gedaan, we hebben zo veel mogelijk tegengedrukt, maar uiteindelijk werden we verteld dat dit het is – je moet dit doen of het is het einde […] ‘

‘[…] Deze financiële instellingen, ze begrijpen niet wat mensen hiermee doen. We hebben geprobeerd om het uit te leggen, we hebben geprobeerd om met hen te praten, maar we zijn praktisch de laatste vesting van [NSFW] inhoud.

Nicoll zei dat Civit contact had opgenomen met ‘elke betalingsverwerker denkbaar:

‘Zelfs de high-risk betalingsverwerkers die pornowebsites gebruiken, en ze zijn allemaal erg voorzichtig met AI-inhoud. Dat is het probleem – het is AI-inhoud. Als we een traditionele pornowebsite waren, zouden we in orde zijn, maar AI-inhoud is waar ze bang voor zijn.’

Waar Naartoe?

Vóór deze aankondiging had Civit waargenomen dat ze uploads verwijderden die onder sommige van de categorieën en soorten inhoud vielen die nu zijn verboden. Op het moment van schrijven is een ‘noodrepository’ voor Wan 2.1 LoRAs gevestigd op de Hugging Face-website. Hoewel sommige van de LoRAs die hier zijn gearchiveerd, zijn ontworpen om algemene seksuele activiteiten te faciliteren die schaars getraind zijn of ontbreken in nieuwe videomodellen zoals Wan 2.1, vallen enkele ervan onder de nu strikt verboden ‘undress’-categorie (d.w.z. ‘nudifying’), waaronder enkele modellen die als ‘extreem’ of manifest potentieel offensief kunnen worden beschouwd.

De subreddit r/datahoarders, die aan de vooravond heeft gestaan van het behoud van online literatuur van de Amerikaanse regering onder Donald Trumps massadeletiecampagne, heeft tot nu toe minachting getoond voor het idee om verloren CivitAI-inhoud te behouden.

In de literatuur is de gemakkelijke facilitering van NSFW AI-generatie van CivitAI niet onopgemerkt gebleven. Echter, een van de meest aangehaalde studies, het paper Exploring the Use of Abusive Generative AI Models on Civitai uit 2024, wordt gehinderd door het feit dat CivitAI nooit celebrity- of illegale AI-generaties heeft toegestaan, en door de beslissing van de onderzoekers om hun bewijs te vinden op CivitAI zelf.

Het is echter duidelijk dat wat betalingsverwerkers betreft, niet is wat er met LoRAs op CivitAI wordt geproduceerd, of wat er op de site wordt gepubliceerd, maar wat er met deze modellen in andere gemeenschappen wordt gedaan die zijn gesloten of minder gereguleerd.

De Mr. Deepfakes-website, die synoniem was met de veelvoorkomende autoencoder-gebaseerde methode van NSFW deepfaking, tot de komst van Stable Diffusion en diffusie-gebaseerde modellen in 2022, heeft onlangs begonnen met het plaatsen van voorbeelden van celeb-gebaseerde pornografische video’s met behulp van de laatste golf van text-to-video en image-to-video generators, waaronder Hunyuan Video en Wan 2.1 – beide zeer recente releases waarvan de invloed nog in de kinderschoenen staat, maar die lijken te zijn voorbestemd om ontvlambare koppen te garneren naarmate hun respectieve gemeenschappen zich in de loop van dit jaar ontwikkelen.

Verplichte Metagegevens

Een interessante verandering die blijkbaar door de betalingsverwerkers wordt geëist, is dat alle afbeeldingen op de site nu metagegevens moeten bevatten. Wanneer een afbeelding of video wordt gegenereerd door een generatief model in een typische workflow op een platform zoals ComfyUI, bevat de uitvoer meestal metagegevens die het model vermelden (deze hash evenals de naam, zodat in het geval dat het model door een gebruiker wordt hernoemd, de herkomst ervan blijft duidelijk) en meerdere andere instellingen.

Omdat van deze verborgen gegevenspunten over hoe de afbeelding is gemaakt, gebruikers in staat zijn om een video of afbeelding gemaakt door iemand anders in hun eigen ComfyUI-workflow te slepen en de hele stroom opnieuw te creëren, en ontbrekende afhankelijkheden aan te pakken (zoals modellen of componenten die de oorspronkelijke maker had, die de gebruiker vervolgens moet lokaliseren en downloaden).

Elke afbeelding- of videogeneratie die deze gegevens ontbeert, zal, zoals CivitAI heeft aangekondigd, binnen dertig dagen worden verwijderd. Gebruikers kunnen dergelijke gegevens handmatig toevoegen door ze in te typen op de CivitAI-website zelf.

Aangezien de waarde van metagegevens (vermoedelijk) bewijskrachtig is, lijkt deze eis nogal zinloos; het is triviaal om metagegevens van het ene bestand naar het andere te kopiëren en plakken, en ad hoc uitvinding van metagegevens via een webformulier maakt deze nieuwe regel een beetje verwarrend.

Desondanks hebben verschillende gebruikers (inclusief een die commentaar gaf in de Twitch-sessie) duizenden afbeeldingen geüpload op Civit. Hun enige optie nu is om elk van hen handmatig te annoteren, of om versies van de afbeeldingen te verwijderen en opnieuw te uploaden met toegevoegde metagegevens – wat alle ‘likes’ of ‘buzz’ of conversaties die de oorspronkelijke afbeeldingen gegenereerd hebben, zal wissen.

De Nieuwe Regels

Hier zijn de samengevatte veranderingen die vanaf vandaag op Civit van toepassing zijn:

• Inhoud getagd met echte persoonsnamen of geïdentificeerd als echte persoonbronnen zal niet langer in openbare feeds worden weergegeven.
• Inhoud met kind-/mindervalide thema’s zal uit feeds worden gefilterd.
• X- en XXX-gegradeerde inhoud die geen generatiemetagegevens bevat, zal worden verborgen voor openbaar zicht en gemarkeerd met een waarschuwing, waardoor de uploader de ontbrekende details kan toevoegen. Dergelijke inhoud zal niet worden verwijderd, maar zal alleen zichtbaar zijn voor de maker totdat deze is bijgewerkt.
• Afbeeldingen gemaakt met de Bring Your Own Image (BYOI)-functie moeten nu minstens 50% ruisverandering tijdens generatie toepassen. Dit betekent dat de AI de geüploade afbeelding aanzienlijk moet modificeren, waardoor de kans op het genereren van near-exacte replica’s wordt verkleind. Afbeeldingen die volledig op CivitAI zijn gemaakt of zijn gemengd van andere CivitAI-inhoud, zijn niet onderworpen aan deze regel en kunnen nog steeds elk denivelleringniveau gebruiken, van geen verandering tot volledige transformatie (0,0 tot 1,0). Deze verandering is bedoeld om misbruik van de BYOI-functie te voorkomen, die anders zou kunnen worden gebruikt om subtiele of ondetecteerbare deepfakes te produceren door bestaande foto’s van echte personen licht te bewerken. Het opleggen van een minimum van 50% verandering zorgt ervoor dat de AI de afbeelding niet alleen licht bewerkt.
• Wanneer u met X- of XXX-inhoud ingeschakeld doorzoekt, zullen zoekopdrachten naar celebrity-namen geen resultaten opleveren. Het combineren van celebrity-namen met volwassen inhoud blijft verboden.
• Advertenties zullen niet worden weergegeven op afbeeldingen of bronnen die zijn ontworpen om de verschijning van echte personen te repliceren.
• Tipping (Buzz) zal worden uitgeschakeld voor afbeeldingen of bronnen die echte personen afbeelden.
• Modellen die zijn ontworpen om echte personen te repliceren, zullen niet in aanmerking komen voor Early Access, een functie van Civitai die creators in staat stelt om inhoud eerst aan betalende supporters te laten zien. Dit beperkt de monetaire waarde van celebrity- of echte persoonlijke gelijkenissen.
• Een 2257 Compliance Statement is toegevoegd om te verduidelijken dat het platform geen enkele niet-AI-gegenereerde inhoud toestaat. Dit helpt bij de wettelijke bescherming door te bevestigen dat alle expliciete materiaal synthetisch is en niet op echte fotografie of video is gebaseerd.
• Een nieuwe Content Removal Request-pagina stelt iedereen in staat om misbruikte of illegale materialen te melden zonder in te loggen. Geregistreerde gebruikers moeten de ingebouwde rapportage-instrumenten op elke post blijven gebruiken. Dit is afgezonderd van het bestaande formulier voor het opvragen van verwijdering van iemands gelijkenis van het platform.
• CivitAI heeft een nieuw moderatiesysteem geïntroduceerd via een partnerschap met Clavata, wiens beeldanalysetools eerder beter presteerden dan eerdere oplossingen zoals Amazon Rekognition en Hive.

** Vanaf dinsdag 20 mei 2025 11:23:47 (het kan eerder zijn gebeurd), is de Twitch live-stream verwijderd. Om ervoor te zorgen dat ik de feiten die in de stream werden gerapporteerd kon verifiëren, bewaar ik een kopie.

* Ondanks de vermelding van Barbara Edens ‘estate’, is de I Dream of Jeannie actrice nog steeds in leven, momenteel 93 jaar oud.
^† Gearchiveerd: https://archive.ph/tsMb0

Eerst gepubliceerd op donderdag 24 april 202. Gewijzigd op donderdag 24 april 2025 14:32:28: correctie van data.
Gewijzigd op dinsdag 20 mei 2025 om de verwijdering van Twitch-inhoud te reflecteren die als referentiemateriaal werd gebruikt.