CivitAI Verscherpt Deepfake-regels Onder Druk Van Mastercard en Visa

CivitAI, mogelijk het meest populaire AI-modelrepository op internet, heeft uiteindelijk toegegeven aan de druk van betalingsfacilitators MasterCard en Visa om hun beleid met betrekking tot NSFW-inhoud radicaal te herzien – en met name hun TOS met betrekking tot celebrity LoRAs, een van de meest populaire gebruikersingediende inhoudsstroom op de site, die mensen in staat stelt om vrij beschikbare adjunctmodellen zoals LoRAs te gebruiken om AI-afbeeldingen (inclusief video-afbeeldingen) van bekende personen te maken.

Click to play. Hoewel Civit geen exacte cijfers verstrekt (en mislabeling/misclassificeren niet ongebruikelijk is, wat de cijfers zou kunnen vertekenen), is het aantal celebrity AI-modellen, voornamelijk LoRAs, duidelijk in de honderden of zelfs duizenden, en duidelijk gedomineerd door vrouwelijke onderwerpen. Source: civitai.com

Het is duidelijk dat Civit onder druk staat in een Twitch live-stream** namens het bedrijf, de Community Engagement Manager Alasdair Nicoll, zelf een creator van (SFW) modellen op Civit, heeft toegegeven dat de veranderingen zijn opgelegd aan de site door de zorgen van hun betalingsverwerkers over volwassen inhoud en afbeeldingen van echte personen. Hij geeft ook toe dat het waarschijnlijk is dat de primaire krachten achter deze verwerkers, Visa en MasterCard, waarschijnlijk nog grotere veranderingen later zullen eisen:

‘Dit zijn geen veranderingen die we wilden doorvoeren. Dit komt neer op nieuwe en aankomende wetgeving. Er zijn deepfake-wetten, er zijn AI-pornowetten… betalingsverwerkers, en uiteindelijk Visa en MasterCard zijn bang; ze willen niet worden aangeklaagd, en ze zijn uiteindelijk degenen die deze veranderingen afdwingen.

‘Sommige van de andere opties die we kregen waren het verwijderen van niet-veilige inhoud; het verwijderen van x en triple-x inhoud van CivitAI en naar een compleet nieuwe platform, en vervolgens het blokkeren van dat platform, omdat meer dan de helft van de Amerikaanse staten een vorm van pornoblokkering vereisen, [evenals] veel Aziatische landen en het Verenigd Koninkrijk…

‘De derde optie was het gaan met crypto, crypto-betalingen alleen… dus er waren letterlijk geen goede opties voor dit.’

De Civit-domein is de afgelopen dagen periodiek uit de lucht geweest voor revisies, om de veranderingen door te voeren. Hoewel de site al het gebruik van NSFW-thema’s in celebrity LoRA/model-afbeeldingen had verboden, is het nu onmogelijk om de modelsectie van Civit te doorzoeken en celebrity LoRA-voorbeelden naast de zeer grote hoeveelheid generieke NSFW-modellen te zien die zijn ontworpen om volwassen inhoud te produceren.

Het officiële bericht vermeldt:

‘Inhoud getagd met echte persoonsnamen (zoals “Tom Cruise”) of gemarkeerd als POI (echte persoon) bronnen zal worden verborgen uit feeds.’

In de Twitch-sessie onthulde Nicoll verdere details van maatregelen die zijn ontworpen om beroemde figuren en echte personen te beschermen. Civit heeft altijd toegestaan dat echte personen kunnen verzoeken dat een Civit-gehoste AI-model dat hen afbeeldt, wordt verwijderd, maar nu suggereert Nicoll een systeem dat kan voorkomen dat dergelijke afbeeldingen opnieuw worden geüpload na de initiële afwijzing, met de mogelijkheid om een ‘beschermde’ persoon zelfs in afbeeldingen te identificeren die het systeem nog nooit heeft gezien.

Daartoe werkt de site nu samen met het Clavata AI-moderatiesysteem – hoewel de omvang waarin Clavata deze nieuwe faciliteiten zal aandrijven, nog niet duidelijk is.

Nicoll zei:

‘Tom Hanks heeft zijn gelijkenis van ons opgeëist, bijvoorbeeld. Heel veel volwassen actrices hebben dat ook gedaan; heel veel A-lijst acteurs en actrices hebben…

‘Ik denk dat de eerste die we ooit hadden, was Barbara Eden, haar landgoed* – ze was een van de eerste die haar gelijkenis opeiste, wat eigenlijk best grappig is, omdat ze oud is.’

Beschermd per Definitie?

In de afgelopen paar jaar heeft het AI-VFX-bedrijf Metaphysic (volledige openbaarmaking: ik werkte voor Metaphysic.ai van begin 2022 tot eind 2024) geprobeerd een eigen systeem te creëren dat het iedereen mogelijk maakt om hun eigen gelijkenis te registreren, voornamelijk gericht op Hollywood-namen die zich zorgen maken over AI-gebaseerde diefstal van hun identiteit, met steun van acteurs zoals Anne Hathaway, Octavia Spencer en Tom Hanks (met wie het bedrijf heeft samengewerkt aan de Robert Zemeckis-uiting Here [2024]).

Logischerwijs zou de bruikbaarheid van het systeem altijd afhankelijk zijn van eventuele rechtszaken; op basis van de maatregelen die Civit nu moet nemen, kan de abonnementsgebaseerde dienst^† die door Metaphysic wordt voorgesteld, overbodig zijn in het licht van de snelle groei van deepfake-wetten en potentieel (gratis) dekking onder het gewone recht. Het is momenteel niet bekend of het Metaphysic Pro-aanbod zal worden overgedragen aan het Double Negative VFX-bedrijf, dat de activa van Metaphysic vorig jaar heeft overgenomen.

In elk geval lijkt het er steeds meer op dat globale wetgeving en algemene marktdruk meer waarschijnlijk bescherming en oplossingen zullen bieden, in plaats van commerciële oplossingen van deze soort.

Het Kookpunt Verhogen

Een rapport uit 2023 van 404 Media bracht de neiging van celeb- en porn AI-modellen op Civit onder de aandacht, hoewel de oprichter van Civit, Justin Maier, de relatie tussen gebruikersingeschreven celebrity-lijkenissen en hun gebruik bij het genereren van pornografisch materiaal heeft gebagatelliseerd.

Hoewel Civit geld verdient door het gebruik van LoRAs en andere door de gebruiker geleverde modellen op de site, is Nicoll duidelijk dat dit niet de primaire zorg is die Visa en MasterCard ertoe aanzet om veranderingen aan de site op te leggen, zodat deze kan worden gemonetariseerd:

‘Sommige mensen zeggen dat de reden dat we in deze puinhoop zitten, is omdat we generatie toestaan. Dat komt er niet aan te pas. Het hosten van deze modellen, het hosten van deze inhoud, is genoeg om de aandacht van Sauron te trekken.’

Community-commentaarthreads hebben de afgelopen jaren gemarkeerd dat Civit celebrity-lijkenissen heeft gehost. Bewust van de mogelijkheid, misschien onvermijdelijkheid van een klem, hebben verschillende initiatieven om LoRAs te behouden die door Civit of door hun uploaders zijn verwijderd, zijn voorgesteld of geïmplementeerd, waaronder de (tot nu toe) nogal verwaarloosde subreddit r/CivitaiArchives.

Hoewel veel mensen hebben gesuggereerd dat een torrent-gebaseerd initiatief de natuurlijke oplossing is, lijkt het erop dat nog geen goed gevolgde domein is verschenen – en in elk geval zou dit waarschijnlijk activiteiten die op Civit en elders zijn verboden, naar de buitenste randen van internet verplaatsen; naar omheinde tuinen; en, waarschijnlijk, naar het dark net, aangezien de meeste kaders die verboden gelijkenis LoRAs zouden kunnen accommoderen (zoals Reddit en Discord), deze inhoud al verbieden of waarschijnlijk binnenkort zullen verbieden.

Op dit moment kunnen celebrity LoRAs nog steeds met enkele beperkingen op Civit worden gezien, hoewel de meeste gegenereerde inhoud is verwijderd en uit casual ontdekking zal worden uitgesloten. Wat waarschijnlijk is, suggereerde een commenter aan Nicoll in de Twitch-sessie, is dat de klem zal verdiepen (vermoedelijk tot het verbieden van alle gelijkenissen van echte personen in geüploade modellen of afbeeldingen).

Nicoll reageerde:

‘”Ze zullen hier niet stoppen, ze zullen steeds meer eisen” – absoluut! Ja, absoluut. Dat is gewoon de wereld waarin we leven. De enige hoop is dat we groot genoeg en krachtig genoeg worden dat we een beetje meer te zeggen hebben over wat ons wordt opgedragen […]

In wanhoop over de aangeboden alternatieven voor Civit, voegde Nicoll toe:

‘[…] Niemand gaat Bitcoin kopen om [te gebruiken] de CivitAI-generator. Dus we hebben geprobeerd om dit zo acceptabel mogelijk te maken, en dit is wat we hebben gekregen. Dus, mijn excuses als dit iets is dat je gewoon niet kunt verdragen, maar helaas is het wat het is. We hebben ons best gedaan, we hebben zo veel mogelijk teruggevochten, maar uiteindelijk werden we verteld dat dit het is – je moet dit doen of het zal het einde zijn […]’

‘[…] Deze financiële instellingen, ze begrijpen niet wat mensen hiermee doen. We hebben geprobeerd om het hun uit te leggen, we hebben geprobeerd om met hen te praten, maar we zijn praktisch de laatste bastion van [NSFW]-inhoud.

Nicoll zei dat Civit contact had opgenomen met ‘elke denkbare betalingsverwerker:

‘Zelfs de high-risk betalingsverwerkers die pornowebsites gebruiken, en ze zijn allemaal heel erg voorzichtig met AI-inhoud. Dat is het probleem – het is AI-inhoud. Als we een traditionele pornowebsite waren, zouden we in orde zijn, maar AI-inhoud is waar ze bang voor zijn.’

Waar Naartoe?

Vóór deze aankondiging had Civit al enkele uploads verwijderd die onder enkele van de categorieën en soorten inhoud vielen die nu zijn verboden. Op het moment van schrijven is een ‘noodrepository’ voor Wan 2.1 LoRAs gevestigd op de Hugging Face-website. Hoewel sommige van de LoRAs die daar zijn gearchiveerd, zijn ontworpen om algemene seksuele activiteiten te faciliteren die schaars getraind zijn of ontbreken in nieuwe videomodellen zoals Wan 2.1, vallen enkele ervan onder de nu strikt verboden ‘undress’-categorie (d.w.z. ‘nudifying’), waaronder enkele modellen die kunnen worden betoogd ‘extreem’ of manifest potentieel aanstootgevend te zijn.

De subreddit r/datahoarders, die aan de vooravond staat van het behoud van online literatuur van de Amerikaanse regering onder Donald Trumps massadeletiecampagne, heeft tot nu toe minachting getoond voor het idee om verloren CivitAI-inhoud te redden.

In de literatuur is de gemakkelijke facilitering van NSFW AI-generatie van CivitAI niet onopgemerkt gebleven. Echter, een van de meest aangehaalde studies, de 2024 paper Exploring the Use of Abusive Generative AI Models on Civitai, wordt gehinderd door het feit dat Civit geen celebrity- of illegale AI-generaties heeft toegestaan tot nu toe, en door de beslissing van de onderzoekers om hun bewijs te vinden op Civit zelf.

Hoewel het duidelijk is dat wat betalingsverwerkers bezighoudt, niet is wat er met LoRAs op Civit wordt geproduceerd, of wat er op Civit wordt gepubliceerd, maar wat er met deze modellen in andere gemeenschappen wordt gedaan die zijn gesloten of minder gereguleerd.

De Mr. Deepfakes-website, die synoniem was met de veelvoorkomende autoencoder-gebaseerde methode van NSFW-deepfaking, tot de komst van Stable Diffusion en diffusion-gebaseerde modellen in 2022, heeft onlangs voorbeelden van celeb-gebaseerde pornografische video’s met de nieuwste golf van tekst-naar-video- en afbeelding-naar-video-generatoren, waaronder Hunyuan Video en Wan 2.1 – beide zeer recente releases waarvan de invloed nog in de kinderschoenen staat, maar die erop lijken om brandende koppen te garneren naarmate hun respectievelijke gemeenschappen zich in de loop van dit jaar ontwikkelen.

Verplichte Metadata

Een interessante verandering die blijkbaar door de betalingsverwerkers wordt geëist, volgens Nicoll, is dat alle afbeeldingen op de site nu metadata moeten bevatten. Wanneer een afbeelding of video wordt gegenereerd door een generatief model in een typische workflow op een platform zoals ComfyUI, bevat de uitvoer meestal metadata die het model vermeldt (zijn hash evenals zijn naam, zodat in het geval dat het model door een gebruiker wordt hernoemd, zijn herkomst duidelijk blijft) en meerdere andere instellingen.

Vanwege deze verborgen gegevenspunten over hoe de afbeelding is gemaakt, kunnen gebruikers een video of afbeelding die door iemand anders is gemaakt, in hun eigen ComfyUI-workflow slepen en de hele stroom opnieuw maken, en ontbrekende afhankelijkheden (zoals modellen of componenten die de oorspronkelijke maker had, die de gebruiker vervolgens moet vinden en downloaden) aanpakken.

Elke afbeelding- of video-generatie die deze gegevens ontbeert, zal, zoals Civit heeft aangekondigd, binnen dertig dagen worden verwijderd. Gebruikers kunnen dergelijke gegevens handmatig toevoegen door ze in te typen op de Civit-website zelf.

Om de waarde van metadata is (vermoedelijk) bewijskrachtig, lijkt deze eis nogal zinloos; het is triviaal om metadata van het ene bestand naar het andere te kopiëren en plakken, en ad hoc uitvinding van metadata via een webformulier maakt deze nieuwe regel een beetje verbijsterend.

Nonetheless, verschillende gebruikers (inclusief een die commentaarde in de Twitch-sessie) hebben duizenden afbeeldingen geüpload op Civit. Hun enige optie is nu om elk van hen handmatig te annoteren, of om ze te verwijderen en opnieuw te uploaden met toegevoegde metadata – wat elke ‘likes’ of ‘buzz’ of conversaties die de oorspronkelijke afbeeldingen gegenereerd hebben, zal wissen.

De Nieuwe Regels

Hier zijn de samengevatte veranderingen die vanaf vandaag op Civit van toepassing zijn:

• Inhoud getagd met echte persoonsnamen of gemarkeerd als echte persoonbronnen zal niet langer in openbare feeds worden weergegeven.
• Inhoud met kind/thema’s zal uit feeds worden gefilterd.
• X en XXX gerateerde inhoud die ontbrekende metadata ontbeert, zal uit het openbare zicht worden verborgen en met een waarschuwing worden gemarkeerd, waardoor de uploader de ontbrekende details kan toevoegen. Dergelijke inhoud zal niet worden verwijderd, maar zal alleen zichtbaar zijn voor de maker totdat deze is bijgewerkt.
• Afbeeldingen gemaakt met de Bring Your Own Image (BYOI)-functie moeten nu minstens 50% ruisverandering toepassen tijdens generatie. Dit betekent dat de AI de geüploade afbeelding aanzienlijk moet modificeren, waardoor de kans op het genereren van near-exact replica’s wordt verkleind. Echter, afbeeldingen die volledig op CivitAI zijn gemaakt of zijn gemengd van andere CivitAI-inhoud, zijn niet aan deze regel onderworpen en kunnen elke denoiseringsniveau gebruiken, van geen verandering tot volledige transformatie. Deze verandering is bedoeld om misbruik van de BYOI-tool te voorkomen, die anders zou kunnen worden gebruikt om subtiele of ondetecteerbare deepfakes te produceren door bestaande foto’s van echte personen licht te bewerken. Door een minimum van 50% verandering af te dwingen, wordt ervoor gezorgd dat de AI de afbeelding niet alleen licht bewerkt.
• Wanneer u met X of XXX-inhoud bladert, zullen zoekopdrachten naar celebrity-namen geen resultaten opleveren. Het combineren van celebrity-namen met volwassen inhoud blijft verboden.
• Advertenties zullen niet worden weergegeven op afbeeldingen of bronnen die zijn ontworpen om de verschijning van echte personen na te bootsen.
• Tipping (Buzz) zal worden uitgeschakeld voor afbeeldingen of bronnen die echte personen afbeelden.
• Modellen die zijn ontworpen om echte personen na te bootsen, zullen niet in aanmerking komen voor Early Access, een functie van Civitai die makers toestaat om inhoud eerst aan betalende ondersteuners te laten zien. Dit beperkt de monetaire waarde van celebrity- of echte persoon-lijkenissen.
• Een 2257 Compliance Statement is toegevoegd om duidelijk te maken dat het platform geen enkele niet-AI-gegenereerde inhoud toestaat. Dit helpt om wettelijke bescherming te garanderen door te bevestigen dat alle expliciete materiaal synthetisch is en niet op echte fotografie of video is gebaseerd.
• Een nieuwe Content Removal Request-pagina stelt iedereen in staat om abusieve of illegale materiaal te melden zonder in te loggen. Geregistreerde gebruikers moeten de ingebouwde rapportagehulpmiddelen op elke post blijven gebruiken. Dit is afzonderlijk van het bestaande formulier voor het verzoek om verwijdering van iemands gelijkenis van het platform.
• CivitAI heeft een nieuw moderatiesysteem geïntroduceerd via een partnerschap met Clavata, wiens beeldanalysetools beter presteerden dan eerdere oplossingen zoals Amazon Rekognition en Hive.

** Vanaf dinsdag 20 mei 2025 11:23:47 (het kan eerder zijn gebeurd), is de Twitch live-stream verwijderd. Om ervoor te zorgen dat ik de feiten die in de stream werden gemeld kon verifiëren, bewaar ik een kopie.

* Ondanks de vermelding van Barbara Edens ‘landgoed’, is de I Dream of Jeannie actrice nog steeds in leven, momenteel 93 jaar oud.
^† Gearchiveerd: https://archive.ph/tsMb0

Voor het eerst gepubliceerd op donderdag 24 april 202. Gewijzigd op donderdag 24 april 2025 14:32:28: correctie van data. Gewijzigd op dinsdag 20 mei 2025 om de verwijdering van Twitch-inhoud te reflecteren die als referentiemateriaal werd gebruikt.