CivitAI zpřísňuje pravidla pro deepfakes pod tlakem Mastercard a Visa

CivitAI, možná nejpopulárnější repozitář modelů AI na internetu, konečně ustoupil tlaku ze strany platebních prostředků MasterCard a Visa a radikálně revidoval své politiky týkající se obsahu NSFW – a zejména svých TOS týkajících se celebrity LoRAs, jedné z nejpopulárnějších proudů obsahu odesílaného uživateli, které umožňují lidem používat volně stahovatelné pomocné modely, jako jsou LoRAs, k vytváření AI zobrazení (včetně video zobrazení) známých lidí.

Klikněte pro přehrávání. Přestože Civit neposkytuje přesné údaje (a nesprávné označení/nesprávná kategorie není neobvyklé, což by pravděpodobně zkreslilo údaje), počet celebrity AI modelů, především LoRAs, je jasně v řádu stovek nebo dokonce tisíců a jasně dominují ženské subjekty. Source: civitai.com

Zjevně funguje pod tlakem v Twitch live-stream** jménem společnosti, manažer komunitního zapojení Alasdair Nicoll, sám tvůrce (SFW) modelů na Civit, uznal, že změny byly vynuceny na webu platebními procesory kvůli obavám o adulteský obsah a zobrazení skutečných lidí. Uznal také pravděpodobnost, že primární síly za těmito procesory, Visa a MasterCard, pravděpodobně vyžadují ještě větší změny později:

‘Tyto změny nejsou takové, které jsme chtěli provést. To se týká nové a blížící se legislativy. Existují zákony o deepfakech, zákony o AI pornografii…platební procesory a nakonec Visa a MasterCard jsou vyděšeny; nechtějí být žalovány a nakonec řídí tyto změny.

‘Některé z dalších možností, které jsme dostali, byly odstranit obsah, který není vhodný pro práci; odstranit x a triple-x obsah z CivitAI a na úplně novou platformu a poté geo-blokovat tuto platformu, protože více než polovina států USA vyžaduje some formu pornografického geo-blokování, [stejně jako] mnoho asijských zemí a Spojené království…

‘Třetí možností bylo jít plně kryptograficky, kryptografické platby pouze…takže tam nebyly žádné dobré možnosti pro toto.’

Doména Civit byla v posledních dnech občas nedostupná kvůli revizím, zřejmě kvůli provedení změn. Přestože web již dříve zakázal použití NSFW témat v celebrity LoRA/model zobrazení, je nyní nemožné procházet sekci modelů Civit a vidět celebrity LoRA náhledy vedle velmi velkého počtu generických NSFW modelů navržených pro výrobu dospělého obsahu.

Oficiální oznámení uvádí:

‘Obsah označený skutečnými jmény osob (jako “Tom Cruise”) nebo označený jako POI (skutečné osoby) zdroje budou skryty z kanálů.’

V Twitch relaci Nicoll odhalil další podrobnosti opatření navržených k ochraně slavných osob a skutečných lidí. Civit vždy umožňoval skutečným lidem požadovat, aby AI model hostovaný na Civit, který je zobrazuje, byl odstraněn, ale nyní Nicoll naznačuje systém, který může zabránit opětovnému nahrání takových obrazů po počátečním odmítnutí, se zařízením pro identifikaci ‘chráněné’ osobnosti, i v obrazech, které systém dosud neviděl.

K tomuto účelu web nyní spolupracuje se systémem Clavata AI moderace – ačkoli rozsah, ve kterém Clavata bude pohánět tyto nové funkce, dosud není jasný.

Nicoll řekl:

‘Tom Hanks si vyžádal svou podobiznu z nás, například. Velké množství dospělých hereček si také vyžádalo; velké množství A-list herců a hereček si také…

‘Myslím, že první, kdo si to vyžádal, byla Barbara Eden, její estate* – byla jednou z prvních, kdo si vyžádal svou podobiznu, což je trochu zábavné, protože je stará.’

Chráněno ve výchozím stavu?

V posledních dvou letech se společnost Metaphysic (plná diskluze: pracoval jsem pro Metaphysic.ai od začátku roku 2022 do konce roku 2024) pokusila vytvořit proprietární systém, který by umožnil komukoli zaregistrovat svou vlastní podobiznu, ačkoli především zaměřený na hollywoodské názvy, které se obávají o AI-založené ukradení jejich identit, s podporou herců jako Anne Hathaway, Octavia Spencer a Tom Hanks (se kterým společnost spolupracovala na filmu Zde [2024]).

Logicky by utilita systému vždy závisela na případové legislativě; na základě opatření, která Civit nyní musí učinit, by se mohlo zdát, že nabízená služba na základě předplatného^† navržená Metaphysic mohla být zbytečná tváří v tvář rychlému růstu zákonů o deepfakech a potenciální (bezplatné) pokrytí podle obecného práva. Není známo, zda nabídka Metaphysic Pro bude převedena na společnost Double Negative VFX, která získala aktiva Metaphysic minulý rok.

V každém případě se zdá, že globální legislativa a obecný tlak trhu pravděpodobněji poskytnou ochranu a prostředky, než komerční řešení tohoto druhu.

Variace

Zpráva z roku 2023 od 404 Media upozornila na sklon celeb a porn AI modelů na Civit, ačkoli zakladatel Civit Justin Maier zlehčoval vztah mezi uživatelsky přispívanými celebrity podobiznami a jejich použitím pro generování pornografického materiálu.

Ačkoli Civit vydělává peníze tím, že usnadňuje použití LoRAs a dalších uživatelsky dodaných modelů na webu, Nicoll je jasný, že to není primární obava, která motivuje Visa a MasterCard k určení změn na webu, aby mohl být dále monetizován:

‘Někteří lidé říkají, že důvod, proč jsme v tomto stavu, je ten, že dovolujeme generování. To do toho nepatří. Hostování těchto modelů, hostování tohoto obsahu, stačí k tomu, aby upoutal oko Saurona.’

Komunitní diskusní vlákna se v posledních letech divily, že Civit byl schopen hostovat celebrity podobizny. Vědomi možnosti, možná nevyhnutelnosti, úderu, několik iniciativ pro uchování LoRAs, které byly odstraněny Civitem nebo jejich uploadery, bylo navrženo nebo implementováno, včetně (dosud) rather zanedbaného subredditu r/CivitaiArchives.

Ačkoli mnozí navrhli, že torrentová iniciativa je přirozeným řešením, žádná dobře sledovaná doména dosud nevyšla – a v každém případě by se zdálo, že tato aktivita by se přesunula na okraj internetu; do uzavřených zahrad; a nejpravděpodobněji, na dark net, protože většina rámců, které by mohly akomodovat zakázané podobizny LoRAs (jako Reddit a Discord), buď již zakazují takový obsah nebo se zdá, že ho brzy zakážou.

V tuto chvíli lze celebrity LoRAs stále vidět s některými omezeními na Civit, ačkoli většina generovaného obsahu byla de-listována a bude vyloučena z běžného objevování. Co se zdá pravděpodobným, jeden komentátor navrhl Nicollovi v Twitch relaci, je, že úder se prohloubí (předpokladně do té míry, že bude zakázána veškerá podobizna skutečných lidí v nahrávaných modelech nebo zobrazení).

Nicoll odpověděl:

‘”Oni nezastaví zde, budou vyžadovat stále více a více” – absolutně! Ano, absolutně. To je prostě svět, ve kterém žijeme. Jediná naděje je, že budeme dostatečně velcí a dostatečně silní, abychom měli trochu více vlivu na to, co se nám diktuje […]

Bezradný z alternativ nabídnutých Civit, Nicoll dodal:

‘[…] Nikdo nebude kupovat Bitcoin, aby použil CivitAI generátor. Takže jsme se pokusili udělat to co nejpříjemnější, a tohle je to, co jsme skončili. Takže, omlouvám se, pokud je tohle něco, co prostě nemůžete snést, ale bohužel to je to, co je. Zkusili jsme to nejlépe, co jsme mohli, a odporovali jsme, co jsme mohli, ale nakonec nám bylo řečeno, že tohle je to – musíte to udělat, nebo to bude konec […]’

‘[…] Tyto finanční instituce, oni nerozumí, co lidé dělají tady s tím. Zkusili jsme jim to vysvětlit, zkuli jsme mluvit s nimi, ale jsme prakticky poslední baštou [NSFW] obsahu.

Nicoll řekl, že Civit se obrátil na ‘každého platebního procesora, kterého je možné si představit:

‘I když jsou to high-risk platební procesory, které používají pornografické stránky, a oni jsou všichni velmi, velmi opatrní vůči AI obsahu. To je problém – je to AI obsah. Pokud bychom byli tradiční pornografickou stránkou, byli bychom v pořádku, ale AI obsah je to, čeho se bojí.’

Kam dál?

Před tímto oznámením Civit odstranil nahrávky, které spadaly do některých kategorií a typů obsahu, které jsou nyní zakázány. V době psaní tohoto článku byla zřízena ‘nouzová repozitář’ pro Wan 2.1 LoRAs na webu Hugging Face. Ačkoli některé z LoRAs archivovaných tam jsou navrženy pro usnadnění obecných sexuálních aktivit, které jsou málo trénovány nebo chybí v nových video modelech, jako je Wan 2.1, několik z nich spadá do nyní přísně zakázované kategorie ‘svlékání’ (tj. ‘nudifying’), včetně některých modelů, které by mohly být považovány za ‘extrémní’ nebo zjevně potenciálně urážlivé.

Subreddit r/datahoarders, který byl v čele uchovávání online literatury US vlády během kampaně na masové odstranění Donalda Trumpa federálních dat a webových stránek, dosud ukázal pohrdání myšlenkou na záchranu ztraceného obsahu CivitAI.

V literatuře nebyla snadná facilitace NSFW AI generace na CivitAI přehlédnuta. Jedna z nejvíce citovaných studií, 2024 práce Exploring the Use of Abusive Generative AI Models on Civitai, je omezována skutečností, že Civit dosud nepovolil celebrity nebo nelegální AI generace, a rozhodnutím výzkumníků najít své důkazy přímo na Civit.

Zjevně však, co se obává platebních procesorů, není to, co se vyrábí s LoRAs na Civit samotném, nebo co je tam publikováno, ale co se dělá s těmito modely v jiných komunitách, které jsou buď uzavřené nebo obecně méně regulované.

Web Mr. Deepfakes, který byl synonymní s převládající autoencoder-založenou metodou NSFW deepfaking, až do příchodu Stable Diffusion a difuzních modelů v roce 2022, nedávno začal zveřejňovat příklady celeb-založených pornografických videí pomocí nejnovější vlny text-to-video a image-to-video generátorů, včetně Hunyuan Video a Wan 2.1 – obou velmi nedávných vydání, jejichž vliv je v zárodku, ale které se zdají být připraveny získat incendiární titulků, jak se jejich komunity budou vyvíjet v průběhu tohoto roku.

Povinná metadata

Jedna zajímavá změna, která je podle Nicolla zřejmě vyžadována platebními procesory, je, že všechny obrázky na webu musí nyní obsahovat metadata. Když je obrázek nebo video vyprodukován generativním modelem v typickém pracovním postupu na platformě, jako je ComfyUI, výstup obecně obsahuje metadata, která uvádějí použitý model (jeho hash i jeho jméno, aby v případě, že model je přejmenován uživatelem, zůstala jeho provenience jasná) a mnoho dalších nastavení.

Protože tyto skryté datové body o tom, jak byl obrázek vytvořen, uživatelé jsou schopni přetáhnout video nebo obrázek vytvořený někým jiným do svého vlastního pracovního postupu ComfyUI a重新 vytvořit celý tok a řešit jakékoli chybějící závislosti (jako modely nebo komponenty, které měl původní tvůrce, které uživatel bude muset najít a stáhnout).

Jakékoli generace obrázků nebo videí, které postrádají tato data, budou, jak Civit oznámil, odstraněny do 30 dnů. Uživatelé mohou přidat taková data ručně, zadáním na webu Civit.

Poněvadž hodnota metadata je (předpokladně) důkazní, toto ustanovení se zdá rather zbytečné; je triviální zkopírovat a vložit metadata z jednoho souboru do jiného, a ad hoc vynález metadata prostřednictvím webového formuláře činí toto nové pravidlo trochu matoucím.

Přesto několik uživatelů (včetně jednoho, který komentoval v Twitch relaci) má mnoho tisíc obrázků nahráno na Civit. Jejich jediným východiskem je nyní ručně annotovat každý z nich, nebo je odstranit a znovu nahrát verze obrázků s přidruženým metadaty – což vymaže jakékoli ‘líbí se’ nebo ‘buzí’ nebo konverzace, které původní obrázky vygenerovaly.

Nová pravidla

Zde jsou změny, které jsou platné na Civit od dneška:

• Obsah označený skutečnými jmény osob nebo označený jako skutečné osoby zdroje nebude již zobrazen v veřejných kanálech.
• Obsah s tématy dětí/menšíků bude filtrován z kanálů.
• X a XXX hodnocený obsah, který postrádá metadata generování, bude skryt z veřejného zobrazení a označen varováním, umožňujícím nahrávači přidat chybějící podrobnosti. Takový obsah nebude odstraněn, ale zůstane viditelný pouze jeho tvůrci, dokud nebude aktualizován.
• Obrázky vytvořené pomocí funkce Bring Your Own Image (BYOI) musí nyní aplikovat alespoň 50% změny hluku během generování. To znamená, že AI musí podstatně upravit nahrávaný obrázek, snižuje šanci na generování téměř přesných kopií. Obrázky vytvořené zcela na CivitAI nebo remixované z jiného obsahu CivitAI nejsou touto změnou dotčeny a mohou stále používat jakékoli nastavení denoising, od žádných změn (0,0) až po úplnou transformaci (1,0). Tato změna je určena k redukci zneužívání nástroje BYOI, který by jinak mohl být použit pro výrobu jemných nebo nezjistitelných deepfakes lehce upravováním skutečných obrázků. Vynucení minimální 50% změny zajišťuje, že AI není pouze lehce edituje existující fotografii skutečné osoby.
• Při procházení s povoleným X nebo XXX obsahem budou vyhledávání podle jmen celebrit vrátit žádné výsledky. Kombinace jmen celebrit s dospělým obsahem zůstává zakázána.
• Inzerce nebude zobrazena na obrázcích nebo zdrojích, které napodobují vzhled skutečných osob.
• Tipping (Buzz) bude zakázán pro obrázky nebo zdroje, které zobrazují skutečné osoby.
• Modely navržené pro napodobení skutečných osob nebudou způsobilé pro Early Access, funkci Civitai, která umožňuje tvůrcům vydávat obsah nejdříve placeným podporovatelům. To omezuje monetizaci celebrity nebo skutečných osob podobizen.
• Byla přidána 2257 Compliance Statement, aby se potvrdilo, že platforma nepovoluje žádný ne-AI-generovaný obsah. To pomáhá zajistit právní ochranu tím, že potvrzuje, že veškerý explicitní materiál je syntetický a není založen na skutečné fotografii nebo videu.
• Byla zavedena nová stránka pro odstranění obsahu, která umožňuje komukoli nahlásit závadný nebo nelegální materiál bez nutnosti přihlášení. Registrovaní uživatelé by měli pokračovat v používání vestavěných nástrojů pro nahlášení na každé příspěvku. To je samostatné od stávajícího formuláře pro vyžádání odstranění své podobizny z platformy.
• CivitAI zavedl nový moderovací systém prostřednictvím partnerství s Clavata, jehož nástroje pro analýzu obrázků překonaly předchozí řešení, jako je Amazon Rekognition a Hive.

** Od úterý, 20. května 2025 11:23:47 (mohlo se to stát dříve), byl Twitch live-stream odstraněn. Abych mohl ověřit skutečnosti uvedené ve streamu, uchovávám kopii.

* Přestože se zmiňuje ‘estate’ Barbary Eden, herečka I Dream of Jeannie je stále naživu,目前 ve věku 93 let.
^† Archivováno: https://archive.ph/tsMb0

Poprvé zveřejněno ve čtvrtek, 24. dubna 202. Opraveno ve čtvrtek, 24. dubna 2025 14:32:28: opraveny datumy.
Upřesněno v úterý, 20. května 2025, aby odráželo odstranění Twitch obsahu, který byl použit jako referenční materiál.