CivitAI zpřísňuje pravidla pro deepfakes pod tlakem od Mastercard a Visa

CivitAI, možná nejpopulárnější repozitář modelů umělé inteligence na internetu, konečně ustoupil tlaku od platebních zprostředkovatelů MasterCard a Visa a radikálně revidoval své politiky týkající se obsahu NSFW – a zejména svých TOS týkajících se LoRAs celebrit, jedné z nejpopulárnějších proudů obsahu odesílaného uživateli, které umožňují lidem používat volně stažitelné doplňkové modely, jako jsou LoRAs, k vytváření AI zobrazení (včetně videozobrazení) dobře známých lidí.

Kliknutím se spustí. I když Civit neposkytuje přesné údaje (a nesprávné označení/nesprávná kategorie není neobvyklé, což by pravděpodobně zkreslilo údaje), je zřejmé, že počet modelů celebrit, především LoRAs, je v řádu stovek nebo dokonce tisíců, a jasně dominují ženské subjekty. Source: civitai.com

Zjevně působí pod tlakem v Twitch live-streamu** jménem společnosti, manažer komunitního zapojení Alasdair Nicoll, sám tvůrce (SFW) modelů na Civit, uznal, že změny byly vynuceny na webu platebními procesory kvůli obavám o obsah pro dospělé a zobrazení skutečných lidí. Také připouští, že je pravděpodobné, že primární síly za těmito procesory, Visa a MasterCard, budou vyžadovat ještě větší změny později:

‘Tyto změny jsme nechtěli dělat. To se týká nové a blížící se legislativy. Existují zákony o deepfakech, zákony o AI pornografii…platební procesory a nakonec Visa a MasterCard jsou vyděšeny; nechtějí být žalovány a jsou nakonec tím, kdo řídí tyto změny.

‘Některé z dalších možností, které nám byly nabídnuty, byly odstranit obsah, který není vhodný pro práci; odstranit x a triple-x obsah z CivitAI a na zcela novou platformu, a poté geo-blokovat tuto platformu, protože více než polovina států USA vyžaduje some formu porn geo-blokování, [stejně jako] mnoho asijských zemí a Spojené království…

‘Třetí možností bylo jít plně kryptograficky, kryptografické platby pouze…takže nebyly žádné dobré možnosti pro toto.’

Doména Civit byla v posledních dnech občas nedostupná kvůli revizím, aby provedla změny. Ačkoli web již dříve zakázal použití témat NSFW v zobrazeních celebrit LoRA/model, je nyní nemožné procházet sekci modelů Civit a vidět náhledy celebrit LoRA vedle velmi velkého počtu generických modelů NSFW navržených pro produkci dospělého obsahu.

Oficiální oznámení uvádí:

‘Obsah označený skutečnými jmény osob (jako “Tom Cruise”) nebo označený jako POI (skutečné osoby) zdroje bude skryt z kanálů.’

V Twitch relaci Nicoll odhalil další podrobnosti o opatřeních navržených k ochraně slavných osob a skutečných lidí. Civit vždy umožňoval skutečným lidem požadovat, aby AI model hostovaný na Civit, který je zobrazoval, byl odstraněn, ale nyní Nicoll naznačuje systém, který může zabránit tomu, aby takové obrázky byly znovu nahrány po počátečním odmítnutí, se schopností identifikovat “chráněnou” osobu i na obrázcích, které systém dosud neviděl.

Za tímto účelem web nyní spolupracuje s moderátorským systémem Clavata AI – i když rozsah, v jakém Clavata bude pohánět tyto nové funkce, není zatím jasný.

Nicoll řekl:

‘Tom Hanks si například nárokoval svou podobiznu od nás. Docela hodně dospělých hereček si to nárokovalo; docela hodně A-list herců a hereček si to nárokovalo…

‘Myslím, že první, kdo si to nárokoval, byla Barbara Eden, její “statek”* – byla jednou z prvních, kdo si nárokoval svou podobiznu, což je trochu zábavné, protože je stará.’

Chráněno ve výchozím nastavení?

V posledních dvou letech se společnost Metaphysic (plná diskrece: pracoval jsem pro Metaphysic.ai od počátku roku 2022 do konce roku 2024) pokusila vytvořit vlastní systém, který by umožnil každému zaregistrovat svou vlastní podobiznu, ačkoli primárně zaměřený na hollywoodské jména, která se obávají o své identity založené na AI, s podporou herců jako Anne Hathaway, Octavia Spencer a Tom Hanks (se kterým společnost spolupracovala na filmu Zde [2024]).

Logicky by utilita systému vždy závisela na případové legislativě; na základě opatření, která Civit nyní musí učinit, by se mohla služba založená na předplatném, kterou navrhl Metaphysic, ukázat jako zbytečná tváří v tvář rychlému růstu zákonů o deepfakech a potenciální (bezplatné) ochraně podle obecného práva. Není známo, zda nabídka Metaphysic Pro bude převedena na společnost Double Negative VFX, která získala aktiva Metaphysic minulý rok.

V každém případě se zdá, že globální legislativa a obecný tlak trhu jsou pravděpodobněji poskytovat ochranu a prostředky, než komerční řešení tohoto druhu.

Vařící žába

Zpráva z roku 2023 od 404 Media upozornila na tendenci celeb a pornografických modelů AI na Civit, i když zakladatel Civit Justin Maier zlehčoval vztah mezi uživatelsky přispívanými podobiznami celebrit a jejich použitím pro generování pornografického materiálu.

Ačkoli Civit vydělává peníze tím, že usnadňuje použití LoRAs a dalších modelů dodávaných uživateli, Nicoll je jasný v tom, že to není primární obava, která motivuje Visa a MasterCard k určení změn na webu, aby mohl být dále monetizován:

‘Někteří lidé říkají, že důvod, proč jsme v této situaci, je ten, že umožňujeme generování. To do toho nepatří. Hostování těchto modelů, hostování tohoto obsahu, stačí k tomu, aby upoutal pozornost Saurona.’

Komunitní diskusní vlákna se v posledních letech divily, že Civit byl schopen hostovat podobizny celebrit. Vědomi si možnosti, možná nevyhnutelnosti, zásahu, beberapa iniciativ bylo navrženo nebo implementováno k uchování LoRAs, které byly odstraněny Civitem nebo jejich uploadery, včetně dosud zanedbávaného subredditu r/CivitaiArchives.

Ačkoli mnoho lidí navrhlo, že torrentová iniciativa je přirozeným řešením, žádný dobře sledovaný domén zatím nevyvstal – a v každém případě by se tato aktivita pravděpodobně přesunula na okraj internetu; do uzavřených zahrad; a nejpravděpodobněji na dark net, protože většina rámců, které by mohly akomodovat zakázané podobizny LoRAs (jako Reddit a Discord), buď již zakazují takový obsah, nebo se zdá, že ho brzy zakážou.

V současné době lze podobizny celebrit LoRA stále vidět s některými omezeními na Civit, i když většina generovaného obsahu byla odstraněna a bude vyloučena z běžného objevování. Co se zdá pravděpodobným, jeden komentátor navrhl Nicollovi v Twitch relaci, je, že zásah se prohloubí (přičemž je pravděpodobné, že bude zahrnovat zákaz všech podobizen skutečných lidí v nahrávaných modelech nebo zobrazeních).

Nicoll odpověděl:

‘”Nebudou se zastavit zde, budou požadovat více a více” – absolutně! Ano, absolutně. To je prostě svět, ve kterém žijeme. Jediná naděje je, že se staneme dostatečně velkými a silnými, abychom měli trochu více vlivu na to, co se nám diktuje […]

Bezradný z alternativ nabízených Civit, Nicoll dodal:

‘[…] Nikdo nebude kupovat Bitcoin, aby použil generátor CivitAI. Tak jsme se pokusili udělat to co nejpříjemnější a tohle je, co jsme skončili. Takže mi líto, pokud je to něco, co prostě nemůžete snést, ale bohužel je to tak, jak to je. Snažili jsme se co nejlépe, odporovali jsme, jak jsme mohli, ale nakonec nám bylo řečeno, že to je to – musíte to udělat, nebo to bude konec […]’

‘[…] Tyto finanční instituce, oni nerozumí, co lidé dělají tady s tím. Snažili jsme se jim to říct, snažili jsme se s nimi mluvit, ale prakticky jsme poslední baštou obsahu NSFW.

Nicoll řekl, že Civit se obrátil na “každého platebního procesora, kterého je možné si představit”:

‘I když i na high-risk platební procesory, které používají pornografické stránky, a oni jsou všichni velmi, velmi opatrní vůči obsahu AI. To je problém – je to AI obsah. Pokud bychom byli tradiční pornografickou stránkou, byli bychom v pořádku, ale AI obsah je to, čeho se bojí.’

Kam dál?

Před tímto oznámením Civit odstraňoval nahrávky, které spadaly do některých kategorií a typů obsahu, které jsou nyní zakázány. V době psaní tohoto článku byl na webu Hugging Face zřízen “nouzový repozitář” pro Wan 2.1 LoRAs. Ačkoli některé z LoRAs archivovaných zde jsou navrženy k usnadnění obecných sexuálních aktivit, které jsou málo trénovány nebo chybí v nových video modelech, jako je Wan 2.1, několik z nich spadá do nyní přísně zakázané kategorie “svlékání” (tj. “nudifikace”), včetně některých modelů, které by mohly být považovány za “extrémní” nebo zjevně urážlivé.

Subreddit r/datahoarders, který byl v čele uchovávání online literatury US vlády během masové kampaně Donalda Trumpa na odstranění, dosud ukázal pohrdání nápadem na záchranu ztraceného obsahu CivitAI.

V literatuře nebyla snadná facilitace NSFW AI generace na CivitAI přehlédnuta. Jedna z nejčastěji citovaných studií, práce Exploring the Use of Abusive Generative AI Models on Civitai z roku 2024, je omezena tím, že Civit dosud nezakázal použití celebrit nebo nelegálních generací AI, a tím, že výzkumníci se rozhodli najít své důkazy přímo na Civit.

Zjevně se však zdá, že to, co platební procesory znepokojuje, není to, co se produkuje s LoRAs na Civit, nebo co se tam publikuje, ale to, co se dělá s těmito modely v jiných komunitách, které jsou buď uzavřené, nebo obecně méně regulované.

Web Mr. Deepfakes, který byl synonymem pro převládající autoencoder-based metodu NSFW deepfaking, až do příchodu Stable Diffusion a difuzních modelů v roce 2022, nedávno začal zveřejňovat příklady celeb-založených pornografických videí pomocí nejnovější vlny text-to-video a image-to-video generátorů, včetně Hunyuan Video a Wan 2.1 – obou velmi nedávných vydání, jejichž vliv je v zárodku, ale které se zdají být připraveny získat zápalné tituly, jak se jejich komunity budou vyvíjet v průběhu tohoto roku.

Povinná metadata

Jedna zajímavá změna, která je podle Nicolla zřejmě vyžadována platebními procesory, je, že všechny obrázky na webu musí nyní obsahovat metadata. Když je generován obrázek nebo video generativním modelem v typickém pracovním postupu na platformě, jako je ComfyUI, výstup obecně obsahuje metadata, která uvádějí model použitý (jeho hash i jeho jméno, aby v případě, že uživatel model přejmenuje, jeho původ zůstal jasný) a několik dalších nastavení.

Pokud uživatelé mohou díky těmto skrytým datovým bodům o tom, jak byl obrázek vytvořen, přetáhnout video nebo obrázek vytvořený někým jiným do svého vlastního pracovního postupu ComfyUI a znovu vytvořit celý tok, a řešit jakékoli chybějící závislosti (jako modely nebo komponenty, které měl původní tvůrce, které uživatel bude muset najít a stáhnout).

Jakékoli generace obrázků nebo videí, které postrádají tato data, budou, jak Civit oznámil, odstraněny do 30 dnů. Uživatelé mohou tato data přidat ručně, zadáním na webu Civit.

Pokud je hodnota metadat (předpokládá se) důkazní, zdá se, že toto ustanovení je trochu zbytečné; je triviální kopírovat a vkládat metadata z jednoho souboru do jiného, a ad hoc vynález metadat prostřednictvím webového formuláře dělá toto nové pravidlo trochu matoucím.

Nicméně, několik uživatelů (včetně jednoho, který komentoval v Twitch relaci) má mnoho tisíc obrázků nahráných na Civit. Jejich jediným řešením je nyní ručně annotovat každý z nich, nebo je odstranit a znovu nahrát verze obrázků s přidáním metadat – což vymaže jakékoli “líbí se” nebo “buzí” nebo konverzace, které původní obrázky vygenerovaly.

Nová pravidla

Zde jsou souhrnné změny platné pro Civit od dneška:

• Obsah označený skutečnými jmény osob nebo označený jako zdroje skutečných osob nebude již zobrazen v kanálech.
• Obsah s tématy dětí/menšíků bude filtrován z kanálů.
• X a XXX hodnocený obsah, který postrádá metadata generování, bude skryt z veřejného zobrazení a označen varováním, umožňujícím nahrávači přidat chybějící podrobnosti. Takový obsah nebude odstraněn, ale zůstane viditelný pouze pro svého tvůrce, dokud nebude aktualizován.
• Obrázky vytvořené pomocí funkce Bring Your Own Image (BYOI) musí nyní aplikovat alespoň 50% změny hluku během generování. To znamená, že AI musí dostatečně upravit nahrávaný obrázek, snížit šanci na generování téměř přesných kopií. Obrázky vytvořené zcela na CivitAI nebo remixované z jiného obsahu CivitAI nejsou touto změnou dotčeny a mohou stále používat jakoukoli úroveň denoisingu, od žádné změny (0,0) po úplnou transformaci (1,0). Tato změna je určena k snížení zneužívání nástroje BYOI, který by mohl být použit k produkci jemných nebo nezjistitelných deepfakeů pouze lehce upravujícími skutečné obrázky. Vynucení minimální 50% změny zajišťuje, že AI není pouze lehce upravující existující fotografii skutečné osoby.
• Při procházení s povoleným obsahem X nebo XXX budou vyhledávání podle jmen celebrit vrátit žádné výsledky. Kombinace jmen celebrit s dospělým obsahem zůstává zakázána.
• Inzerce nebude zobrazena na obrázcích nebo zdrojích, které jsou navrženy k replikaci vzhledu skutečných osob.
• Tipping (Buzz) bude zakázán pro obrázky nebo zdroje, které zobrazují skutečné osoby.
• Modely navržené k replikaci skutečných lidí nebudou způsobilé k Early Access, funkci Civitai, která umožňuje tvůrcům vydávat obsah nejprve pro platící podporovatele. To omezuje monetizaci podobizen celebrit nebo skutečných osob.
• Byla přidána Prohlášení o souladu s § 2257, aby se potvrdilo, že platforma neumožňuje žádný ne-AI-generovaný obsah. To pomáhá zajistit právní ochranu tím, že potvrzuje, že veškerý explicitní materiál je syntetický a nezávisí na skutečné fotografii nebo videu.
• Byla zavedena nová stránka pro odstranění obsahu, která umožňuje komukoli nahlásit zneužívající nebo nelegální materiál bez nutnosti přihlášení. Registrovaní uživatelé by měli pokračovat v používání integrovaných nástrojů pro nahlášení na každé příspěvku. To je samostatné od stávajícího formuláře pro žádost o odstranění své podobizny z platformy.
• CivitAI představil nový moderátorský systém prostřednictvím partnerství s Clavata, jehož nástroje pro analýzu obrázků překonaly předchozí řešení, jako je Amazon Rekognition a Hive.

** Od úterý 20. května 2025 11:23:47 (mohlo se stát dříve) byl Twitch live-stream odstraněn. Abych mohl ověřit skutečnosti uvedené ve streamu, uchovávám kopii.

* Přes zmínku o “stateku” Barbary Eden, herečka ze seriálu I Dream of Jeannie je stále naživu,目前 ve věku 93 let.
^† Archivováno: https://archive.ph/tsMb0

Poprvé publikováno ve čtvrtek 24. dubna 202. Opraveno ve čtvrtek 24. dubna 2025 14:32:28: opraveny datumy.