CivitAI stringe le regole sui deepfake a causa della pressione di Mastercard e Visa

CivitAI, probabilmente il repository di modelli AI più popolare su internet, ha finalmente ceduto alla pressione dei facilitatori di pagamento MasterCard e Visa per revisionare radicalmente le proprie politiche sui contenuti NSFW – e in particolare i propri Termini di servizio riguardanti i LoRA di celebrità, uno dei flussi di contenuti più popolari inviati dagli utenti del sito, che consentono alle persone di utilizzare modelli aggiuntivi scaricabili gratuitamente come LoRA per creare rappresentazioni AI (incluse rappresentazioni video) di persone note.

Click to play. Sebbene Civit non fornisca cifre esatte (e l’etichettatura errata o la categorizzazione errata non è insolita, il che probabilmente altererebbe le cifre), il numero di modelli AI di celebrità, principalmente LoRA, è chiaramente nell’ordine delle centinaia o addirittura delle migliaia, e chiaramente dominato da soggetti femminili. Fonte: civitai.com

Chiaramente operante sotto pressione in un Twitch live-stream** a nome della società, il Community Engagement Manager della società, Alasdair Nicoll, lui stesso un creatore di modelli (SFW) su Civit, ha ammesso che le modifiche sono state imposte al sito dai propri processori di pagamento a causa delle preoccupazioni relative ai contenuti per adulti e alla rappresentazione di persone reali. Ha anche ammesso la probabilità che le principali forze dietro questi processori, Visa e MasterCard, siano probabilmente richiederanno ulteriori modifiche in futuro:

‘Queste non sono modifiche che volevamo apportare. Ciò si riduce a nuove e imminenti leggi. Ci sono leggi sui deepfake, ci sono leggi sulla pornografia AI… i processori di pagamento e, in ultima analisi, Visa e MasterCard sono spaventati; non vogliono essere citati in giudizio e stanno alla fine guidando queste modifiche.

‘Alcune delle altre opzioni che ci sono state offerte erano rimuovere completamente i contenuti non adatti ai minori; rimuovere i contenuti X e triple-X da CivitAI e trasferirli su una piattaforma completamente nuova, e poi bloccare geograficamente quella piattaforma, poiché più della metà degli stati degli Stati Uniti richiede una qualche forma di blocco geografico della pornografia, [nonché] molti paesi asiatici e il Regno Unito…

‘La terza opzione era passare completamente al crypto, pagamenti solo in crypto… quindi non c’erano letteralmente buone opzioni per questo.’

Il dominio Civit è stato periodicamente disattivato negli ultimi giorni, apparentemente per apportare le modifiche. Sebbene il sito avesse già vietato l’uso di temi NSFW in rappresentazioni di celebrità LoRA/modello, ora è impossibile sfogliare la sezione dei modelli di Civit e vedere anteprime di LoRA di celebrità affiancate dal gran numero di modelli NSFW generici progettati per produrre contenuti per adulti.

L’annuncio ufficiale afferma:

‘I contenuti etichettati con nomi di persone reali (come “Tom Cruise”) o segnalati come risorse POI (persone reali) saranno nascosti dai feed.’

Nella sessione Twitch, Nicoll ha rivelato ulteriori dettagli sulle misure progettate per proteggere personaggi famosi e persone reali. Civit ha sempre consentito alle persone reali di richiedere che un modello AI ospitato da Civit che le rappresenta venga rimosso, ma ora Nicoll allude a un sistema che può impedire che tali immagini vengano ri-caricate dopo il rifiuto iniziale, con la facoltà di identificare una ‘persona protetta’ anche in immagini che il sistema non ha mai visto prima.

A questo scopo, il sito sta ora collaborando con il sistema di moderazione AI Clavata – sebbene non sia ancora chiaro l’entità del ruolo di Clavata in queste nuove strutture.

Nicoll ha detto:

‘Tom Hanks ha reclamato la sua somiglianza da noi, ad esempio. Molte attrici per adulti lo hanno fatto; molti attori e attrici di fama lo hanno fatto…

‘Credo che il primo che abbiamo avuto sia stato Barbara Eden, il suo patrimonio* – lei è stata una delle prime a reclamare la sua somiglianza, il che è piuttosto divertente, perché è vecchia.’

Protetto per default?

Negli ultimi due anni, la società di effetti visivi AI Metaphysic (con la dovuta precisazione: ho lavorato per Metaphysic.ai dal principio del 2022 alla fine del 2024) ha tentato di creare un sistema proprietario che avrebbe consentito a chiunque di registrare la propria somiglianza, sebbene principalmente destinato a nomi di Hollywood preoccupati per l’uso della loro identità basata sull’AI, con il supporto di attori come Anne Hathaway, Octavia Spencer e Tom Hanks (con cui la società ha lavorato sull’uscita di Robert Zemeckis Here [2024]).

Logicamente, l’utilità del sistema dipenderebbe sempre dalla legislazione dei casi; in base alle misure che Civit è ora costretta ad adottare, il servizio basato su abbonamento^† proposto da Metaphysic potrebbe essere ridondante di fronte alla rapida crescita delle leggi sui deepfake e alla copertura potenziale (gratuita) sotto la legge comune. Non è attualmente noto se l’offerta Metaphysic Pro verrà trasferita alla società di effetti visivi Double Negative VFX, che ha acquisito gli asset di Metaphysic l’anno scorso.

In ogni caso, sembra sempre più che la legge globale e le pressioni del mercato siano più probabili a fornire protezione e rimedi, piuttosto che soluzioni commerciali di questo tipo.

Scottando la rana

Un rapporto del 2023 di 404 Media ha attirato l’attenzione sulla propensione dei modelli AI di celebrità e porno su Civit, sebbene il fondatore di Civit, Justin Maier abbia minimizzato la relazione tra somiglianze di celebrità inviate dagli utenti e il loro uso nella produzione di materiale pornografico.

Sebbene Civit guadagni denaro facilitando l’uso sul sito dei LoRA e di altri modelli forniti dagli utenti, Nicoll è chiaro che questo non è il principale motivo che spinge Visa e MasterCard a imporre modifiche al sito, in modo che possa continuare a essere monetizzato:

‘Alcune persone dicono che il motivo per cui siamo in questo pasticcio è che consentiamo la generazione. Ciò non rientra nella questione. L’hosting di questi modelli, l’hosting di questo contenuto, è sufficiente per attirare l’occhio di Sauron.’

I thread dei commenti della community hanno meravigliato negli ultimi anni che Civit sia stato autorizzato a ospitare somiglianze di celebrità. Consapevoli della possibilità, forse dell’inevitabilità di un giro di vite, diverse iniziative per preservare i LoRA rimossi da Civit o dai loro uploader sono state proposte o attuate, tra cui la (fino ad ora) piuttosto trascurata subreddit r/CivitaiArchives.

Sebbene molti abbiano suggerito che un’iniziativa basata su torrent sia la soluzione naturale, non sembra che sia emerso un dominio seguito – e in ogni caso, ciò sembrerebbe certo spostare l’attività vietata a Civit e altrove ai margini più esterni di internet; a giardini recintati; e, molto probabilmente, alla dark net, poiché la maggior parte delle strutture che potrebbero ospitare LoRA di somiglianze vietate (come Reddit e Discord) o già vietano tali contenuti o sembrano certi di vietarli imminente.

Al momento, i LoRA di celebrità possono ancora essere visti con alcune restrizioni su Civit, sebbene la maggior parte dei contenuti generati sia stata de-elencata e sarà esclusa dalla scoperta casuale. Ciò che sembra probabile, ha suggerito un commentatore a Nicoll nella sessione Twitch, è che il giro di vite si approfondirà (presumibilmente fino al punto di vietare tutte le somiglianze di persone reali nei modelli o rappresentazioni inviati).

Nicoll ha risposto:

‘”Non si fermeranno qui, continueranno a chiedere sempre di più” – assolutamente! Sì, assolutamente. È solo il mondo in cui viviamo. L’unica speranza è che diventiamo abbastanza grandi e potenti da avere un po’ più di voce in capitolo su ciò che ci viene dettato […]

Disperando delle alternative offerte a Civit, Nicoll ha aggiunto:

‘[…] Nessuno comprerà Bitcoin per [usare] il generatore CivitAI. Quindi abbiamo cercato di rendere questo il più palatabile possibile, e questo è ciò che abbiamo finito per avere. Quindi, mi scuso se questo è qualcosa che semplicemente non puoi sopportare, ma purtroppo è ciò che è. Abbiamo cercato il meglio, abbiamo fatto del nostro meglio, ma alla fine ci è stato detto che questo è ciò che dovevamo fare – o sarebbe stata la fine […]’

‘[…] Queste istituzioni finanziarie, non capiscono cosa stanno facendo le persone qui con esso. Abbiamo cercato di spiegarlo, abbiamo cercato di parlare con loro, ma siamo praticamente l’ultimo baluardo di [contenuti NSFW].

Nicoll ha detto che Civit ha contattato ‘ogni processore di pagamento immaginabile:

‘Anche i processori di pagamento ad alto rischio che utilizzano i siti porno, e sono tutti molto molto guardinghi nei confronti dei contenuti AI. Questo è il problema – è il contenuto AI. Se fossimo un sito porno tradizionale, saremmo a posto, ma il contenuto AI è ciò che li spaventa.’

Dove adesso?

Prima di questo annuncio, Civit era stato osservato rimuovere upload coperti da alcune delle categorie e tipi di contenuti che sono ora vietati. Al momento della stesura di questo articolo, un ‘repository di emergenza’ per Wan 2.1 LoRA è stato istituito sul sito Hugging Face. Sebbene alcuni dei LoRA archiviati lì siano progettati per facilitare attività sessuali generali che sono scarse o assenti in nuovi modelli video come Wan 2.1, diversi di essi rientrano nella categoria ora strettamente vietata ‘spogliare’ (ovvero ‘denudare’), tra cui alcuni modelli che potrebbero essere considerati ‘estremi’ o manifestamente potenzialmente offensivi.

La subreddit r/datahoarders, che è stata alla forefront della preservazione della letteratura online del governo degli Stati Uniti sotto la campagna di cancellazione di massa di Trump, ha finora mostrato disprezzo per l’idea di salvare i contenuti persi di CivitAI.

Metadati obbligatori

Una modifica interessante che sembra essere richiesta dai processori di pagamento, secondo Nicoll, è che tutte le immagini sul sito debbano ora contenere metadati. Quando un’immagine o un video viene prodotto da un modello generativo in un flusso di lavoro tipico su una piattaforma come ComfyUI, l’output contiene generalmente metadati che elencano il modello utilizzato (il suo hash e il suo nome, in modo che nel caso in cui il modello venga rinominato da un utente, la sua provenienza rimanga chiara) e molte altre impostazioni.

A causa di questi punti di dati nascosti su come è stata creata l’immagine, gli utenti sono in grado di trascinare un video o un’immagine creata da qualcun altro nel proprio flusso di lavoro ComfyUI e ricreare l’intero flusso, e affrontare eventuali dipendenze mancanti (come modelli o componenti che il creatore originale aveva, che l’utente dovrà quindi localizzare e scaricare).

Qualsiasi generazione di immagini o video che manchi di questi dati sarà, come ha annunciato Civit, cancellata entro trenta giorni. Gli utenti possono aggiungere tali dati manualmente, digitandoli sul sito web di Civit.

Poiché il valore dei metadati è (presumibilmente) probatorio, questa prescrizione sembra piuttosto inutile; è banale copiare e incollare metadati da un file all’altro, e l’invenzione ad hoc di metadati tramite un modulo web rende questa nuova regola un po’ incomprensibile.

Tuttavia, diversi utenti (tra cui uno che ha commentato nella sessione Twitch) hanno molti migliaia di immagini caricate su Civit. La loro unica risorsa ora è annotare manualmente ciascuna di esse, o cancellare e ricaricare versioni delle immagini con metadati aggiunti – il che cancellerà qualsiasi ‘like’ o ‘buzz’ o conversazioni che le immagini originali abbiano generato.

Le nuove regole

Ecco le modifiche riassunte applicabili a Civit da oggi:

• I contenuti etichettati con nomi di persone reali o identificati come risorse di persone reali non appariranno più nei feed pubblici.
• I contenuti con temi di bambini/minori saranno filtrati dai feed.
• I contenuti con valutazione X e XXX che mancano di metadati di generazione saranno nascosti dalla vista pubblica e contrassegnati con un avviso, consentendo all’uploader di aggiungere i dettagli mancanti. Tali contenuti non saranno cancellati, ma rimarranno visibili solo al loro creatore fino a quando non saranno aggiornati.
• Le immagini create utilizzando la funzione Bring Your Own Image (BYOI) devono ora applicare un alterazione del rumore del 50% durante la generazione. Ciò significa che l’AI deve modificare significativamente l’immagine caricata, riducendo la possibilità di generare repliche quasi esatte. Tuttavia, le immagini create interamente su CivitAI o ri-mixate da altri contenuti CivitAI non sono soggette a questa regola e possono utilizzare qualsiasi livello di denoise, dalla nessuna modifica (0,0) alla trasformazione completa (1,0). Questa modifica è destinata a ridurre l’abuso dello strumento BYOI, che altrimenti potrebbe essere utilizzato per produrre deepfake sottili o non rilevabili modificando appena le immagini reali. Imporre un cambiamento minimo del 50% garantisce che l’AI non stia semplicemente modificando leggermente una foto esistente di una persona reale.
• Quando si sfoglia con contenuti X o XXX abilitati, le ricerche per nomi di celebrità non restituiranno risultati. Combinare nomi di celebrità con contenuti per adulti rimane vietato.
• La pubblicità non apparirà su immagini o risorse progettate per replicare l’aspetto di persone reali.
• La possibilità di ‘buzz’ (tipping) sarà disabilitata per immagini o risorse che rappresentano persone reali.
• I modelli progettati per replicare persone reali non saranno idonei per l’accesso anticipato, una funzione Civitai che consente ai creatori di rilasciare contenuti per primi ai sostenitori che pagano. Ciò limita la monetizzazione delle somiglianze di celebrità o di persone reali.
• È stato aggiunto un Dichiarazione di conformità 2257 per chiarire che la piattaforma non consente alcun contenuto non generato da AI. Ciò aiuta a garantire la protezione legale affermando che tutto il materiale esplicito è sintetico e non si basa su fotografia o video reali.
• È stata aggiunta una nuova pagina di richiesta di rimozione del contenuto che consente a chiunque di segnalare materiale abusivo o illegale senza dover accedere. Gli utenti registrati dovrebbero continuare a utilizzare gli strumenti di segnalazione integrati in ogni post. Ciò è separato dal modulo esistente per la richiesta di rimozione della propria somiglianza dalla piattaforma.
• CivitAI ha introdotto un nuovo sistema di moderazione attraverso una partnership con Clavata, le cui funzionalità di analisi delle immagini hanno superato le soluzioni precedenti come Amazon Rekognition e Hive.

** Al momento di martedì 20 maggio 2025 11:23:47 (potrebbe essere successo prima), il Twitch live-stream è stato rimosso. Per assicurarmi di poter verificare i fatti riportati nello stream, conservo una copia.
* Nonostante la menzione del ‘patrimonio’ di Barbara Eden, l’ attrice di I Dream of Jeannie è ancora viva, attualmente ha 93 anni.
^† Archiviato: https://archive.ph/tsMb0

Pubblicato per la prima volta giovedì 24 aprile 202. Modificato giovedì 24 aprile 2025 14:32:28: corretti i dati.
Modificato martedì 20 maggio 2025 per riflettere la rimozione del contenuto Twitch utilizzato come materiale di riferimento.