CivitAI stringe le regole sui deepfake sotto la pressione di Mastercard e Visa

CivitAI, probabilmente il repository di modelli AI più popolare su internet, ha finalmente ceduto alle pressioni dei facilitatori di pagamento MasterCard e Visa per revisionare radicalmente le proprie politiche sui contenuti NSFW – e in particolare i propri Termini di servizio riguardanti le LoRAs di celebrità, una delle correnti di contenuti più popolari tra gli utenti, che consentono alle persone di utilizzare modelli aggiuntivi scaricabili gratuitamente come le LoRAs per creare rappresentazioni AI (incluse rappresentazioni video) di personaggi famosi.

Click to play. Sebbene Civit non fornisca cifre esatte (e l’etichettatura errata/non categorizzazione non è insolita, il che probabilmente distorterebbe le cifre), il numero di modelli AI di celebrità, principalmente LoRAs, è chiaramente nell’ordine delle centinaia o addirittura delle migliaia, e chiaramente dominato da soggetti femminili. Fonte: civitai.com

Chiaramente operando sotto pressione in una diretta su Twitch** a nome della società, il Community Engagement Manager di Civit, Alasdair Nicoll, lui stesso creatore di modelli (SFW) su Civit, ammette che i cambiamenti sono stati imposti al sito dai propri processori di pagamento a causa delle preoccupazioni per i contenuti per adulti e la rappresentazione di persone reali. Ammette anche la probabilità che le principali forze dietro questi processori, Visa e MasterCard, siano probabilmente destinate a richiedere cambiamenti ancora più grandi in futuro:

‘Questi non sono cambiamenti che volevamo fare. Tutto questo si riduce a nuove e imminenti leggi. Ci sono leggi sui deepfake, ci sono leggi sul porno AI… i processori di pagamento, e in ultima analisi Visa e MasterCard, sono spaventati; non vogliono essere citati in giudizio e stanno guidando questi cambiamenti.

‘Alcune delle altre opzioni che ci sono state offerte erano rimuovere completamente i contenuti non adatti ai minori; rimuovere i contenuti X e triple-X da CivitAI e trasferirli su una piattaforma completamente nuova, e poi bloccare geograficamente quella piattaforma, perché più della metà degli stati degli Stati Uniti richiede una qualche forma di blocco geografico del porno, [nonché] molti paesi asiatici e il Regno Unito…

‘La terza opzione era passare a pagamenti solo in criptovaluta… quindi non c’erano letteralmente buone opzioni per questo.’

Il dominio Civit è stato periodicamente offline negli ultimi giorni, apparentemente per apportare i cambiamenti. Sebbene il sito avesse già vietato l’uso di temi NSFW nelle rappresentazioni di celebrità LoRA/modello, ora è impossibile navigare nella sezione dei modelli di Civit e vedere anteprime di LoRA di celebrità affiancate da un gran numero di modelli NSFW generici progettati per produrre contenuti per adulti.

L’annuncio ufficiale afferma:

‘I contenuti etichettati con nomi di persone reali (come “Tom Cruise”) o segnalati come risorse POI (persone reali) saranno nascosti dai feed.’

Nella sessione di Twitch, Nicoll ha rivelato ulteriori dettagli sulle misure progettate per proteggere personaggi famosi e persone reali. Civit ha sempre consentito alle persone reali di richiedere che un modello AI di Civit che le ritraeva fosse rimosso, ma ora Nicoll allude a un sistema che può impedire che tali immagini vengano ricaricate dopo il rifiuto iniziale, con la possibilità di identificare una “persona protetta” anche in immagini che il sistema non ha mai visto prima.

Per questo scopo, il sito sta ora collaborando con il sistema di moderazione AI Clavata – sebbene non sia ancora chiaro l’entità del coinvolgimento di Clavata in queste nuove strutture.

Nicoll ha detto:

‘Tom Hanks ha reclamato la sua somiglianza da noi, ad esempio. Molte attrici per adulti lo hanno fatto; molti attori e attrici di fama lo hanno fatto…

‘Credo che il primo che abbiamo avuto fosse Barbara Eden, il suo patrimonio* – lei è stata una delle prime a reclamare la sua somiglianza, il che è un po’ divertente, perché è vecchia.’

Protetto per default?

Negli ultimi due anni, la società di effetti visivi AI Metaphysic (con la quale ho lavorato dal 2022 al 2024) ha tentato di creare un sistema proprietario che avrebbe consentito a chiunque di registrare la propria somiglianza, sebbene principalmente rivolto ai nomi di Hollywood preoccupati per l’hacking delle loro identità basato su AI, con il sostegno di attori come Anne Hathaway, Octavia Spencer e Tom Hanks (con il quale la società ha lavorato nel film di Robert Zemeckis Here [2024]).

Logicamente, l’utilità del sistema dipenderebbe sempre dalla legge dei casi; sulla base delle misure che Civit è ora costretta a prendere, il servizio basato su abbonamento^† proposto da Metaphysic potrebbe essere ridondante di fronte alla rapida crescita delle leggi sui deepfake e alla possibile (gratuita) copertura secondo la legge comune. Non è attualmente noto se l’offerta Metaphysic Pro verrà trasferita alla società di effetti visivi Double Negative VFX, che ha acquisito gli asset di Metaphysic l’anno scorso.

In ogni caso, sembra sempre più che la legge globale e le pressioni del mercato siano più probabili di fornire protezione e rimedi, piuttosto che soluzioni commerciali di questo tipo.

La strategia del frog boiling

Un rapporto del 2023 di 404 Media ha attirato l’attenzione sulla propensione dei modelli AI di celebrità e porno su Civit, sebbene il fondatore di Civit, Justin Maier, abbia minimizzato il rapporto tra somiglianze di celebrità fornite dagli utenti e il loro uso nella generazione di materiale pornografico.

Sebbene Civit guadagni denaro facilitando l’uso dei LoRAs e di altri modelli forniti dagli utenti sul proprio sito, Nicoll è chiaro che questo non è il principale motivo che spinge Visa e MasterCard a imporre cambiamenti al sito, in modo che possa continuare a essere monetizzato:

‘Alcune persone dicono che il motivo per cui siamo in questa situazione è che consentiamo la generazione. Ciò non rientra nella questione. L’hosting di questi modelli, l’hosting di questo contenuto, è sufficiente per attirare l’attenzione di Sauron.’

I thread dei commenti della community hanno meravigliato negli ultimi anni che Civit sia stato autorizzato a ospitare somiglianze di celebrità. Consapevoli della possibilità, forse dell’inevitabilità di un giro di vite, diverse iniziative per preservare le LoRAs rimosse da Civit o dai loro uploader sono state proposte o attuate, tra cui il (fino ad ora) piuttosto trascurato subreddit r/CivitaiArchives.

Sebbene molti abbiano suggerito che un’iniziativa basata su torrent sia la soluzione naturale, non sembra che sia emerso un dominio seguito – e in ogni caso, ciò sembrerebbe certo di spostare l’attività vietata a Civit e altrove ai margini più esterni di internet; ai giardini recintati; e, molto probabilmente, alla dark net, poiché la maggior parte delle strutture che potrebbero ospitare LoRAs di somiglianze vietate (come Reddit e Discord) o vietano già tali contenuti o sembrano destinate a vietarli imminente.

Al momento, le LoRAs di celebrità possono ancora essere viste con alcune restrizioni a Civit, sebbene la maggior parte dei contenuti generati sia stata de-elencata e verrà esclusa dalla scoperta casuale. Ciò che sembra probabile, ha suggerito un commentatore a Nicoll nella sessione di Twitch, è che il giro di vite si approfondirà (presumibilmente fino al punto di vietare tutte le somiglianze di persone reali nei modelli o rappresentazioni caricati).

Nicoll ha risposto:

‘”Non si fermeranno qui, continueranno a chiedere sempre di più” – assolutamente! Sì, assolutamente. È solo il mondo in cui viviamo. L’unica speranza è che diventiamo abbastanza grandi e potenti da avere un po’ più di voce in capitolo su ciò che ci viene dettato […]

Disperando delle alternative offerte a Civit, Nicoll ha aggiunto:

‘[…] Nessuno comprerà Bitcoin per utilizzare il generatore CivitAI. Quindi abbiamo cercato di rendere questo il più possibile accettabile, e questo è ciò che abbiamo finito per avere. Quindi, mi scuso se questo è qualcosa che non puoi sopportare, ma purtroppo è ciò che è. Abbiamo fatto del nostro meglio, abbiamo lottato il più possibile, ma alla fine ci è stato detto che è così – devi farlo o sarà la fine […]

‘[…] Queste istituzioni finanziarie, non capiscono cosa stanno facendo qui con esso. Abbiamo cercato di spiegarlo, abbiamo cercato di parlarne, ma siamo praticamente l’ultimo baluardo di contenuti NSFW.

Nicoll ha detto che Civit ha contattato ‘ogni processore di pagamento immaginabile:

‘Anche i processori di pagamento ad alto rischio che utilizzano i siti di porno, e sono tutti molto molto cauti con i contenuti AI. Il problema è che si tratta di contenuti AI. Se fossimo un sito di porno tradizionale, saremmo a posto, ma i contenuti AI sono ciò di cui hanno paura.’

Dove andiamo?

Prima di questo annuncio, Civit era stato osservato mentre rimuoveva caricamenti coperti da alcune delle categorie e dei tipi di contenuti ora vietati. Al momento della stesura, un ‘repository di emergenza’ per le LoRAs Wan 2.1 è stato stabilito sul sito web Hugging Face. Sebbene alcune delle LoRAs archiviate lì siano progettate per facilitare attività sessuali generali che sono scarsamente formate o assenti nei nuovi modelli video come Wan 2.1, diverse di esse rientrano nella categoria di “spogliare” (ovvero “denudificare”), incluse alcune che potrebbero essere considerate “estreme” o manifestamente offensive.

Il subreddit r/datahoarders, che è stato in prima linea nella conservazione della letteratura online del governo degli Stati Uniti durante la campagna di cancellazione di massa di Donald Trump, ha finora manifestato disprezzo per l’idea di salvare i contenuti persi di CivitAI.

Nella letteratura, la facilitazione facile di CivitAI dei contenuti AI NSFW non è passata inosservata. Tuttavia, uno degli studi più citati, il documento Exploring the Use of Abusive Generative AI Models on Civitai del 2024, è limitato dal fatto che Civit non ha consentito la generazione di celebrità o contenuti AI illegali fino ad oggi, e dalla determinazione dei ricercatori di trovare le loro prove su Civit stesso.

Chiaramente, tuttavia, ciò che preoccupa i processori di pagamento non è ciò che viene prodotto con le LoRAs su Civit, o ciò che viene pubblicato lì, ma ciò che viene fatto con questi modelli in altre comunità che sono chiuse o generalmente meno regolamentate.

Il sito web Mr. Deepfakes, che era sinonimo del metodo autoencoder-based di deepfaking NSFW, fino all’avvento di Stable Diffusion e modelli basati su diffusione nel 2022, ha recentemente iniziato a pubblicare esempi di video pornografici basati su celebrità utilizzando l’ultima ondata di generatori di testo-video e immagine-video, tra cui Hunyuan Video e Wan 2.1 – entrambi rilasci molto recenti il cui impatto è nascente, ma che sembrano destinati a suscitare titoli incendiari nel corso dell’anno.

Metadati obbligatori

Una delle modifiche interessanti apparentemente richieste dai processori di pagamento, secondo Nicoll, è che tutte le immagini sul sito debbano ora contenere metadati. Quando un’immagine o un video viene prodotto da un modello generativo in un flusso di lavoro tipico su una piattaforma come ComfyUI, l’output contiene generalmente metadati che elencano il modello utilizzato (il suo hash nonché il suo nome, in modo che se il modello viene rinominato da un utente, la sua provenienza rimanga chiara) e molte altre impostazioni.

Perché di questi punti di dati nascosti su come è stata creata l’immagine, gli utenti sono in grado di trascinare un video o un’immagine creata da qualcun altro nel proprio flusso di lavoro ComfyUI e ricreare l’intero flusso, e affrontare eventuali dipendenze mancanti (come modelli o componenti che il creatore originale aveva, che l’utente dovrà quindi localizzare e scaricare).

Qualsiasi generazione di immagini o video che manchi di questi dati sarà, come ha annunciato Civit, cancellata entro trenta giorni. Gli utenti possono aggiungere tali dati manualmente, digitandoli sul sito web di Civit.

Dal momento che il valore dei metadati è (presumibilmente) probatorio, questa disposizione sembra piuttosto inutile; è banale copiare e incollare i metadati da un file all’altro, e l’invenzione ad hoc dei metadati tramite un modulo web rende questa nuova regola un po’ incomprensibile.

Nonostante ciò, diversi utenti (incluso uno che ha commentato nella sessione di Twitch) hanno molti migliaia di immagini caricate su Civit. La loro unica risorsa ora è annotare manualmente ciascuna di esse, o cancellare e ricaricare versioni delle immagini con metadati aggiunti – il che cancellerà qualsiasi ‘like’ o ‘buzz’ o conversazioni che le immagini originali abbiano generato.

Le nuove regole

Ecco le modifiche riassunte applicabili a Civit a partire da oggi:

• I contenuti etichettati con nomi di persone reali o identificati come risorse di persone reali non appariranno più nei feed pubblici.
• I contenuti con temi di minori saranno filtrati fuori dai feed.
• I contenuti con valutazione X e XXX che mancano di metadati di generazione saranno nascosti dalla vista pubblica e contrassegnati con un avviso, consentendo all’uploader di aggiungere i dettagli mancanti. Tali contenuti non saranno cancellati, ma rimarranno visibili solo al loro creatore fino a quando non saranno aggiornati.
• Le immagini create utilizzando la funzione Bring Your Own Image (BYOI) devono ora applicare un alterazione del rumore di almeno il 50% durante la generazione. Ciò significa che l’AI deve modificare significativamente l’immagine caricata, riducendo la possibilità di generare repliche quasi esatte. Tuttavia, le immagini create interamente su CivitAI o ricombinate da altri contenuti di CivitAI non sono soggette a questa regola e possono utilizzare qualsiasi livello di denoise, dalla mancanza di modifiche (0,0) alla trasformazione completa (1,0). Questo cambiamento è destinato a ridurre l’abuso della funzione BYOI, che altrimenti potrebbe essere utilizzata per produrre deepfake sottili o impercettibili modificando appena le immagini reali.
• Quando si naviga con contenuti X o XXX abilitati, le ricerche per nomi di celebrità non restituiranno risultati. Combinare nomi di celebrità con contenuti per adulti rimane vietato.
• Le pubblicità non appariranno su immagini o risorse progettate per replicare l’aspetto di persone reali.
• La funzione di tipping (Buzz) sarà disabilitata per immagini o risorse che ritraggono persone reali.
• I modelli progettati per replicare persone reali non saranno idonei per l’accesso anticipato, una funzione di Civitai che consente ai creatori di rilasciare contenuti per primi ai sostenitori che pagano. Ciò limita la monetizzazione delle somiglianze o dei nomi di celebrità.
• È stata aggiunta una dichiarazione di conformità 2257 per chiarire che la piattaforma non consente alcun contenuto non generato da AI. Ciò aiuta a garantire la protezione legale affermando che tutti i materiali espliciti sono sintetici e non basati sulla fotografia o sul video reale.
• È stata introdotta una nuova pagina di richiesta di rimozione dei contenuti che consente a chiunque di segnalare materiali abusivi o illegali senza dover effettuare l’accesso. Gli utenti registrati dovrebbero continuare a utilizzare gli strumenti di segnalazione integrati in ogni post. Ciò è separato dal modulo esistente per la richiesta di rimozione della propria somiglianza dalla piattaforma.
• CivitAI ha introdotto un nuovo sistema di moderazione attraverso una partnership con Clavata, le cui strumentazioni di analisi delle immagini hanno superato le soluzioni precedenti come Amazon Rekognition e Hive.

** Al momento di martedì 20 maggio 2025 11:23:47 (potrebbe essere successo prima), la diretta su Twitch è stata rimossa. Per garantire che potessi verificare i fatti riportati nella diretta, conservo una copia.

* Nonostante la menzione del “patrimonio” di Barbara Eden, l’attrice di I Dream of Jeannie è ancora viva, attualmente ha 93 anni.
^† Archiviato: https://archive.ph/tsMb0

Pubblicato per la prima volta giovedì 24 aprile 202. Modificato giovedì 24 aprile 2025 14:32:28: date corrette.