CivitAI endurece las reglas de los deepfakes bajo la presión de Mastercard y Visa

CivitAI, posiblemente el repositorio de modelos de inteligencia artificial más popular en Internet, finalmente ha cedido a la presión de los facilitadores de pagos MasterCard y Visa para revisar radicalmente sus políticas sobre contenido NSFW – y particularmente sus TOS con respecto a los LoRAs de celebridades, uno de los flujos de contenido más populares de la plataforma, que permiten a las personas utilizar modelos adjuntos gratuitos como LoRAs para crear representaciones de inteligencia artificial (incluyendo representaciones de video) de personas conocidas.

Pulse para reproducir. Aunque Civit no proporciona cifras exactas (y el mal etiquetado/mal categorización no es inusual, lo que probablemente distorsionaría las cifras), el número de modelos de inteligencia artificial de celebridades, principalmente LoRAs, es claramente de cientos o incluso miles, y claramente dominado por sujetos femeninos. Fuente: civitai.com

Es evidente que la empresa está operando bajo presión en una transmisión en vivo de Twitch** en nombre de la empresa, el gerente de participación de la comunidad de Civit, Alasdair Nicoll, quien también es un creador de modelos (SFW) en Civit, admitió que los cambios han sido impuestos a la plataforma por las preocupaciones de sus procesadores de pagos sobre el contenido para adultos y la representación de personas reales. También admite la probabilidad de que las fuerzas principales detrás de estos procesadores, Visa y MasterCard, probablemente exigirán cambios aún mayores más adelante:

‘Estos no son cambios que quisiéramos hacer. Esto se reduce a la nueva y pendiente legislación. Hay leyes de deepfakes ahí, hay leyes de pornografía de inteligencia artificial… los procesadores de pagos, y en última instancia Visa y MasterCard están asustados; no quieren ser demandados, y en última instancia están impulsando estos cambios.

‘Algunas de las otras opciones que se nos dieron fueron eliminar todo el contenido no apto para el trabajo; eliminar el contenido X y triple-X de CivitAI y llevarlo a una plataforma completamente nueva, y luego bloquear geográficamente esa plataforma, porque más de la mitad de los estados de EE. UU. requieren algún tipo de bloqueo geográfico de la pornografía, [así como] muchos países asiáticos y el Reino Unido…

‘La tercera opción era ir a pagos criptográficos solo… así que no había opciones buenas para esto.’

El dominio de Civit ha estado inactivo periódicamente durante los últimos días, aparentemente para efectuar los cambios. Aunque la plataforma ya había prohibido el uso de temas NSFW en representaciones de celebridades LoRA/modelo, ahora es imposible navegar por la sección de modelos de Civit y ver vistas previas de LoRA de celebridades junto con el gran número de modelos NSFW genéricos diseñados para producir contenido maduro.

El anuncio oficial establece:

‘El contenido etiquetado con nombres de personas reales (como “Tom Cruise”) o marcado como recursos de persona real se ocultará de las fuentes.’

En la sesión de Twitch, Nicoll reveló más detalles de las medidas diseñadas para proteger a las figuras famosas y a las personas reales. Civit siempre ha permitido que las personas reales soliciten que se elimine un modelo de inteligencia artificial alojado en Civit que las represente, pero ahora Nicoll alude a un sistema que puede evitar que se vuelvan a cargar esas imágenes después de una negativa inicial, con la capacidad de identificar a una ‘persona protegida’ incluso en imágenes que el sistema nunca ha visto antes.

Con este fin, el sitio ahora se está asociando con el sistema de moderación de inteligencia artificial Clavata – aunque no está claro aún el alcance de la participación de Clavata en estas nuevas instalaciones.

Nicoll dijo:

‘Tom Hanks ha reclamado su semejanza de nosotros, por ejemplo. Muchas de las actrices para adultos han hecho lo mismo; muchos actores y actrices de la lista A han…

‘Creo que la primera que tuvimos fue Barbara Eden, su “propiedad”* – ella fue una de las primeras en reclamar su semejanza, lo que es un poco divertido, porque es anciana.’

¿Protegidos por defecto?

En los últimos dos años, la empresa de efectos visuales de inteligencia artificial Metaphysic (divulgación completa: trabajé para Metaphysic.ai desde principios de 2022 hasta finales de 2024) intentó crear un sistema propio que permitiría a cualquier persona registrar su propia semejanza, aunque principalmente dirigido a nombres de Hollywood preocupados por el secuestro de sus identidades basado en inteligencia artificial, con el apoyo de actores como Anne Hathaway, Octavia Spencer y Tom Hanks (con quien la empresa trabajó en la película de Robert Zemeckis Aquí [2024]).

Lógicamente, la utilidad del sistema siempre dependería de la ley de casos; basándose en las medidas que Civit ahora se ve obligada a tomar, el servicio basado en suscripción^† propuesto por Metaphysic podría ser redundante ante el crecimiento rápido de las leyes de deepfakes y la posible (gratuita) cobertura bajo la ley común. No se sabe actualmente si la oferta de Metaphysic Pro se trasladará a la empresa de efectos visuales Double Negative VFX, que adquirió los activos de Metaphysic el año pasado.

En cualquier caso, cada vez parece más que la ley global y las presiones del mercado en general son más probable que brinden protección y remedios, en lugar de soluciones comerciales de este tipo.

Cocinando al sapo

Un informe de 2024 de 404 Media llamó la atención sobre la tendencia de los modelos de inteligencia artificial de celebridades y pornografía en Civit, aunque el fundador de Civit, Justin Maier, restó importancia a la relación entre las semejanzas de celebridades contribuidas por los usuarios y su uso en la generación de material pornográfico.

Aunque Civit obtiene ganancias al facilitar el uso de LoRAs y otros modelos suministrados por los usuarios en la plataforma, Nicoll está claro que esta no es la principal preocupación que motiva a Visa y MasterCard a estipular cambios en la plataforma, para que pueda seguir siendo monetizada:

‘Algunas personas dicen que la razón por la que estamos en este lío es porque permitimos la generación. Eso no es relevante. La alojamiento de estos modelos, la alojamiento de este contenido, es suficiente para atraer la atención de Sauron.’

Los hilos de comentarios de la comunidad han estado maravillados en los últimos años de que Civit haya sido autorizado a alojar semejanzas de celebridades. Conscientes de la posibilidad, quizás inevitabilidad de un endurecimiento, varias iniciativas para preservar LoRAs eliminadas por Civit o por sus cargadores han sido propuestas o implementadas, incluyendo el (hasta ahora) relativamente descuidado subreddit r/CivitaiArchives.

Aunque muchos han sugerido que una iniciativa basada en torrents es la solución natural, no parece haber surgido aún un dominio bien seguido – y en cualquier caso, esto parecería mover la actividad prohibida en Civit y en otros lugares a los márgenes más externos de Internet; a jardines cerrados; y, lo más probable, a la red oscura, ya que la mayoría de los marcos que podrían alojar semejanzas de LoRAs prohibidas (como Reddit y Discord) ya prohíben dicho contenido o parecen seguros de prohibirlo pronto.

En este momento, las LoRAs de celebridades aún se pueden ver con algunas restricciones en Civit, aunque la mayoría del contenido generado ha sido eliminado de la lista y se excluirá de la búsqueda casual. Lo que parece probable, sugirió un comentarista a Nicoll en la sesión de Twitch, es que el endurecimiento se profundizará (presumiblemente hasta el punto de prohibir todas las semejanzas de personas reales en modelos o representaciones subidas).

Nicoll respondió:

‘”No se detendrán aquí, seguirán exigiendo más y más” – ¡absolutamente! ¡Sí, absolutamente! Ese es solo el mundo en el que vivimos. La única esperanza es que nos volvamos lo suficientemente grandes y poderosos como para tener algo más que decir en lo que se nos dicta […]

Desesperado por las alternativas ofrecidas a Civit, Nicoll agregó:

‘[…] Nadie va a comprar Bitcoin para [usar] el generador de CivitAI. Así que hemos tratado de hacer esto lo más agradable posible, y esto es lo que hemos terminado. Así que, mis disculpas si esto es algo que simplemente no puedes soportar, pero desafortunadamente es lo que es. Hemos hecho nuestro mejor esfuerzo, hemos empujado hacia atrás tanto como hemos podido, pero en última instancia se nos dijo que esto es lo que hay – tienes que hacer esto o será el fin […]

‘[…] Estas instituciones financieras, no entienden lo que la gente está haciendo aquí con esto. Hemos tratado de explicárselo, hemos tratado de hablar con ellos, pero prácticamente somos el último bastión de contenido NSFW.

Nicoll dijo que Civit había contactado a ‘cada procesador de pagos imaginable:

‘Incluso los procesadores de pagos de alto riesgo que utilizan los sitios web de pornografía, y todos están muy muy cautelosos con el contenido de inteligencia artificial. Ese es el problema – es contenido de inteligencia artificial. Si fuéramos un sitio web de pornografía tradicional, estaríamos bien, pero el contenido de inteligencia artificial es lo que les asusta.’

¿Qué sigue?

Antes de este anuncio, Civit había estado eliminando subidas cubiertas por algunas de las categorías y tipos de contenido que ahora están prohibidos. En el momento de escribir, un ‘repositorio de emergencia’ para LoRAs Wan 2.1 ha sido establecido en el sitio web de Hugging Face. Aunque algunos de los LoRAs archivados allí están diseñados para facilitar actividades sexuales generales que están escasamente entrenadas o ausentes en nuevos modelos de video como Wan 2.1, varios de ellos caen bajo la categoría estrictamente prohibida de ‘desnudar’ (es decir, ‘desnudificar’), incluyendo algunos modelos que podrían considerarse ‘extremos’ o potencialmente ofensivos.

El subreddit r/datahoarders, que ha estado a la vanguardia de la preservación de la literatura en línea del gobierno de EE. UU. bajo la campaña de eliminación de Donald Trump, ha mostrado hasta ahora desdén por la idea de salvar el contenido perdido de CivitAI.

En la literatura, la facilitación fácil de la generación de inteligencia artificial NSFW de CivitAI no ha pasado desapercibida. Sin embargo, uno de los estudios más citados, el documento Explorando el uso de modelos de inteligencia artificial abusivos en Civitai de 2024, se ve obstaculizado por el hecho de que Civit no ha permitido la generación de inteligencia artificial de celebridades o ilegal hasta la fecha, y por la determinación de los investigadores de encontrar su evidencia en Civit mismo.

Claramente, sin embargo, lo que preocupa a los procesadores de pagos no es lo que se está produciendo con LoRAs en Civit, o lo que se publica allí, sino lo que se hace con estos modelos en otras comunidades que son cerradas o generalmente menos reguladas.

El sitio web Mr. Deepfakes, que fue sinónimo del método autoencoder basado en la creación de deepfakes NSFW, hasta el advenimiento de Stable Diffusion y los modelos basados en difusión en 2022, ha comenzado recientemente a publicar ejemplos de videos pornográficos basados en celebridades que utilizan los últimos generadores de texto a video y de imagen a video, incluyendo Hunyuan Video y Wan 2.1 – ambos lanzamientos muy recientes cuya influencia es naciente, pero que parecen destinados a generar titulares incendiarios a medida que sus respectivas comunidades se desarrollen a lo largo de este año.

Metadatos obligatorios

Un cambio interesante que aparentemente están exigiendo los procesadores de pagos, según Nicoll, es que todas las imágenes en el sitio deben contener metadatos. Cuando una imagen o video es producida por un modelo generativo en un flujo de trabajo típico en una plataforma como ComfyUI, la salida generalmente contiene metadatos que enumeran el modelo utilizado (su hash así como su nombre, para que en caso de que el modelo sea renombrado por un usuario, su procedencia permanezca clara) y múltiples otros ajustes.

Debido a estos puntos de datos ocultos sobre cómo se creó la imagen, los usuarios pueden arrastrar un video o imagen creado por alguien más a su propio flujo de trabajo de ComfyUI y recrear todo el flujo, y abordar cualquier dependencia faltante (como modelos o componentes que el creador original tenía, que el usuario tendrá que localizar y descargar).

Cualquier generación de imágenes o videos que carezca de estos datos será eliminada, Civit ha anunciado, dentro de los próximos treinta días. Los usuarios pueden agregar dichos datos manualmente, escribiéndolos en el sitio web de Civit.

Desde el valor de los metadatos es (presumiblemente) evidencia, esta estipulación parece un poco inútil; es trivial copiar y pegar metadatos de un archivo a otro, y la invención ad hoc de metadatos a través de un formulario web hace que esta nueva regla sea un poco desconcertante.

Sin embargo, varios usuarios (incluyendo uno que comentó en la sesión de Twitch) tienen muchos miles de imágenes subidas en Civit. Su única opción ahora es anotar manualmente cada una de ellas, o eliminar y volver a subir versiones de las imágenes con metadatos agregados – lo que eliminará cualquier ‘me gusta’ o ‘buzz’ o conversaciones que las imágenes originales generaron.

Las nuevas reglas

A continuación, se presentan los cambios resumidos aplicables en Civit a partir de hoy:

• El contenido etiquetado con nombres de personas reales o identificado como recursos de persona real ya no aparecerá en las fuentes públicas.
• El contenido con temas de menores se filtrará de las fuentes.
• El contenido con clasificación X o XXX que carezca de metadatos de generación se ocultará de la vista pública y se marcará con una advertencia, lo que permitirá al cargador agregar los detalles faltantes. Dicho contenido no se eliminará, pero permanecerá visible solo para su creador hasta que se actualice.
• Las imágenes creadas con la función Traiga su propia imagen (BYOI) deben aplicar ahora al menos un 50% de alteración de ruido durante la generación. Esto significa que la inteligencia artificial debe modificar significativamente la imagen subida, reduciendo la posibilidad de generar réplicas casi exactas. Sin embargo, las imágenes creadas completamente en CivitAI o mezcladas a partir de otros contenidos de CivitAI no están sujetas a esta regla y pueden utilizar cualquier nivel de desenfoque, desde ningún cambio (0,0) hasta una transformación completa (1,0). Este cambio está destinado a reducir el abuso de la herramienta BYOI, que de otro modo podría utilizarse para producir deepfakes sutiles o indetectables alterando ligeramente imágenes reales.
• Cuando se busca con contenido X o XXX habilitado, las búsquedas de nombres de celebridades no devolverán resultados. Combinar nombres de celebridades con contenido maduro sigue estando prohibido.
• Los anuncios no aparecerán en imágenes o recursos diseñados para replicar la apariencia de personas reales.
• La propina (Buzz) se deshabilitará para imágenes o recursos que representen personas reales.
• Los modelos diseñados para replicar a personas reales no serán elegibles para Acceso anticipado, una función de Civitai que permite a los creadores lanzar contenido primero a sus partidarios que pagan. Esto limita la monetización de semejanzas de celebridades o personas reales.
• Se ha agregado una Declaración de cumplimiento 2257 para aclarar que la plataforma no permite ningún contenido no generado por inteligencia artificial. Esto ayuda a garantizar la protección legal al afirmar que todo material explícito es sintético y no se basa en fotografía o video real.
• Se ha introducido una nueva página de solicitud de eliminación de contenido que permite a cualquier persona informar sobre material abusivo o ilegal sin necesidad de iniciar sesión. Los usuarios registrados deben seguir utilizando las herramientas de informe integradas en cada publicación. Esto es independiente del formulario existente para solicitar la eliminación de su semejanza de la plataforma.
• CivitAI ha introducido un nuevo sistema de moderación a través de una asociación con Clavata, cuyas herramientas de análisis de imágenes superaron a soluciones anteriores como Amazon Rekognition y Hive.

** Desde el martes 20 de mayo de 2025 11:23:47 (puede haber sucedido antes), la transmisión en vivo de Twitch ha sido eliminada. Para asegurarme de que podía verificar los hechos informados en la transmisión, retengo una copia.

* A pesar de la mención de la “propiedad” de Barbara Eden, la actriz de I Dream of Jeannie todavía está viva, con 93 años.
^† Archivado: https://archive.ph/tsMb0

Publicado por primera vez el jueves 24 de abril de 202. Modificado el jueves 24 de abril de 2025 14:32:28: se corrigieron las fechas.
Modificado el martes 20 de mayo de 2025 para reflejar la eliminación del contenido de Twitch utilizado como material de referencia.