CivitAI endurece las normas sobre deepfakes bajo presión de Mastercard y Visa

CivitAI, posiblemente el repositorio de modelos de IA más popular en Internet, finalmente ha cedido a la presión de los facilitadores de pagos MasterCard y Visa para revisar radicalmente sus políticas sobre contenido NSFW, y particularmente sus TOS con respecto a las LoRA de celebridades, uno de los flujos de contenido enviados por los usuarios más populares del sitio, que permiten a las personas usar modelos adjuntos descargables libremente como LoRA para crear representaciones de IA (incluidas representaciones de vídeo) de personas conocidas.

Dele "click" para jugar. Aunque Civit no proporciona cifras exactas (y el etiquetado o la categorización incorrectos no son inusuales, lo que probablemente distorsionaría las cifras), la cantidad de modelos de IA de celebridades, principalmente LoRA, claramente está en cientos o incluso miles, y claramente dominada por sujetos femeninos. Fuente: civitai.com

Claramente operando bajo presión en un Transmisión en vivo de Twitch En nombre de la empresa, el Gerente de Participación Comunitaria de la empresa, Alasdair Nicoll, él mismo un creador Un miembro de Civit, uno de los modelos (SFW), admitió que los cambios se han impuesto al sitio debido a la preocupación de sus procesadores de pagos por el contenido para adultos y la representación de personas reales. También admite la probabilidad de que las principales empresas detrás de estos procesadores, Visa y MasterCard, exijan cambios aún mayores en el futuro.

Estos no son cambios que quisiéramos hacer. Se trata de legislación nueva e inminente. Existen leyes sobre deepfakes, leyes sobre pornografía con inteligencia artificial... Los procesadores de pago, y en última instancia, Visa y MasterCard, están preocupados; no quieren ser demandados y, en última instancia, son ellos quienes impulsan estos cambios.

'Algunas de las otras opciones que nos dieron fueron eliminar por completo el contenido no apto para el trabajo; eliminar el contenido x y triple x de CivitAI y colocarlo en una plataforma completamente nueva, y luego bloquear geográficamente esa plataforma, porque más de la mitad de los estados de EE. UU. requieren algún tipo de bloqueo geográfico de pornografía, [así como] muchos países asiáticos y el Reino Unido...

'La tercera opción era utilizar exclusivamente criptomonedas, pagos con criptomonedas... así que, literalmente, no había buenas opciones para esto'.

El dominio Civit ha estado inactivo periódicamente durante los últimos días debido a revisiones, aparentemente para implementar los cambios. Aunque el sitio ya había prohibido el uso de temas NSFW en las representaciones de LoRA/modelos de celebridades, ahora es imposible navegar por la sección de modelos de Civit y ver vistas previas de LoRA de celebridades junto con la gran cantidad de modelos NSFW genéricos diseñados para producir contenido para adultos.

El sistema anuncio oficial establece lo siguiente:

'El contenido etiquetado con nombres de personas reales (como “Tom Cruise”) o marcado como recursos de POI (personas reales) se ocultará de los feeds'.

En la sesión de Twitch, Nicoll reveló más detalles sobre las medidas diseñadas para proteger a figuras famosas y personas reales. Civit siempre ha permitido que personas reales soliciten la eliminación de un modelo de IA alojado por Civit que las representa, pero ahora Nicoll alude a un sistema que puede evitar que dichas imágenes se vuelvan a subir tras un rechazo inicial, con la capacidad de identificar a una persona "protegida" incluso en imágenes que el sistema nunca antes había visto.

Con este fin, el sitio ahora se está asociando con el sistema de moderación de inteligencia artificial de Clavata, aunque aún no está claro hasta qué punto Clavata impulsará estas nuevas instalaciones.

Nicoll dijo:

Tom Hanks nos ha pedido su imagen, por ejemplo. Muchas actrices adultas lo han hecho; muchos actores y actrices de renombre lo han hecho...

'Creo que la primera que tuvimos fue Barbara Eden, de su patrimonio*. Ella fue una de las primeras en reclamar su imagen, lo cual es un poco gracioso porque es mayor.'

¿Protegido por defecto?

En los últimos años, la empresa de efectos visuales de IA Metaphysic (divulgación completa: trabajé para Metaphysic.ai desde principios de 2022 hasta finales de 2024) intentó crear un sistema propietario que permitiría a cualquier persona registrar su propia imagen, aunque principalmente dirigida a nombres de Hollywood preocupados por el secuestro de sus identidades basado en inteligencia artificial, con el apoyo de actores como Anne Hathaway, Octavia Spencer y Tom Hanks (con quienes la compañía trabajó en la producción de Robert Zemeckis) Aquí [2024]).

Lógicamente, la utilidad del sistema dependería siempre de la jurisprudencia que pudiera darse; a la luz de las medidas que ahora se ve obligada a tomar Civit, servicio basado en suscripción^† La propuesta de Metaphysic podría resultar redundante ante el rápido crecimiento de las leyes sobre deepfakes y la posible cobertura (gratuita) bajo el derecho consuetudinario. Actualmente se desconoce si la oferta de Metaphysic Pro se transferirá a la compañía Double Negative VFX, que... adquirió los activos de Metaphysic el año pasado.

En cualquier caso, cada vez parece más probable que el derecho global y las presiones generales del mercado proporcionen protección y soluciones, en oposición a soluciones comerciales de este tipo.

Hervir la rana

Un informe de 2023 de 404 Media llamó la atención a la proclividad de los modelos de IA de celebridades y pornografía en Civit, aunque el fundador del sitio, Justin Maier minimizado la relación entre las imágenes de celebridades aportadas por los usuarios y su uso para generar material pornográfico.

Aunque Civit gana dinero al facilitar el uso in situ de LoRAs y otros modelos proporcionados por los usuarios, Nicoll tiene claro que esta no es la principal preocupación que motiva a Visa y MasterCard a estipular cambios en el sitio, para que pueda seguir monetizándose:

Algunos dicen que estamos en este lío porque permitimos la generación. Eso no tiene importancia. El alojamiento de estos modelos, el alojamiento de este contenido, es suficiente para atraer la atención de Sauron.

En los últimos años, los hilos de comentarios de la comunidad se han maravillado de que a Civit se le haya permitido alojar imágenes de famosos. Conscientes de la posibilidad, quizás inevitable, de una represión, se han propuesto o implementado diversas iniciativas para preservar las LoRA eliminadas por Civit o por quienes las subieron, incluyendo el (hasta ahora) bastante descuidado subreddit r/CivitaiArchives.

Aunque muchos han sugerido que una iniciativa basada en torrents es la solución natural, aún no parece haber surgido ningún dominio bien seguido y, en cualquier caso, esto parecería seguro que moverá la actividad prohibida en Civit y otros lugares a los márgenes más externos de Internet; a jardines amurallados; y, muy probablemente, a la red oscura, ya que la mayoría de los marcos que podrían acomodar LoRA de semejanza prohibida (como Reddit y Discord) ya prohíben ese tipo de contenido o parecen seguros de prohibirlo de manera inminente.

Por el momento, las LoRA de famosos aún se pueden ver con algunas restricciones en Civit, aunque la mayor parte del contenido generado ha sido eliminado y no se podrá descubrir casualmente. Lo que parece probable, según sugirió un comentarista a Nicoll en la sesión de Twitch, es que la represión se intensifique (presumiblemente hasta el punto de prohibir cualquier imagen de personas reales en modelos o representaciones subidas).

Nicoll respondió:

«No se detendrán aquí, seguirán exigiendo más y más». ¡Claro que sí! Sí, claro. Así es el mundo en el que vivimos. La única esperanza es que crezcamos y tengamos el poder suficiente para tener un poco más de voz y voto en lo que se nos dicta […]

Desesperanzado por las alternativas ofrecidas a Civit, Nicoll agregó:

«[…] Nadie va a comprar Bitcoin para usar el generador de CivitAI. Por eso, hemos intentado que esto sea lo más accesible posible, y esto es lo que hemos conseguido. Así que, les pido disculpas si esto les resulta insoportable, pero lamentablemente es así. Hicimos todo lo posible, resistimos al máximo, pero al final nos dijeron que esto era el fin: tenían que hacerlo o sería el fin […]».

«[…] Estas instituciones financieras no entienden qué hace la gente aquí con esto. Hemos intentado decírselo, hemos intentado hablar con ellos, pero somos prácticamente el último bastión del contenido [NSFW].

Nicoll dijo que Civit había contactado a "todos los procesadores de pagos imaginables:

Incluso los procesadores de pago de alto riesgo que usan los sitios pornográficos son muy cautelosos con el contenido de IA. Ese es el problema: es contenido de IA. Si fuéramos un sitio pornográfico tradicional, no tendríamos problema, pero lo que les asusta es el contenido de IA.

¿Dónde sigue?

Antes de este anuncio, se había observado que Civit estaba eliminando cargas pertenecientes a algunas de las categorías y tipos de contenido que ahora están prohibidos. Al momento de escribir este artículo, se ha creado un repositorio de emergencia para LoRAs Wan 2.1. se establece En el sitio web de Hugging Face. Si bien algunas de las LoRA archivadas allí están diseñadas para facilitar actividades sexuales generales, escasamente entrenadas o ausentes en nuevos modelos de video como Wan 2.1, varias de ellas entran en la categoría, ahora estrictamente prohibida, de "desnudez" (es decir, "desnudar"), incluyendo algunas que podrían considerarse "extremas" o manifiestamente potencialmente ofensivas.

El subreddit r/datahoarders, que ha sido a la vanguardia de preservar la literatura en línea del gobierno de Estados Unidos bajo el mandato de Donald Trump campaña de eliminación masiva, tiene hasta ahora mostró desprecio por la idea de salvar el contenido perdido de CivitAI.

En la literatura, la facilidad con la que CivitAI facilita la generación de IA NSFW no ha pasado desapercibida. Sin embargo, uno de los estudios más citados, el de 2024 Explorando el uso de modelos de IA generativa abusivos en Civitai, se ve obstaculizado por el hecho de que Civit no ha permitido generaciones de IA de celebridades o ilegales hasta la fecha, y por la determinación de los investigadores de encontrar su evidencia en el propio Civit.

Sin embargo, es evidente que lo que preocupa a los procesadores de pagos no es lo que se produce con LoRAs en el propio Civit, o lo que se publica allí, sino lo que se está haciendo con estos modelos en other comunidades que son cerradas o generalmente menos reguladas.

El sitio web Mr. Deepfakes, que fue sinónimo con la prevalencia método basado en autocodificador de deepfaking NSFW, hasta la llegada de Stable Diffusion y los modelos basados ​​en la difusión en 2022, ha comenzado recientemente a publicar ejemplos de videos pornográficos basados ​​en celebridades utilizando la última ola de generadores de texto a video e imagen a video, incluidos Hunyuan Video y Wan 2.1, ambos lanzamientos muy recientes cuya influencia es incipiente, pero que parecen destinados a generar titulares incendiarios a medida que sus respectivas comunidades se desarrollen a lo largo de este año.

Metadatos obligatorios

Un cambio interesante que, según Nicoll, aparentemente exigen los procesadores de pagos es que todas las imágenes del sitio web deben contener metadatos. Cuando un modelo generativo genera una imagen o un vídeo en un flujo de trabajo típico en una plataforma como ComfyUI, el resultado generalmente contiene metadatos que indican el modelo utilizado (su hash y su nombre, de modo que, en caso de que un usuario cambie el nombre del modelo, su procedencia permanezca clara) y otras configuraciones.

Debido a estos puntos de datos ocultos sobre cómo se creó la imagen, los usuarios son... capaz de arrastrar un video o imagen hecho por otra persona en su propio flujo de trabajo ComfyUI y recrear todo el flujo, y abordar cualquier dependencia faltante (como modelos o componentes que tenía el creador original, que luego el usuario tendrá que localizar y descargar).

Civit ha anunciado que cualquier generación de imagen o vídeo que carezca de estos datos será eliminada en un plazo de treinta días. Los usuarios pueden añadir estos datos manualmente, introduciéndolos en el sitio web de Civit.

Dado que el valor de los metadatos es (presumiblemente) probatorio, esta estipulación parece bastante inútil; es trivial copiar y pegar metadatos de un archivo a otro, y ad hoc La invención de metadatos a través de un formulario web hace que esta nueva regla sea un poco desconcertante.

Sin embargo, varios usuarios (incluido uno que comentó en la sesión de Twitch) tienen miles de imágenes subidas a Civit. Su única opción ahora es anotarlas manualmente o eliminarlas y volver a subirlas con metadatos añadidos, lo que eliminará cualquier "me gusta", "buzz" o conversación generada por las imágenes originales.

Las nuevas reglas

A continuación se resumen los cambios aplicables en Civit a partir de hoy:

• El contenido etiquetado con nombres de personas reales o identificado como recursos de personas reales ya no aparecerá en los feeds públicos.
• El contenido con temas infantiles o secundarios se filtrará de los feeds.
• El contenido clasificado X y XXX que carezca de metadatos de generación se ocultará del público y se marcará con una advertencia, lo que permitirá al usuario añadir la información faltante. Este contenido no se eliminará, sino que solo será visible para su creador hasta que se actualice.
• Las imágenes creadas con la función Bring Your Own Image (BYOI) ahora deben aplicar al menos un 50 % de alteración de ruido durante su generación. Esto significa que la IA debe modificar significativamente la imagen cargada, lo que reduce la posibilidad de generar réplicas casi exactas. Sin embargo, las imágenes creadas íntegramente en CivitAI o remezcladas a partir de otro contenido de CivitAI no están sujetas a esta regla y pueden usar cualquier nivel de reducción de ruido, desde cero (0.0) hasta una transformación completa (1.0). Este cambio busca reducir el abuso de la herramienta BYOI, que de otro modo podría usarse para producir deepfakes sutiles o indetectables alterando apenas las imágenes reales. Forzar un cambio mínimo del 50 % garantiza que la IA no solo esté editando superficialmente una foto existente de una persona real.
• Al navegar con contenido X o XXX habilitado, las búsquedas de nombres de famosos no arrojarán resultados. Queda prohibida la combinación de nombres de famosos con contenido para adultos.
• Los anuncios no aparecerán en imágenes o recursos diseñados para replicar la apariencia de personas reales.
• Las propinas (Buzz) se desactivarán para imágenes o recursos que representen a personas reales.
• Los modelos diseñados para replicar a personas reales no podrán acceder al Acceso Anticipado, una función de Civitai que permite a los creadores publicar contenido primero para los seguidores que pagan. Esto limita la monetización de imágenes de famosos o personas reales.
• A Declaración de conformidad 2257 Se ha añadido para aclarar que la plataforma no permite ningún contenido generado sin IA. Esto garantiza la protección legal al afirmar que todo el material explícito es sintético y no se basa en fotografías o vídeos reales.
• Una nueva encuesta Página de solicitud de eliminación de contenido Permite a cualquier persona denunciar material abusivo o ilegal sin necesidad de iniciar sesión. Los usuarios registrados deben seguir usando las herramientas de denuncia integradas en cada publicación. Este formulario es independiente del formulario existente para solicitar la eliminación de la imagen de una persona de la plataforma.
• CivitAI ha introducido un nuevo sistema de moderación a través de una asociación con Clavata, cuyas herramientas de análisis de imágenes superaron soluciones anteriores como Amazon Rekognition y Hive.

* A pesar de la mención del patrimonio de Barbara Eden, I Dream of Jeannie La actriz sigue viva y actualmente tiene 93 años.
^† Archivado: https://archive.ph/tsMb0

Primera publicación: jueves 24 de abril de 202. Modificado: jueves 24 de abril de 2025 14:32:28: fechas corregidas.