Ángulo de Anderson

CivitAI en crisis de proveedor de pago, mientras Trump firma la ley Anti-Deepfake

mm
ChatGPT-4o and Adobe Firefly.

El presidente Trump ha firmado la ley TAKE IT DOWN, que criminaliza las deepfakes sexuales a nivel federal en EE. UU. Al mismo tiempo, la comunidad de CivitAI ha intentado “limpiar su acto” con respecto al contenido NSFW y de celebridades, pero finalmente no ha logrado complacer a los procesadores de pagos, lo que ha llevado al sitio a buscar alternativas o enfrentar el cierre. Todo esto en solo dos semanas desde que el sitio de deepfake pornográfico más antiguo y grande del mundo se fue offline…

 

Han sido dos semanas decisivas para el estado de la creación de imágenes y videos deepfakes no reguladas. Hace apenas dos semanas, el dominio número uno para la comunidad que comparte deepfakes de celebridades, Mr. Deepfakes, se fue offline después de más de siete años en una posición dominante y ampliamente estudiada como el locus global para contenido de celebridades sexualizado. En el momento de su cierre, el sitio recibía un promedio de más de cinco millones de visitas al mes.

Fondo, el dominio de Mr. Deepfakes a principios de mayo; inserción, el aviso de suspensión, ahora reemplazado por un error 404, desde que el dominio fue aparentemente comprado por un comprador desconocido el 4 de mayo de 2025 (https://www.whois.com/whois/mrdeepfakes.com). Fuente: mrdeepfakes.com

Fondo, el dominio de Mr. Deepfakes a principios de mayo; inserción, el aviso de suspensión, ahora reemplazado por un error 404, desde que el dominio fue aparentemente comprado por un comprador desconocido el 4 de mayo de 2025 (https://www.whois.com/whois/mrdeepfakes.com). Fuente: mrdeepfakes.com

La cesación de servicios de Mr. Deepfakes se atribuyó oficialmente a la retirada de un “proveedor de servicios críticos” (ver la imagen de inserción anterior, que fue reemplazada por el fallo del dominio dentro de una semana). Sin embargo, una investigación periodística colaborativa había desanonymizado a una figura clave detrás de Mr. Deepfakes directamente antes del cierre, lo que permite la posibilidad de que el sitio se cerrara por razones personales y/o legales de ese individuo.

Alrededor del mismo tiempo, CivitAI, la plataforma comercial ampliamente utilizada para LoRAs de celebridades y NSFW, impuso un conjunto de medidas de autocensura inusuales y controvertidas. Estas afectaron la generación de deepfakes, la alojamiento de modelos y un conjunto más amplio de nuevas reglas y restricciones, incluyendo prohibiciones totales de ciertas fetiches NSFW marginales. y lo que denominó ‘ideologías extremistas’.

Estas medidas fueron impulsadas por proveedores de pagos que aparentemente amenazaron con retirar sus servicios del dominio a menos que se realizaran cambios con respecto al contenido NSFW y las representaciones de celebridades.

CivitAI Cortado

A partir de hoy, parece que las medidas tomadas por CivitAI no han complacido a VISA y Mastercard: un nuevo post en el sitio, del Community Engagement Manager Alasdair Nicoll, revela que los pagos con tarjeta para CivitAI (cuyo sistema de “dinero virtual” buzz está impulsado en gran medida por tarjetas de crédito y débito del mundo real) se detendrán a partir de este viernes (23 de mayo de 2025).

Esto impedirá que los usuarios renueven sus membresías mensuales o compren nuevo buzz. Aunque Nicoll aconseja que los usuarios pueden mantener sus privilegios de membresía actuales cambiando a una membresía anual (que cuesta†† $100-$550 USD) antes del viernes, claramente el futuro es algo incierto para el dominio en este momento (Debería mencionarse que las membresías anuales se lanzaron al mismo tiempo que el anuncio sobre la pérdida de procesadores de pagos).

Con respecto a la falta de un procesador de pagos, Nicoll dice ‘Estamos hablando con todos los proveedores que están cómodos con la innovación de la IA’.

En cuanto al fracaso de los esfuerzos recientes para replantear adecuadamente las políticas del sitio sobre contenido de celebridades y NSFW, Nicoll afirma en el post:

‘Algunas compañías de pago etiquetan a las plataformas de IA generativa como de alto riesgo, especialmente cuando permitimos contenido maduro generado por el usuario, incluso cuando es legal y moderado. Esa elección de política, y no algo que los usuarios hayan hecho, forzó el corte.’

Un comentario del usuario ‘Faeia’, designado como el jefe de personal de la compañía en su perfil de CivitAI*, agrega contexto a este anuncio:

‘Solo para aclarar, estamos siendo eliminados del procesador de pagos porque elegimos no eliminar el contenido NSFW y para adultos de la plataforma. Seguimos comprometidos con apoyar a todos los tipos de creadores y estamos trabajando en soluciones alternativas.’

Como un motor tradicional de nuevas tecnologías, no es inusual que el contenido NSFW se utilice para desencender el interés en un dominio, tecnología o plataforma – solo para que los primeros adeptos sean rechazados una vez que se establece suficiente “capital legítimo” y/o una base de usuarios (es decir, suficientes usuarios para que la entidad sobreviva, cuando se le priva de un contexto NSFW).

Parecía que CivitAI seguiría a Tumblr y diversas otras iniciativas hacia un producto “sanitizado” listo para olvidar sus raíces. Sin embargo, la controversia y el estigma crecientes en torno al contenido generado por IA de cualquier tipo representan un peso acumulado que parece destinado a evitar un rescate de última hora, en este caso. Mientras tanto, el anuncio oficial aconseja a los usuarios que adopten el cripto como un método de pago alternativo.

Falso

La llegada del presidente Donald Trump firmando con entusiasmo la ley federal TAKE IT DOWN probablemente ha influido en algunos de estos eventos. La nueva ley criminaliza la distribución de imágenes íntimas no consensuadas, incluidas las deepfakes generadas por IA.

La legislación establece que las plataformas deben eliminar el contenido señalado dentro de las 48 horas, con la aplicación de la ley supervisada por la Comisión Federal de Comercio. Las disposiciones penales de la ley entran en vigor de inmediato, lo que permite el enjuiciamiento de personas que publican o amenazan con publicar imágenes íntimas no consensuadas (incluidas deepfakes generadas por IA) dentro de la jurisdicción de los Estados Unidos.

Aunque la ley recibió un apoyo bipartidista poco común, así como el respaldo de empresas tecnológicas y grupos de defensa, los críticos argumentan que puede suprimir contenido legítimo y amenazar herramientas de privacidad como el cifrado. El mes pasado, la Electronic Frontier Foundation (EFF) declaró oposición a la ley, afirmando que los mecanismos de retiro que establece apuntan a un material más amplio que la definición más estrecha de imágenes íntimas no consensuadas que se encuentra en otras partes de la legislación.

‘La disposición de retiro en TAKE IT DOWN se aplica a una categoría de contenido mucho más amplia –potencialmente cualquier imagen que involucre contenido íntimo o sexual– que la definición más estrecha de imágenes íntimas no consensuadas que se encuentra en otras partes de la ley. La disposición de retiro también carece de salvaguardias críticas contra solicitudes de retiro frívolas o de mala fe.

‘Los servicios confiarán en filtros automatizados, que son herramientas infamemente burdas. A menudo señalanán contenido legal, desde comentarios de uso justo hasta informes de noticias. El plazo ajustado de la ley requiere que las aplicaciones y los sitios web eliminen el discurso dentro de las 48 horas, rara vez es suficiente tiempo para verificar si el discurso es en realidad ilegal.

‘Como resultado, los proveedores de servicios en línea, particularmente los más pequeños, probablemente optarán por evitar el oneroso riesgo legal simplemente depublicando el discurso en lugar de intentar verificarlo.’

Las plataformas ahora tienen hasta un año desde la promulgación de la ley para establecer un proceso formal de notificación y retiro, lo que permite a las personas afectadas o sus representantes invocar la ley para solicitar la eliminación de contenido.

Esto significa que aunque las disposiciones penales están en vigor de inmediato, las plataformas no están legalmente obligadas a cumplir con la infraestructura de retiro (como recibir y procesar solicitudes) hasta que haya transcurrido ese plazo de un año.

¿La ley TAKE IT DOWN cubre el contenido de celebridades generado por IA?

Aunque la ley TAKE IT DOWN cruza todas las fronteras estatales, no necesariamente prohíbe todo el contenido de medios impulsado por IA de las celebridades. La ley criminaliza la distribución de imágenes íntimas no consensuadas, incluyendo deepfakes generadas por IA, solo cuando la persona representada tenía una expectativa razonable de privacidad:

La ley establece:

“(2) DELITO QUE IMPLICA REPRESENTACIONES VISUALES ÍNTIMAS AUTÉNTICAS.—

“(A) QUE IMPLICA ADULTOS.—Excepto [por propósitos de evidencia, informes, etc.], será ilegal para cualquier persona, en el comercio interestatal o extranjero, utilizar un servicio de computadora interactivo para publicar intencionalmente una representación visual íntima de un individuo identificable que no es un menor si—

“(i) la representación visual íntima se obtuvo o creó bajo circunstancias en las que la persona sabía o razonablemente debería haber sabido que el individuo identificable tenía una expectativa razonable de privacidad;

“(ii) lo que se representa no fue expuesto voluntariamente por el individuo identificable en un entorno público o comercial [es decir, autopublicación de pornografía];

“(iii) lo que se representa no es un asunto de interés público; y

“(iv) la publicación de la representación visual íntima—

“(I) tiene la intención de causar daño; o

“(II) causa daño, incluido daño psicológico, financiero o de reputación, al individuo identificable.

La contingencia de “expectativa razonable de privacidad” aplicada aquí no ha favorecido tradicionalmente los derechos de las celebridades. Dependiendo de la ley que eventualmente surja, es posible que incluso el contenido generado por IA explícito que involucra a figuras públicas en entornos públicos o comerciales no caiga bajo las prohibiciones de la Ley.

La cláusula final sobre la determinación del alcance del daño es famosamente elástica en términos legales, y en este sentido no agrega nada particularmente novedoso a la carga legislativa. Sin embargo, la intención de causar daño parecería limitar el alcance de la Ley al contexto de ‘pornografía de venganza’, donde un (desconocido) ex pareja publica contenido de medios real o falso de un (igualmente desconocido) ex pareja.

Mientras que el requisito de “daño” de la ley puede parecer mal adaptado a casos donde usuarios anónimos publican representaciones de celebridades generadas por IA, podría resultar más relevante en escenarios de acoso, donde un patrón de acoso más amplio apoya la conclusión de que un individuo ha apuntado deliberada y maliciosamente a una figura pública en múltiples frentes.

Aunque la Ley se refiere a ‘plataformas cubiertas’ y excluye canales privados como Signal o correo electrónico de sus disposiciones de retiro, esta exclusión se aplica solo a la obligación de implementar un mecanismo formal de retiro antes de mayo de 2026. No significa que las representaciones no consensuadas o reales compartidas a través de comunicaciones privadas caigan fuera del alcance de las prohibiciones penales de la Ley.

Obviamente, la falta de mecanismos de informe en el sitio no impide que las partes afectadas informen a la policía sobre lo que ahora es contenido ilegal; tampoco se les impide utilizar los métodos de contacto convencionales que un sitio puede poner a disposición para presentar una queja y solicitar la eliminación de material ofensivo.

Los derechos que quedan atrás

Más de siete años de crecientes críticas públicas y mediáticas sobre el contenido deepfake parecen haber culminado en un lapso de tiempo inusualmente corto. Sin embargo, mientras que la ley TAKE IT DOWN ofrece prohibiciones federales generales, puede que no se aplique en todos los casos que involucran simulaciones generadas por IA, lo que deja algunos escenarios para ser abordados por la creciente patchwork de legislación estatal sobre deepfakes, donde las leyes aprobadas a menudo reflejan ‘intereses locales’.

Por ejemplo, en California, la Ley de Derechos de Celebridades de California limita el uso exclusivo de la identidad de una celebridad a sí misma y su patrimonio, incluso después de su muerte; por el contrario, la Ley ELVIS de Tennessee se centra en salvaguardar a los músicos de reproducciones de voz e imagen generadas por IA no autorizadas, con cada caso que refleja un enfoque dirigido a grupos de interés que son prominentes a nivel estatal.

La mayoría de los estados tienen leyes que apuntan a deepfakes sexuales, aunque muchos se detienen antes de aclarar si esas protecciones se extienden igualmente a personas privadas y figuras públicas. Mientras tanto, los deepfakes políticos que supuestamente impulsaron el apoyo de Donald Trump a la nueva ley federal pueden, en la práctica, enfrentar barreras constitucionales en ciertos contextos.

 

Versión archivada: https://web.archive.org/web/20250520024834/https://civitai.com/articles/14945

†† Versión archivada (no presenta precios mensuales): https://web.archive.org/web/20250425020325/https://civitai.green/pricing

* El verdadero ‘jefe de personal’ del CEO en CivitAI está enumerado en LinkedIn bajo un nombre no relacionado, mientras que el similar sonido ‘Faiona’ es un moderador oficial del personal de CivitAI en el subreddit del dominio civitai.

Publicado por primera vez el martes 20 de mayo de 2025

Escritor sobre aprendizaje automático, especialista en síntesis de imágenes humanas. Anterior jefe de contenido de investigación en Metaphysic.ai.