Las identidades reales pueden ser recuperadas de conjuntos de datos sintéticos

Si 2022 marcó el momento en que el potencial disruptivo de la inteligencia artificial generativa capturó por primera vez la atención del público en general, 2024 ha sido el año en que las preguntas sobre la legalidad de sus datos subyacentes han ocupado el centro del escenario para las empresas ansiosas por aprovechar su poder.

La doctrina de uso justo de EE. UU., junto con la licencia académica implícita que había permitido durante mucho tiempo a los sectores de investigación académica y comercial explorar la inteligencia artificial generativa, se volvió cada vez más insostenible a medida que surgían pruebas crecientes de plagio. Posteriormente, EE. UU. ha desautorizado, por el momento, el contenido generado por IA para ser protegido por derechos de autor.

Estos asuntos están lejos de estar resueltos y lejos de ser resueltos pronto; en 2023, debido en parte a la creciente preocupación de los medios y del público sobre el estatus legal de la salida de IA generada, la Oficina de Derechos de Autor de EE. UU. lanzó una investigación de varios años sobre este aspecto de la inteligencia artificial generativa, publicando el primer segmento (sobre réplicas digitales) en julio de 2024.

Mientras tanto, los intereses comerciales siguen frustrados por la posibilidad de que los modelos costosos que desean explotar puedan exponerlos a ramificaciones legales cuando surjan legislaciones y definiciones definitivas.

La solución a corto plazo costosa ha sido legitimar los modelos generativos entrenándolos en datos que las empresas tienen derecho a explotar. La arquitectura de Firefly de Adobe, de texto a imagen (y ahora de texto a video), está impulsada principalmente por su compra del conjunto de datos de imágenes de stock de Fotolia en 2014, complementada por el uso de datos de dominio público con derechos de autor expirados*. Al mismo tiempo, los proveedores de fotos de stock establecidos, como Getty y Shutterstock, han capitalizado el nuevo valor de sus datos con licencia, con un número creciente de acuerdos para licenciar contenido o desarrollar sus propios sistemas de IA GenAI compatibles con la propiedad intelectual.

Soluciones sintéticas

Dado que eliminar datos con derechos de autor del espacio latente entrenado de un modelo de IA es problemático, los errores en este área podrían ser potencialmente muy costosos para las empresas que experimentan con soluciones de consumo y negocio que utilizan aprendizaje automático.

Una alternativa, y mucho más barata, para los sistemas de visión por computadora (y también para los grandes modelos de lenguaje, o LLM), es el uso de datos sintéticos, donde el conjunto de datos está compuesto por ejemplos generados aleatoriamente del dominio objetivo (como caras, gatos, iglesias o incluso un conjunto de datos más generalizado).

Los sitios como thispersondoesnotexist.com popularizaron hace mucho tiempo la idea de que se podrían sintetizar fotos auténticas de “personas no reales” (en ese caso particular, a través de redes generativas adversarias, o GAN) sin tener relación con personas que existen en el mundo real.

Por lo tanto, si se entrena un sistema de reconocimiento facial o un sistema generativo en tales ejemplos abstractos y no reales, se puede obtener en teoría un estándar de productividad fotorealista para un modelo de IA sin necesidad de considerar si los datos son legalmente utilizables.

Equilibrio

El problema es que los sistemas que producen datos sintéticos están entrenados en datos reales. Si trazas de esos datos se filtran en los datos sintéticos, esto potencialmente proporciona pruebas de que se ha explotado material restringido o no autorizado con fines de lucro.

Para evitar esto, y con el fin de producir imágenes verdaderamente “aleatorias”, tales modelos necesitan asegurarse de que estén bien generalizados. La generalización es la medida de la capacidad de un modelo de IA entrenado para comprender intrínsecamente conceptos de alto nivel (como “cara”, “hombre” o “mujer”) sin recurrir a replicar los datos de entrenamiento reales.

Desafortunadamente, puede ser difícil para los sistemas entrenados producir (o reconocer) detalles granulares a menos que se entrenen extensivamente en un conjunto de datos. Esto expone al sistema al riesgo de memorización: una tendencia a reproducir, en alguna medida, ejemplos de los datos de entrenamiento reales.

Esto se puede mitigar estableciendo una tasa de aprendizaje más relajada, o terminando el entrenamiento en una etapa en la que los conceptos básicos aún son maleables y no están asociados con ningún punto de datos específico (como una imagen específica de una persona, en el caso de un conjunto de datos de caras).

Sin embargo, ambos remedios probablemente conducirán a modelos con menos detalles granulares, ya que el sistema no tuvo la oportunidad de avanzar más allá de los “conceptos básicos” del dominio objetivo y hacia los detalles específicos.

Por lo tanto, en la literatura científica, se aplican generalmente tasas de aprendizaje muy altas y horarios de entrenamiento comprehensivos. Mientras que los investigadores generalmente intentan comprometer entre la aplicabilidad general y la granularidad en el modelo final, incluso los sistemas ligeramente “memorizados” pueden a menudo representarse como bien generalizados, incluso en las pruebas iniciales.

Revelación de la cara

Esto nos lleva a un nuevo y emocionante artículo de investigación de Suiza, que afirma ser el primero en demostrar que las imágenes reales originales que alimentan los datos sintéticos se pueden recuperar de imágenes generadas que, en teoría, deberían ser completamente aleatorias:

Ejemplos de imágenes de caras filtradas de los datos de entrenamiento. En la fila superior, vemos las imágenes reales (originales); en la fila inferior, vemos imágenes generadas al azar, que se asemejan significativamente a las imágenes reales. Fuente: https://arxiv.org/pdf/2410.24015

Los resultados, según argumentan los autores, indican que los generadores “sintéticos” han memorizado en realidad una gran cantidad de los puntos de datos de entrenamiento, en su búsqueda de una mayor granularidad. También indican que los sistemas que confían en datos sintéticos para proteger a los productores de IA de las consecuencias legales podrían ser muy poco fiables en este respecto.

Los investigadores realizaron un estudio exhaustivo sobre seis conjuntos de datos sintéticos de última generación, demostrando que en todos los casos, los datos originales (potencialmente con derechos de autor o protegidos) se pueden recuperar. Comentan:

‘Nuestros experimentos demuestran que los conjuntos de datos sintéticos de reconocimiento facial de última generación contienen muestras que son muy similares a las muestras en los datos de entrenamiento de sus modelos generadores. En algunos casos, las muestras sintéticas contienen pequeños cambios en la imagen original, sin embargo, también podemos observar en algunos casos que la muestra generada contiene más variación (por ejemplo, diferente pose, condición de iluminación, etc.) mientras se conserva la identidad.

‘Esto sugiere que los modelos generadores están aprendiendo y memorizando la información relacionada con la identidad de los datos de entrenamiento y pueden generar identidades similares. Esto plantea preocupaciones críticas con respecto a la aplicación de datos sintéticos en tareas sensibles a la privacidad, como la biometría y el reconocimiento facial.’

El artículo se titula Descubriendo caras sintéticas: Cómo los conjuntos de datos sintéticos pueden exponer identidades reales, y proviene de dos investigadores del Instituto de Investigación Idiap en Martigny, la École Polytechnique Fédérale de Lausanne (EPFL) y la Universidad de Lausanne (UNIL) en Lausanne.

Método, datos y resultados

Las caras memorizadas en el estudio se revelaron mediante un ataque de inferencia de membresía. Aunque el concepto suena complicado, es bastante autoexplicativo: inferir la membresía, en este caso, se refiere al proceso de cuestionar a un sistema hasta que revele datos que coincidan con los datos que se busca o se asemejan significativamente a ellos.

Más ejemplos de fuentes de datos inferidos del estudio. En este caso, las imágenes sintéticas de origen son del conjunto de datos DCFace.

Los investigadores estudiaron seis conjuntos de datos sintéticos para los cuales se conocía la fuente del conjunto de datos real. Dado que tanto los conjuntos de datos reales como los conjuntos de datos falsos en cuestión contienen un volumen muy grande de imágenes, esto es efectivamente como buscar una aguja en un pajar.

Por lo tanto, los autores utilizaron un modelo de reconocimiento facial de venta libre con una columna vertebral ResNet100 entrenada en la función de pérdida AdaFace (en el conjunto de datos WebFace12M).

Los seis conjuntos de datos sintéticos utilizados fueron: DCFace (un modelo de difusión latente); IDiff-Face (Uniform – un modelo de difusión basado en FFHQ); IDiff-Face (Two-stage – una variante que utiliza un método de muestreo diferente); GANDiffFace (basado en Redes Generativas Adversarias y Modelos de Difusión, utilizando StyleGAN3 para generar identidades iniciales y luego DreamBooth para crear ejemplos variados); IDNet (un método basado en GAN, basado en StyleGAN-ADA); y SFace (un marco de protección de identidad).

Dado que GANDiffFace utiliza tanto métodos GAN como de difusión, se comparó con el conjunto de datos de entrenamiento de StyleGAN – el más cercano a un “origen de cara real” que esta red proporciona.

Los autores excluyeron conjuntos de datos sintéticos que utilizan CGI en lugar de métodos de IA, y al evaluar los resultados descartaron coincidencias para niños, debido a anomalías de distribución en este respecto, así como imágenes que no son de caras (que pueden ocurrir con frecuencia en conjuntos de datos de caras, donde los sistemas de extracción de la web producen falsos positivos para objetos o artefactos que tienen cualidades similares a las caras).

Se calculó la similitud coseno para todos los pares recuperados, y se concatenaron en histogramas, ilustrados a continuación:

Una representación de histograma para las puntuaciones de similitud coseno calculadas en todo el conjunto de datos diverso, junto con sus valores de similitud para los pares superior-k (líneas verticales discontinuas).

El número de similitudes está representado en los picos del gráfico de arriba. El artículo también presenta comparaciones de ejemplo de los seis conjuntos de datos, y sus imágenes estimadas correspondientes en los conjuntos de datos reales, de las cuales se presentan algunas selecciones a continuación:

Muestras de las muchas instancias reproducidas en el artículo de investigación original, al cual se remite al lector para una selección más completa.

El artículo comenta:

‘[Los] conjuntos de datos sintéticos generados contienen imágenes muy similares a las del conjunto de entrenamiento de su modelo generador, lo que plantea preocupaciones con respecto a la generación de dichas identidades.’

Los autores observan que para este enfoque particular, escalar hacia conjuntos de datos de mayor volumen probablemente sea ineficiente, ya que la computación necesaria sería extremadamente onerosa. Observan además que la comparación visual fue necesaria para inferir coincidencias, y que el reconocimiento facial automático solo no sería probablemente suficiente para una tarea más grande.

En cuanto a las implicaciones de la investigación, y con miras a caminos hacia adelante, el trabajo establece:

‘[Nosotros] nos gustaría destacar que la principal motivación para generar conjuntos de datos sintéticos es abordar las preocupaciones de privacidad en el uso de conjuntos de datos de caras de gran escala extraídos de la web.

‘Por lo tanto, la fuga de cualquier información sensible (como las identidades de las imágenes reales en los datos de entrenamiento) en el conjunto de datos sintético plantea preocupaciones críticas con respecto a la aplicación de datos sintéticos para tareas sensibles a la privacidad, como la biometría. Nuestro estudio arroja luz sobre las trampas de privacidad en la generación de conjuntos de datos sintéticos de reconocimiento facial y allana el camino para futuros estudios hacia la generación de conjuntos de datos sintéticos responsables.’

Aunque los autores prometen una versión de código para este trabajo en la página del proyecto, no hay enlace de repositorio actual.

Conclusión

Recientemente, la atención de los medios ha enfatizado las ganancias decrecientes obtenidas al entrenar modelos de IA con datos generados por IA.

La nueva investigación suiza, sin embargo, pone de relieve una consideración que puede ser más apremiante para el creciente número de empresas que desean aprovechar y beneficiarse de la inteligencia artificial generativa: la persistencia de patrones de datos protegidos por propiedad intelectual o no autorizados, incluso en conjuntos de datos diseñados para combatir esta práctica. Si tuviéramos que darle una definición, en este caso podría llamarse “lavado de caras”.

* Sin embargo, la decisión de Adobe de permitir que las imágenes generadas por IA se suban a Adobe Stock ha socavado efectivamente la “pureza” legal de estos datos. Bloomberg afirmó en abril de 2024 que las imágenes proporcionadas por los usuarios generadas por IA del sistema de IA generativa MidJourney se habían incorporado a las capacidades de Firefly.

^† Este modelo no se identifica en el artículo.

Publicado por primera vez el miércoles 6 de noviembre de 2024