Codificación de imágenes contra su uso en Deepfake y sistemas de síntesis de imágenes

La línea de investigación más conocida en el creciente sector de investigación contra las falsificaciones profundas involucra sistemas que pueden reconocer artefactos u otras características supuestamente distintivas de rostros falsificados, sintetizados o falsificados o "editados" en contenido de video e imagen.

Tales enfoques usan una variedad de tácticas, incluyendo detección de profundidad, interrupción de la regularidad del video, variaciones en la iluminación del monitor (en videollamadas en vivo potencialmente falsificadas), rasgos biométricos, regiones de la cara exterior, E incluso la poderes ocultos del sistema subconsciente humano.

Lo que estos métodos y otros similares tienen en común es que, en el momento en que se implementan, los mecanismos centrales contra los que luchan ya se han entrenado con éxito en miles o cientos de miles de imágenes extraídas de la web, imágenes a partir de las cuales los sistemas de codificación automática pueden obtener fácilmente características clave y crear modelos que puedan imponer con precisión una identidad falsa en secuencias de video o imágenes sintetizadas, incluso en tiempo real.

En resumen, cuando tales sistemas están activos, el caballo ya se ha desbocado.

Imágenes que son hostiles a las arquitecturas Deepfake/Synthesis

A modo de más preventivo Ante la amenaza de los deepfakes y la síntesis de imágenes, una línea de investigación menos conocida en este sector involucra las posibilidades inherentes a hacer todas esas fotos originales. antipático hacia los sistemas de síntesis de imágenes de IA, generalmente de manera imperceptible o apenas perceptible.

Los ejemplos incluyen Etiquetador falso, una propuesta de 2021 de varias instituciones de EE. UU. y Asia, que codifica mensajes en imágenes; estas codificaciones son resistentes al proceso de generalización y pueden recuperarse posteriormente incluso después de que las imágenes hayan sido extraídas de la web y entrenadas en una Red Adversaria Generativa (GAN) del tipo más famoso encarnado por thispersondoesnotexist.com, y su numerosos derivados.

FakeTagger codifica información que puede sobrevivir al proceso de generalización cuando se entrena una GAN, lo que permite saber si una imagen en particular contribuyó a las capacidades generativas del sistema. Fuente: https://arxiv.org/pdf/2009.09869.pdf

Para ICCV 2021, otro esfuerzo internacional también instituyó huellas dactilares artificiales para modelos generativos, (vea la imagen a continuación) que nuevamente produce "huellas dactilares" recuperables a partir de la salida de una GAN de síntesis de imágenes como StyleGAN2.

Incluso bajo una variedad de manipulaciones extremas, recortes e intercambios de rostros, las huellas dactilares que pasan a través de ProGAN siguen siendo recuperables. Fuente: https://arxiv.org/pdf/2007.08457.pdf

Otras iteraciones de este concepto incluyen una Proyecto 2018 de IBM y un esquema de marca de agua digital en el mismo año, de Japón.

Más innovador, un 2021 iniciativa de la Universidad de Aeronáutica y Astronáutica de Nanjing buscó 'cifrar' las imágenes de entrenamiento de tal manera que entrenarían de manera efectiva solo en sistemas autorizados, pero fallarían catastróficamente si se usaran como datos de origen en una canalización de entrenamiento de síntesis de imágenes genéricas.

Efectivamente, todos estos métodos entran en la categoría de esteganografía, pero en todos los casos, la información de identificación única en las imágenes debe codificarse como una "característica" tan esencial de una imagen que no hay posibilidad de que un codificador automático o una arquitectura GAN descarten tal las huellas dactilares como 'ruido' o datos atípicos e inesenciales, sino que las codificará junto con otros rasgos faciales.

Al mismo tiempo, no se puede permitir que el proceso distorsione o afecte visualmente la imagen tanto que los espectadores ocasionales la perciban como que tiene defectos o que es de baja calidad.

TAFÍM

Ahora, un nuevo esfuerzo de investigación alemán (de la Universidad Técnica de Munich y Sony Europe RDC Stuttgart) ha propuesto una técnica de codificación de imágenes mediante la cual los modelos falsos profundos o los marcos de tipo StyleGAN que se entrenan en imágenes procesadas producirán una salida azul o blanca inutilizable, respectivamente. .

Las perturbaciones de imagen de bajo nivel de TAFIM abordan varios tipos posibles de distorsión/sustitución de caras, lo que obliga a los modelos entrenados en las imágenes a producir una salida distorsionada, y los autores informan que es aplicable incluso en escenarios en tiempo real, como la transmisión de deepfake en tiempo real de DeepFaceLive. . Fuente: https://arxiv.org/pdf/2112.09151.pdf

El , Titulado TAFIM: Ataques adversarios dirigidos contra manipulaciones de imágenes faciales, utiliza una red neuronal para codificar perturbaciones apenas perceptibles en imágenes. Después de entrenar y generalizar las imágenes en una arquitectura de síntesis, el modelo resultante producirá una salida descolorida para la identidad de entrada si se usa en una mezcla de estilos o en un intercambio de caras directo.

Re-codificación de la Web ..?

Sin embargo, en este caso, no estamos aquí para examinar las minucias y la arquitectura de la última versión de este popular concepto, sino más bien para considerar la practicidad de toda la idea, particularmente a la luz de la creciente controversia sobre el uso público de imágenes raspadas para potenciar marcos de síntesis de imágenes como Difusión estable, y las subsiguientes implicaciones legales aguas abajo de derivación de software comercial de contenido que puede (al menos en algunas jurisdicciones) eventualmente demostrar tener protección legal contra la ingestión en arquitecturas de síntesis de IA.

Los enfoques proactivos basados ​​en la codificación del tipo descrito anteriormente tienen un costo considerable. Como mínimo, implicarían instituir rutinas de compresión nuevas y extendidas en bibliotecas de procesamiento estándar basadas en la web, como ImageMagick, que impulsan una gran cantidad de procesos de carga, incluidas muchas interfaces de carga de redes sociales, encargadas de convertir imágenes de usuario originales de gran tamaño en versiones optimizadas que son más adecuadas para compartir y distribuir en red de forma ligera, y también para efectuar transformaciones como cultivos, y otros aumentos.

La pregunta principal que esto plantea es: ¿se implementaría tal esquema 'en el futuro', o se intentaría un despliegue más amplio y retroactivo, que aborde los medios históricos que pueden haber estado disponibles, 'sin corromper', durante décadas?

Plataformas como Netflix son no adverso a expensas de volver a codificar un catálogo anterior con nuevos códecs que pueden ser más eficientes o que de otro modo podrían brindar beneficios al usuario o al proveedor; asimismo, la conversión de YouTube de su contenido histórico al códec H.264, aparentemente para acomodar Apple TV, una tarea logísticamente monumental, no se consideró prohibitivamente difícil, a pesar de la escala.

Irónicamente, incluso si una gran parte del contenido de los medios en Internet se volviera a codificar en un formato que resiste el entrenamiento, el cuadro limitado de conjuntos de datos de visión artificial influyentes no se vería afectada. Sin embargo, presumiblemente, los sistemas que los usan como datos ascendentes comenzarían a disminuir en calidad de salida, ya que el contenido con marca de agua interferiría con los procesos de transformación de las arquitecturas.

Conflicto politico

En términos políticos, existe una aparente tensión entre la determinación de los gobiernos de no quedarse atrás en el desarrollo de la IA y hacer concesiones a la preocupación pública sobre el uso ad hoc de contenido de audio, video e imagen disponible abiertamente en Internet como un recurso abundante. para sistemas de IA transformadores.

Oficialmente, los gobiernos occidentales se inclinan a ser indulgentes con respecto a la capacidad del sector de investigación en visión por computadora para hacer uso de los medios disponibles públicamente, sobre todo porque algunos de los países asiáticos más autocráticos tienen un margen de maniobra mucho mayor para configurar sus flujos de trabajo de desarrollo de una manera que beneficia sus propios esfuerzos de investigación, solo uno de los factores que sugiere que China se está convirtiendo en el líder mundial en IA.

En abril de 2022, la Corte de Apelaciones de EE. afirmó que los datos web de cara al público son un juego justo para fines de investigación, a pesar de las protestas en curso de LinkedIn, que deseos sus perfiles de usuario estén protegidos de tales procesos.

Por lo tanto, si las imágenes resistentes a la IA no se convierten en un estándar de todo el sistema, no hay nada que impida que algunas de las principales fuentes de datos de entrenamiento implementen tales sistemas, de modo que su propia salida se vuelva improductiva en el espacio latente.

El factor esencial en este tipo de implementaciones específicas de la empresa es que las imágenes deben ser innatamente resistente a entrenar. Técnicas de procedencia basadas en blockchain y movimientos como el Iniciativa de autenticidad de contenido, están más preocupados por probar que la imagen ha sido falsificada o 'estilizada', en lugar de prevenir los mecanismos que hacen posible tales transformaciones.

Inspección casual

Si bien se han presentado propuestas para usar métodos de cadena de bloques para autenticar la verdadera procedencia y apariencia de una imagen de origen que puede haberse ingerido más tarde en un conjunto de datos de entrenamiento, esto en sí mismo no impide el entrenamiento de imágenes ni proporciona ninguna forma de probar, de la salida de dichos sistemas, que las imágenes se incluyeron en el conjunto de datos de entrenamiento.

En un enfoque de marca de agua para excluir imágenes del entrenamiento, sería importante no depender de que las imágenes de origen de un conjunto de datos influyente estén disponibles públicamente para su inspección. En respuesta a protestas de los artistas sobre la ingestión liberal de su trabajo por parte de Stable Diffusion, el sitio web hanibeentrained.com permite a los usuarios cargar imágenes y verificar si es probable que hayan sido incluidas en el LAION5B conjunto de datos que impulsa la difusión estable:

'Lenna', literalmente la chica del cartel de la investigación de la visión artificial hasta hace poco, es sin duda una colaboradora de Stable Diffusion. Fuente: https://haveibeentrained.com/

Sin embargo, casi todos los conjuntos de datos deepfake tradicionales, por ejemplo, se extraen casualmente de videos e imágenes extraídos en Internet, en bases de datos no públicas donde solo algún tipo de marca de agua resistente a los nervios podría exponer el uso de imágenes específicas para crear las imágenes derivadas. y vídeo

Además, los usuarios de Stable Diffusion están comenzando a agregar contenido, ya sea a través de ajustes (continuando el entrenamiento del punto de control del modelo oficial con pares de imagen/texto adicionales) o Textual Inversion, que agrega un elemento específico o una persona, que no aparecerá en ninguna. busca a través de miles de millones de imágenes de LAION.

Incrustación de marcas de agua en la fuente

Una aplicación potencial aún más extrema de la marca de agua de la imagen de origen es incluir información oscurecida y no obvia en la salida de captura sin procesar, video o imágenes, de las cámaras comerciales. Aunque el concepto se experimentó e incluso se implementó con cierto vigor a principios de la década de 2000, como respuesta a la "amenaza" emergente de la piratería multimedia, el principio es técnicamente aplicable también con el fin de hacer que el contenido multimedia sea resistente o repelente al aprendizaje automático. sistemas.

Una implementación, propuesta en una solicitud de patente de fines de la década de 1990, proponía usar Transformadas discretas de coseno para incrustar 'subimágenes' esteganográficas en video e imágenes fijas, lo que sugiere que la rutina podría 'incorporarse como una función integrada para dispositivos de grabación digital, como cámaras fijas y de video'.

En una solicitud de patente de fines de la década de 1990, Lenna está imbuida de marcas de agua ocultas que se pueden recuperar según sea necesario. Fuente: https://www.freepatentsonline.com/6983057.pdf

Un enfoque menos sofisticado es imponer marcas de agua claramente visibles en las imágenes a nivel de dispositivo, una característica que no es atractiva para la mayoría de los usuarios y redundante en el caso de artistas y profesionales de los medios, que pueden proteger los datos de origen y agregar dicha marca o prohibiciones que consideren convenientes (sobre todo, empresas de imágenes de stock).

Aunque al menos una cámara actualmente permite la imposición opcional de marcas de agua basadas en logotipos que podrían señalar uso no autorizado en un modelo de IA derivado, la eliminación de logotipos a través de IA se está volviendo bastante trivial, e incluso comercializado casualmente.

Publicado por primera vez el 25 de septiembre de 2022.