Exponiendo pequeñas pero significativas ediciones de IA en video real

En 2019, la presidenta de la Cámara de Representantes de los Estados Unidos, Nancy Pelosi, fue objeto de un ataque de estilo deepfake dirigido y bastante de baja tecnología, cuando se editó un video real de ella para hacer que pareciera borracha – un incidente irreal que se compartió varios millones de veces antes de que se descubriera la verdad (y, potencialmente, después de que se hubiera causado algún daño a su capital político por parte de aquellos que no se mantuvieron al tanto de la historia).

Aunque esta tergiversación solo requirió algún simple edición de audio y video, y no cualquier IA, sigue siendo un ejemplo clave de cómo los cambios sutiles en la salida de audio y video real pueden tener un efecto devastador.

En ese momento, la escena de los deepfakes estaba dominada por los sistemas de reemplazo de rostro basados en autoencoder que habían debutado a fines de 2017, y que no habían mejorado significativamente en calidad desde entonces. Tales sistemas anteriores habrían tenido dificultades para crear este tipo de alteraciones pequeñas pero significativas, o para perseguir realistamente las líneas de investigación modernas como la edición de expresiones:

El marco de trabajo ‘Neural Emotion Director’ de 2022 cambia el estado de ánimo de una cara famosa. Fuente: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Las cosas son ahora bastante diferentes. La industria del cine y la televisión está seriamente interesada en la alteración de rendimientos reales en postproducción utilizando enfoques de aprendizaje automático, y la facilitación de la IA para el perfeccionismo post facto incluso ha sido objeto de críticas recientes.

Anticipando (o arguyendo que creó) esta demanda, la escena de investigación de síntesis de imágenes y video ha lanzado una amplia gama de proyectos que ofrecen ‘ediciones locales’ de capturas faciales, en lugar de reemplazos directos: proyectos de este tipo incluyen Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; y DISCO, entre otros.

Edición de expresiones con el proyecto de enero de 2025 MagicFace. Fuente: https://arxiv.org/pdf/2501.02260

Nuevas caras, nuevas arrugas

Sin embargo, las tecnologías habilitadoras están desarrollándose mucho más rápidamente que los métodos de detección. Casi todos los métodos de detección de deepfakes que aparecen en la literatura están persiguiendo los métodos de deepfakes de ayer con los conjuntos de datos de ayer. Hasta esta semana, ninguno de ellos había abordado el potencial creciente de los sistemas de IA para crear alteraciones locales pequeñas y temáticas en video.

Ahora, un nuevo artículo de la India ha abordado esto, con un sistema que busca identificar caras que han sido editadas (en lugar de reemplazadas) a través de técnicas basadas en IA:

Detección de ediciones locales sutiles en deepfakes: un video real se altera para producir falsos con cambios sutiles como cejas levantadas, rasgos de género modificados y cambios en la expresión hacia el disgusto (ilustrado aquí con un solo cuadro). Fuente: https://arxiv.org/pdf/2503.22121

El sistema de los autores está dirigido a identificar deepfakes que involucran manipulaciones faciales localizadas sutiles – una clase de falsificación que hasta ahora había sido descuidada. En lugar de centrarse en inconsistencias globales o errores de identidad, el enfoque se centra en cambios de grano fino como pequeños cambios en la expresión o pequeñas ediciones de características faciales específicas.

El método utiliza el delimitador de Unidades de Acción (AUs) en el Sistema de Codificación de Acciones Faciales (FACS), que define 64 áreas mutables individuales posibles en la cara, que juntas forman expresiones.

Algunas de las partes constituyentes de 64 partes de expresión en FACS. Fuente: https://www.cs.cmu.edu/~face/facs.htm

Los autores evaluaron su enfoque contra una variedad de métodos de edición recientes y reportan ganancias de rendimiento consistentes, tanto con conjuntos de datos antiguos como con vectores de ataque mucho más recientes:

‘Al utilizar características basadas en AU para guiar las representaciones de video aprendidas a través de Autoencoders Enmascarados (MAE), nuestro método captura efectivamente los cambios localizados cruciales para detectar ediciones faciales sutiles.

‘Este enfoque nos permite construir una representación latente unificada que codifica tanto ediciones localizadas como alteraciones más amplias en videos centrados en la cara, brindando una solución integral y adaptable para la detección de deepfakes.’

El nuevo artículo se titula Detección de manipulaciones de deepfakes localizadas utilizando representaciones de video guiadas por Unidades de Acción, y proviene de tres autores del Instituto de Tecnología de la India en Madras.

Método

En línea con el enfoque adoptado por VideoMAE, el nuevo método comienza aplicando detección de caras a un video y muestreando cuadros espaciados uniformemente centrados en las caras detectadas. Estos cuadros se dividen luego en pequeñas divisiones 3D (es decir, parches temporalmente habilitados), cada uno capturando detalles espaciales y temporales locales.

Esquema para el nuevo método. El video de entrada se procesa con detección de caras para extraer cuadros centrados en la cara y espaciados uniformemente, que se dividen luego en ‘parches tubulares’ y se pasan a través de un codificador que fusiona representaciones latentes de dos tareas de pretexto preentrenadas. El vector resultante se utiliza luego por un clasificador para determinar si el video es real o falso.

Cada parche 3D contiene una ventana de tamaño fijo de píxeles (es decir, 16×16) de un pequeño número de cuadros sucesivos (es decir, 2). Esto permite que el modelo aprenda movimientos y cambios de expresión a corto plazo – no solo cómo se ve la cara, sino cómo se mueve.

Los parches se incrustan y codifican posicionalmente antes de ser pasados a un codificador diseñado para extraer características que puedan distinguir entre reales y falsos.

Los autores reconocen que esto es particularmente difícil cuando se trata de manipulaciones sutiles, y abordan este problema construyendo un codificador que combina dos tipos de representaciones aprendidas por separado, utilizando un mecanismo de atención cruzada para fusionarlas. Esto pretende producir un espacio de características más sensible y generalizable para detectar ediciones localizadas.

Tareas de pretexto

La primera de estas representaciones es un codificador entrenado con una tarea de auto codificación enmascarada. Con el video dividido en parches 3D (la mayoría de los cuales están ocultos), el codificador aprende a reconstruir las partes que faltan, lo que lo fuerza a capturar patrones espaciotemporales importantes, como el movimiento facial o la consistencia en el tiempo.

El entrenamiento de la tarea de pretexto implica ocultar partes de la entrada de video y utilizar una configuración de codificador-decodificador para reconstruir either los cuadros originales o mapas de unidades de acción por cuadro, dependiendo de la tarea.

Sin embargo, el artículo observa que esto solo no proporciona suficiente sensibilidad para detectar ediciones de grano fino, y los autores introducen por lo tanto un segundo codificador entrenado para detectar unidades de acción faciales (AUs). Para esta tarea, el modelo aprende a reconstruir mapas densos de AU para cada cuadro, nuevamente a partir de entradas parcialmente enmascaradas. Esto lo anima a centrarse en la actividad muscular localizada, que es donde ocurren muchas ediciones de deepfakes sutiles.

Más ejemplos de Unidades de Acción Facial (FAUs, o AUs). Fuente: https://www.eiagroup.com/the-facial-action-coding-system/

Una vez que ambos codificadores están preentrenados, sus salidas se combinan utilizando atención cruzada. En lugar de simplemente fusionar los dos conjuntos de características, el modelo utiliza las características basadas en AU como consultas que guían la atención sobre las características espaciotemporales aprendidas a partir de la auto codificación enmascarada. En efecto, el codificador de unidades de acción le dice al modelo dónde mirar.

El resultado es una representación latente fusionada que pretende capturar tanto el contexto de movimiento más amplio como el detalle de expresión localizado. Este espacio de características combinado se utiliza luego para la tarea de clasificación final: predecir si un video es real o manipulado.

Datos y pruebas

Implementación

Los autores implementaron el sistema procesando los videos de entrada con el marco de detección de caras FaceXZoo basado en PyTorch, obteniendo 16 cuadros centrados en la cara de cada clip. Las tareas de pretexto descritas anteriormente se entrenaron en el conjunto de datos CelebV-HQ, que comprende 35,000 videos faciales de alta calidad.

Del artículo de origen, ejemplos del conjunto de datos CelebV-HQ utilizado en el nuevo proyecto. Fuente: https://arxiv.org/pdf/2207.12393

La mitad de los ejemplos de datos se enmascararon, lo que obligó al sistema a aprender principios generales en lugar de sobreajustarse a los datos de origen.

Para la tarea de reconstrucción de cuadros enmascarados, el modelo se entrenó para predecir regiones que faltan de los cuadros de video utilizando una pérdida L1, minimizando la diferencia entre el contenido original y el reconstruido.

Para la segunda tarea, el modelo se entrenó para generar mapas para 16 unidades de acción facial, cada una representando movimientos musculares sutiles en áreas que incluyen cejas, párpados, nariz y labios, nuevamente supervisado por pérdida L1.

Después del preentrenamiento, los dos codificadores se fusionaron y se ajustaron finamente para la detección de deepfakes utilizando el conjunto de datos FaceForensics++, que contiene tanto videos reales como manipulados.

El conjunto de datos FaceForensics++ ha sido la piedra angular de la detección de deepfakes desde 2017, aunque ahora está considerablemente desactualizado en cuanto a las últimas técnicas de síntesis facial. Fuente: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Para tener en cuenta el desequilibrio de clases, los autores utilizaron Pérdida Focal (una variante de la pérdida de entropía cruzada), que enfatiza los ejemplos más desafiantes durante el entrenamiento.

Todo el entrenamiento se llevó a cabo en una sola GPU RTX 4090 con 24Gb de VRAM, con un tamaño de lote de 8 durante 600 épocas (revisiones completas de los datos), utilizando puntos de partida preentrenados de VideoMAE para inicializar los pesos para cada una de las tareas de pretexto.

Pruebas

Se realizaron evaluaciones cuantitativas y cualitativas contra una variedad de métodos de detección de deepfakes: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; y BlendFace’s SBI. En todos los casos, el código fuente estaba disponible para estos marcos.

Las pruebas se centraron en deepfakes editados localmente, donde solo se alteró una parte de un clip de origen. Las arquitecturas utilizadas fueron Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; y FateZero. Estos métodos emplean una variedad de enfoques (difusión para DVA y StyleGAN2 para STIT y DFE, por ejemplo)

Los autores afirman:

‘Para garantizar una cobertura integral de diferentes manipulaciones faciales, incorporamos una amplia variedad de características y ediciones de atributos faciales. Para la edición de características faciales, modificamos el tamaño de los ojos, la distancia entre los ojos y las cejas, la proporción de la nariz, la distancia entre la nariz y la boca, la proporción de los labios y la proporción de las mejillas. Para la edición de atributos faciales, variamos expresiones como sonreír, enojo, disgusto y tristeza.

‘Esta diversidad es esencial para validar la robustez de nuestro modelo en una amplia gama de ediciones localizadas. En total, generamos 50 videos para cada uno de los métodos de edición mencionados anteriormente y validamos la fuerte generalización de nuestro método para la detección de deepfakes.’

También se incluyeron conjuntos de datos de deepfakes más antiguos en las rondas, a saber, Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); y WildDeepfake (DFW).

Las métricas de evaluación fueron Área bajo la Curva (AUC); Precisión Promedio; y Puntuación F1 Media.

Del artículo: comparación en deepfakes localizados recientes muestra que el método propuesto superó a todos los demás, con una ganancia del 15 al 20 por ciento en AUC y precisión promedio sobre el enfoque siguiente mejor.

Los autores proporcionan además una comparación visual de detección para vistas manipuladas localmente (reproducida solo en parte a continuación, debido a la falta de espacio):

Un video real se alteró utilizando tres manipulaciones localizadas diferentes para producir falsos que se parecían visualmente al original. Se muestran aquí cuadros representativos junto con las puntuaciones de detección de falsos promedio para cada método. Mientras que los detectores existentes lucharon con estas ediciones sutiles, el modelo propuesto asignó consistentemente altas probabilidades de falsos, lo que indica una mayor sensibilidad a los cambios localizados.

Los investigadores comentan:

‘[Los] métodos de detección de deepfakes existentes, [LAANet], [SBI], [AltFreezing] y [CADMM], experimentan un descenso significativo en el rendimiento en los métodos de generación de deepfakes más recientes. Los métodos actuales de SOTA exhiben AUCs tan bajos como 48-71%, lo que demuestra sus pobres capacidades de generalización para los deepfakes más recientes.

‘Por otro lado, nuestro método demuestra una generalización robusta, logrando un AUC en el rango 87-93%. Una tendencia similar es visible en el caso de la precisión promedio también. Como se muestra [a continuación], nuestro método también logra consistentemente un alto rendimiento en conjuntos de datos estándar, superando el 90% de AUC y es competitivo con los modelos de detección de deepfakes recientes.’

El rendimiento en conjuntos de datos de deepfakes tradicionales muestra que el método propuesto permaneció competitivo con los enfoques líderes, lo que indica una fuerte generalización a través de una variedad de tipos de manipulación.

Los autores observan que estas últimas pruebas involucran modelos que podrían razonablemente considerarse obsoletos, y que se introdujeron antes de 2020.

Como una representación visual más extensa del rendimiento del nuevo modelo, los autores proporcionan una tabla extensa al final, solo parte de la cual tenemos espacio para reproducir aquí:

En estos ejemplos, un video real se modificó utilizando tres ediciones localizadas para producir falsos que se parecían visualmente al original. Las puntuaciones de confianza promedio a través de estas manipulaciones muestran, según los autores, que el modelo propuesto detectó las falsificaciones de manera más confiable que otros enfoques líderes. Por favor, consulte la última página del PDF de origen para los resultados completos.

Los autores afirman que su método logra puntuaciones de confianza por encima del 90 por ciento para la detección de ediciones localizadas, mientras que los métodos de detección existentes permanecen por debajo del 50 por ciento en la misma tarea. Interpretan esta brecha como evidencia tanto de la sensibilidad como de la generalización de su enfoque, y como una indicación de los desafíos que enfrentan las técnicas actuales para lidiar con este tipo de manipulaciones faciales sutiles.

Para evaluar la confiabilidad del modelo en condiciones del mundo real, y de acuerdo con el método establecido por CADMM, los autores probaron su rendimiento en videos modificados con distorsiones comunes, incluyendo ajustes de saturación y contraste, desenfoque gaussiano, pixelación y artefactos de compresión basados en bloques, así como ruido aditivo.

Los resultados mostraron que la precisión de la detección permaneció en gran medida estable a través de estas perturbaciones. El único declive notable ocurrió con la adición de ruido gaussiano, lo que causó un descenso modesto en el rendimiento. Otras alteraciones tuvieron un efecto mínimo.

Una ilustración de cómo la precisión de la detección cambia bajo diferentes distorsiones de video. El nuevo método permaneció resiliente en la mayoría de los casos, con solo un pequeño descenso en AUC. El descenso más significativo ocurrió cuando se introdujo ruido gaussiano.

Estos hallazgos, según los autores, sugieren que la capacidad del método para detectar manipulaciones localizadas no se ve fácilmente perturbada por degradaciones típicas en la calidad del video, lo que apoya su posible robustez en entornos prácticos.

Conclusión

La manipulación de IA existe en la conciencia pública principalmente en la noción tradicional de deepfakes, donde la identidad de una persona se impone en el cuerpo de otra persona, que puede estar realizando acciones antitéticas con los principios del propietario de la identidad. Esta concepción está siendo actualizada lentamente para reconocer las capacidades más insidiosas de los sistemas de video generativos (en la nueva generación de deepfakes de video), y las capacidades de los modelos de difusión latente (LDM) en general.

Por lo tanto, es razonable esperar que el tipo de edición local que el nuevo artículo se ocupa puede no llamar la atención del público hasta que ocurra un evento crucial al estilo de Pelosi, ya que la gente está distraída de esta posibilidad por temas más fáciles de titular como el fraude de deepfakes de video.

No obstante, al igual que el actor Nic Cage ha expresado preocupación constante sobre la posibilidad de que los procesos de postproducción ‘revisen’ el rendimiento de un actor, también debemos fomentar una mayor conciencia sobre este tipo de ‘sutil’ ajuste de video – no solo porque somos por naturaleza increíblemente sensibles a muy pequeñas variaciones de expresión facial, y porque el contexto puede cambiar significativamente el impacto de pequeños movimientos faciales (considerar el efecto disruptivo de sonreír incluso en un funeral, por ejemplo).

Publicado por primera vez el miércoles 2 de abril de 2025