La precisión de detección de deepfakes cae un 49% en un año de progreso de video IA

Observo con interés un nuevo documento liderado por Ucrania que indica que la generación anterior de detectores de video deepfake rinden muy mal con los videos genAI de última generación, ya sea que esos generadores sean de código abierto, instalaciones locales de IA como Wan 2.2 de Alibaba o Hunyuan Video; o modelos cerrados solo API como Grok Imagine o Kling.

Haga clic para reproducir (CONTENIDO DE AUDIO). Tres ejemplos de la categoría ‘Directo a cámara casual’ del conjunto de datos DF26. Fuente 

En 2024, otro artículo ya había demostrado que la capacidad humana para detectar video IA estaba no mucho más que el azar, con un 57 %. Lo que el nuevo trabajo (titulado DF26: Ya No Podemos Distinguir lo Falso de lo Real) aporta es evidencia empírica de que los detectores automáticos de deepfakes han disminuido drásticamente en eficacia desde entonces – del 94 % al 48 % al enfrentarse a la producción de video genAI más reciente.

Del nuevo conjunto de datos generado para el estudio, ejemplos de videos generados de imagen a video y de texto a video (abajo), comparados con videos reales a la izquierda. El corpus se concentra en configuraciones de ‘cabeza y hombros’ persuasivas y creíbles, que están entre los dominios genAI más preocupantes en este momento. Fuente

La mayor caída registrada en las pruebas realizadas para el estudio representa una disminución del 49 %. Dado que la referencia anterior data de 2025, y el nuevo trabajo evalúa una variedad de los últimos modelos de video de generación 2026, esta cifra equivale a casi un año de deterioro en la eficacia de detección de video IA.

Detalles de los modelos utilizados para generar los videos contra los que se probaron los detectores.

Los modelos comerciales de código cerrado utilizados para generar esta salida que derrota a los detectores fueron Grok 1.0; Kling 3.0; Veo 3.1; y Wan 2.6. Sólo se generaron ejemplos de texto a video para estos, ya que intentar generar de imagen a video (I2V) a menudo activaba filtros respecto a la ‘generación de deepfakes’, o bien violaría los TOS de la plataforma.

Mira Dentro de Mis Ojos

Estos desencadenantes ocurrieron, probablemente, porque los investigadores se centraron en la forma de persuasión basada en video potencialmente más poderosa y, quizá, siniestra: diversas variaciones de videos de ‘cabeza y hombros’ y ‘cabeza parlante’, con sujetos hablando a la cámara, como lo hacen en videos de influencers de YouTube y TikTok, o en escenarios de reportajes noticiosos (incluyendo entrevistados a través de conexiones satelitales, etc.).

Los autores sostienen que estos escenarios son objetivos principales para la actividad de deepfakes, no solo porque representan contextos de ‘influencer’ y varios otros contextos ‘informativos’ – contextos donde existe una suposición de una relación previa de confianza, y donde esa relación, por tanto, tiene un gran potencial de abuso (naturalmente esto se aplica al menos igualmente a llamadas de video deepfake, aunque los investigadores no abordan este aspecto).

Desde el cenit de la era de deepfakes basada en autoencoders, la manipulación de metraje real de Richard Nixon pudo simular su anuncio de la muerte de los astronautas del Apolo 9 en 1969 – un suceso que nunca ocurrió, pero cuyo guion real se utilizó para imponer una voz y movimientos de labios falsificados.

Además de centrarse en este escenario de influencer, el nuevo punto de referencia – y los videos creados para él – se concentran en evaluar todo el fotograma del video, en contraste con las estrategias históricas de detección de deepfakes.

Esas estrategias más antiguas realizaban manipulaciones faciales o manipulación de expresiones, o sustitución facial (o, en el mejor de los casos, de cabeza completa) dentro de videos reales – lo que era, de hecho, el único enfoque razonable, hasta que los modelos basados en difusión se volvieron lo suficientemente eficaces como para reemplazarlos en los últimos 18‑24 meses.

Rostro Alejado

Eso ya no se hace así; el método basado en autoencoders se remonta al surgimiento inicial de los deepfakes a finales de 2017; y esta técnica, que reemplaza sólo la zona dentro de los contornos externos de la cara, estuvo completamente agotada para 2022.

El principal terreno para la actividad de deepfakes, 2017‑2023 – pero para la nueva generación de plataformas de video genAI, no existe tal límite para concentrar la atención. Fuente

No obstante, dado que el sector de investigación científica ama una constante a largo plazo – donde el objetivo está fijado, y donde se pueden lanzar a lo largo de los años/decadas una gama evolutiva de enfoques – los métodos de detección de deepfake basados en ‘sustitución/enmienda de la cara interna’ han persistido en la literatura, y en ofertas comerciales de detección, mucho más allá de la validez de la tecnología subyacente que se apunta.

Además de los tres modelos de código cerrado probados para el nuevo trabajo, también se probaron tres modelos de código abierto muy capaces y utilizables por consumidores: Wan 2.2 A14B; HunyuanVideo 1.5; y LTX 2.3, que ha estado deslumbrando a la comunidad FOSS genAI últimamente. La gama LTX también es capaz de generar voz:

Haga clic para reproducir: experimentos con la serie LTX en r/stablediffusion, cuya comunidad solo trata con modelos FOSS. Source 

Diseño de datos

Los autores conciben su nuevo conjunto de datos, DF26, como un conjunto de ‘hold-out’ para la evaluación de material no visto. La colección consta de 2.691 videos en tres escenarios de discurso público: direcciones directas a cámara o informales; declaraciones oficiales; y entrevistas en estudio.

Todos los clips de video generados por IA se basaron en 271 clips reales curados de OpenVid; TalkingCelebs; y MAVOS-DD.

Muestra de la colección OpenVid, de la cual se obtuvieron 271 videos reales como material base para los videos generados por IA en la colección DF26. Otros dos conjuntos de datos también contribuyeron a este componente no falso de DF26. Source

Los 271 videos reales se usaron para generar los videos de IA derivando prompts de escena coincidentes de sus fotogramas, y luego alimentando esos prompts – y el primer fotograma mismo, cuando era compatible – a los siete modelos de generación de video, para producir un total de 2.420 clips sintéticos.

Los autores se aseguraron de que ningún fotograma del mundo real con superposiciones de texto (como anuncios de quién está hablando, etc.) se permitiera en los flujos de generación, ya que probablemente habrían fomentado atajos y suposiciones. Los clips candidatos fueron evaluados por Gemini 2.5.

Adicionalmente, se rechazaron los segmentos que presentaban más de una cara, para imponer una configuración de ‘un solo hablante’.

Haga clic para reproducir [NO SOUND]. Del conjunto de datos asociado al artículo, ejemplos de generaciones de video de última generación en siete de los modelos generativos más recientes y capaces, tanto de código abierto como cerrado. Los modelos usados para el conjunto de datos incluyen también los capaces de generar voz (ver ejemplos anteriores en este artículo). Source

Los investigadores usaron la popular plataforma comercial Higgsfield AI, que pone a disposición una amplia variedad de modelos cerrados y de código abierto, con diversos niveles de control y guardrails.

Con una NVIDIA H200 (141 GB de VRAM) como GPU base para un clúster interno de investigación, se necesitaron aproximadamente 440 horas GPU para generar 1.626 videos para la colección.

Además de asegurar que no hubiera texto visible en la salida, también fue necesario ofuscar o, en general, evitar la representación de marcas de agua de IA, ya que esto también representaría un posible ‘atajo’ para un evaluador o sistema de evaluación.

Pruebas

La métrica principal usada para una ronda final de pruebas fue el Área bajo la Curva Característica Operativa del Receptor (AUC / AUROC), con la Tasa de Error Igual (EER) como medida complementaria.

Los detectores basados en fotogramas (que evalúan fotogramas estáticos de forma independiente) se probaron en 32 fotogramas espaciados uniformemente de cada video, promediando luego las puntuaciones en un único resultado. Los detectores temporales (que pueden usar información de fotogramas sucesivos) analizaron en su lugar la secuencia completa del video.

Los resultados para los detectores temporales DFD-FCG y PwTF-DVD se pueden ver a continuación, junto con los resultados de ForAda; Effort; FSFM; GenD-CLIP y GenD-DINO; y DFD-HR. Todos fueron entrenados en el venerable conjunto de datos FaceForensics++.

Resultados de pruebas comparando detectores de deepfake en CelebDF++ y DF26. Todos los detectores fueron entrenados en FaceForensics++, con AUROC más alto y EER más bajo indicando mejor rendimiento.

Los autores observan que la mayoría de los detectores funcionan bien en Celeb-DF++ (CDFv3), pero caen bruscamente en la nueva colección DF26, más desafiante.

‘[Multiple] los detectores de última generación logran un rendimiento sólido en el benchmark CelebDF++ [16] (CDFv3), con métodos temporales alcanzando un AUROC de 94,3 y 92,3.

Sin embargo, su rendimiento disminuye sustancialmente en DF26, a 48.2 y 61.6 AUROC, respectivamente.

La mayoría de los métodos se degradan sustancialmente, permaneciendo cerca del azar; el AUROC más alto de 69.7 lo alcanza GenD-PE.

Esto muestra que DF26 es un benchmark más desafiante para los detectores de última generación.

Imagen a video, observan, resultó más difícil de detectar que texto a video, tanto para personas como para detectores automáticos, con PwTF-DVD obteniendo el mejor desempeño en material I2V, y GenD-PE liderando en T2V.

El rendimiento varió dramáticamente según el generador que produjo el video falso, lo que sugiere que los detectores a menudo aprendían rastros específicos del generador en lugar de una firma general de video sintético. PwTF-DVD, por ejemplo, alcanzó 92.9 AUROC en la salida de texto a video de Wan 2.2, pero cayó a un rendimiento cercano al azar en HunyuanVideo 1.5, a pesar de que ambos pertenecían al mismo panorama de generación moderna:

Rendimiento del detector entre generadores de video comerciales y de código abierto. La gran variación entre columnas muestra que la fiabilidad de la detección depende fuertemente del modelo que produjo el video, siendo GenD-PE el que logra el AUROC medio más alto en general.

A continuación vemos que volver a entrenar GenD-PE con material más reciente de DF26 mejoró sustancialmente su capacidad para detectar videos de generadores que no había visto durante el entrenamiento:

Resultados del reentrenamiento de GenD-PE en generadores de video no vistos. Entrenar con material más reciente de DF26 generalmente mejoró el rendimiento entre generadores comparado con el entrenamiento original en FaceForensics++.

Entrenar en HunyuanVideo 1.5 elevó el AUROC a al menos 93.1 en Grok Imagine 1.0, Veo 3.1 y Wan 2.6, respaldando el argumento del artículo de que los detectores entrenados solo con conjuntos de datos antiguos como FaceForensics++ están poco adaptados a los videos generativos actuales.

Quizás de manera predecible, los dos detectores temporales tuvieron mucho más facilidad con video de código abierto que con clips de modelos comerciales. DFD-FCG cayó de 57.4 AUROC en material de código abierto, comparado con 34.5 en video cerrado; mientras que PwTF-DVD descendió de 70.5 a 48.3:

Resultados comparando dos detectores temporales según la fuente del generador y el escenario de habla. Ambos tuvieron un desempeño sustancialmente peor en video cerrado, mientras que las diferencias entre tipos de escena fueron menores.

Sin embargo, el artículo no llega a declarar que los modelos comerciales sean simplemente más difíciles de detectar, ya que las diferencias en la familia del modelo, el post-procesado y la calidad visual también podrían ser factores.

El tipo de escena importó mucho menos: DFD-FCG se mantuvo cerca del azar en clips directo a cámara, declaraciones oficiales y entrevistas en estudio, mientras que PwTF-DVD obtuvo los mejores resultados en declaraciones oficiales. Según el artículo, parece que el generador en sí importa más que el estilo de presentación.

Se realizó también un estudio humano para ver si las personas tenían dificultades con DF26 de la misma manera que los detectores automáticos. En 232 sesiones de etiquetado, los participantes juzgaron clips cortos de DF26, CelebDF++ y DeepSpeak v2 como reales o falsos, sin saber cuántos ejemplos de cada clase verían.

Precisión humana en DF26, CelebDF++ y DeepSpeak v2. Los participantes identificaron videos reales a tasas similares en los tres conjuntos de datos, mientras que la precisión en videos falsos de DF26 cayó cerca del azar.

El rendimiento en videos reales fue similar en los tres conjuntos, con 76.0 % para DF26, 75.5 % para CelebDF++ y 72.8 % para DeepSpeak v2. La diferencia apareció con los videos falsos, donde la precisión cayó al 52.6 % en DF26, comparado con 74.5 % y 69.8 % en los dos conjuntos de datos más antiguos.

Por lo tanto, según el artículo, aunque los participantes no estaban generalmente confundidos por DF26, les resultó difícil encontrar evidencias específicas visibles que demostraran que sus videos sintéticos eran falsos.

Conclusión

A pesar de un aumento de 16 veces reportado en la frecuencia de deepfakes en los últimos dos años, la realidad de los deepfakes malévolos está mayormente ausente de nuestra experiencia cotidiana, a menos que seamos nosotros mismos sus objetivos.

En el caso de las víctimas de deepfakes sexuales, esto es totalmente comprensible – pero dado que los deepfakes ahora tienen un impacto creciente en el delito de fraude, podría ser útil que más de ese material se comparta con el público, de modo que nuestro contexto se actualice desde la ‘edad dorada’ de los deepfakes de autoencoders hacia la era mucho más incisiva y engañosa de los deepfakes basados en difusión.

Por supuesto, la mayor parte del material relacionado con la salida de los modelos en el nuevo estudio, así como de otros modelos, aparece sin el contexto adecuado en plataformas de redes sociales cuyos supervisores o bien pueden no ser capaces de distinguir la IA de lo real, o que simplemente no les importa.

Una métrica adicional que todos podemos aplicar a los videos que dudamos es una credulidad razonable – pero esta facultad varía tanto entre individuos que resulta poco fiable. Por lo tanto, puede ser que durante un período de transición, mientras nos acostumbramos al impacto de esta tecnología y a sus capacidades cada vez mayores, simplemente debamos posponer el juicio.

Publicado por primera vez el lunes, 14 de septiembre de 2026