La précision de détection des deepfakes chute de 49% en une année de progrès des vidéos IA

Je remarque avec intérêt un nouvel article dirigé par l’Ukraine indiquant que la génération précédente de détecteurs de vidéos deepfake fonctionne très mal sur les vidéos genAI de pointe actuelles, que ces générateurs soient open source, des installations locales d’IA comme le Wan 2.2 d’Alibaba ou le Hunyuan Video ; ou des modèles fermés uniquement via API tels que Grok Imagine ou Kling.

Cliquez pour lire (CONTENU AUDIO). Trois exemples de la catégorie « Direct to camera casual » du jeu de données DF26. Source 

En 2024, un autre article avait déjà montré que la capacité humaine à détecter les vidéos IA était pas bien au‑delà du hasard, à 57 %. Ce que le nouveau travail (intitulé DF26 : Nous ne pouvons plus distinguer le faux du réel) ajoute, c’est une preuve empirique que les détecteurs automatiques de deepfakes ont fortement perdu en efficacité depuis lors – passant de 94 % à 48 %, face aux toutes dernières productions vidéo genAI.

À partir du nouveau jeu de données généré pour l’étude, des exemples de vidéos générées image‑à‑vidéo et texte‑à‑vidéo (ci‑dessous), comparés aux vidéos réelles à gauche. Le corpus se concentre sur des mises en scène « persuasives » et crédibles en plan tête‑et‑épaules, qui figurent parmi les domaines genAI les plus préoccupants actuellement. Source

La plus forte baisse observée dans les tests menés pour l’étude représente une chute de 49 %. Puisque la référence précédente date de 2025, et que le nouveau travail teste une gamme des modèles vidéo de génération 2026 les plus récents, ce chiffre correspond à près d’une année de détérioration de l’efficacité de la détection vidéo IA.

Détails des modèles utilisés pour générer les vidéos contre lesquelles les détecteurs ont été testés.

Les modèles commerciaux fermés utilisés pour générer cette sortie qui contourne les détecteurs étaient Grok 1.0 ; Kling 3.0 ; Veo 3.1 ; et Wan 2.6. Seuls des exemples texte‑à‑vidéo ont été générés pour ceux‑ci, car les tentatives de génération image‑à‑vidéo (I2V) déclenchaient souvent des filtres relatifs à la « génération de deepfake », ou enfreignaient les conditions d’utilisation de la plateforme.

Regardez dans mes yeux

Ces déclenchements sont probablement survenus parce que les chercheurs se sont concentrés sur la forme de persuasion vidéo la plus potentiellement puissante, voire sinistre – diverses variantes de vidéos « tête et épaules » et « tête parlante », avec des sujets s’adressant à la caméra, comme dans les vidéos d’influenceurs sur YouTube et TikTok, ou dans un contexte de reportage journalistique (y compris les interviewés via des connexions satellite, etc.).

Les auteurs soutiennent que ces scénarios constituent des cibles privilégiées pour les activités de deepfake, notamment parce qu’ils représentent des contextes « influenceur » et divers autres contextes « informationnels » – des contextes où l’on suppose une relation de confiance préexistante, et où cette relation possède donc un fort potentiel d’abus (naturellement, cela s’applique tout autant aux appels vidéo deepfake, bien que les chercheurs n’abordent pas ce sujet).

Depuis le sommet de l’ère des deepfakes auto‑encodeurs, la manipulation d’images réelles de Richard Nixon a pu simuler son annonce du décès des astronautes d’Apollo 9 en 1969 – un événement qui ne s’est jamais produit, mais dont le scénario réel a été utilisé pour imposer une voix et des mouvements de lèvres deepfakés.

En plus de se concentrer sur ce scénario d’influenceur, le nouveau benchmark – et les vidéos créées pour celui‑ci – se concentrent sur l’évaluation du cadre complet de la vidéo, contrairement aux stratégies historiques de détection de deepfakes.

Ces stratégies plus anciennes appliquaient une manipulation faciale ou manipulation d’expression, ou substitution faciale (ou au mieux, de la tête entière) dans des vidéos réelles – ce qui était en effet la seule approche raisonnable, jusqu’à ce que les modèles basés sur la diffusion deviennent suffisamment efficaces pour les supplanter au cours des 18 à 24 derniers mois.

Visage détourné

Ce n’est plus ainsi que cela se fait ; la méthode basée sur l’auto‑encodeur remonte aux débuts des deepfakes à la fin 2017 ; et cette technique, qui ne remplace que la zone à l’intérieur des contours extérieurs du visage, était complètement épuisée d’ici 2022.

Le principal terrain d’activité des deepfakes, 2017‑2023 – mais pour la nouvelle génération de plateformes vidéo genAI, il n’existe aucune frontière de ce type pour concentrer l’attention. Source

Néanmoins, comme le secteur de la recherche scientifique aime une constante à long terme – où la cible est fixe, et où une gamme évolutive d’approches peut être testée contre elle au fil des années/décennies – les méthodes de détection de deepfake basées sur le ‘inner-face substitution/amendment’ ont perduré dans la littérature et dans les offres commerciales de détection, bien au-delà de la validité de la technologie sous-jacente visée.

Outre les trois modèles propriétaires testés pour ce nouveau travail, trois modèles open source très performants et utilisables par les consommateurs ont également été essayés : Wan 2.2 A14B ; HunyuanVideo 1.5 ; et LTX 2.3, qui a récemment ébloui la communauté FOSS genAI. La gamme LTX est également capable de générer de la parole :

Cliquez pour lire: expériences avec la série LTX sur r/stablediffusion, dont la communauté ne traite que des modèles FOSS. Source 

Conception des données

Les auteurs envisagent leur nouveau jeu de données, DF26, comme un ensemble « hold-out » pour l’évaluation de matériel inédit. La collection comprend 2 691 vidéos réparties en trois scénarios de prise de parole publique : discours direct à la caméra ou interventions décontractées ; déclarations officielles ; et interviews en studio.

Tous les extraits vidéo générés par IA étaient basés sur 271 clips réels sélectionnés parmi OpenVid ; TalkingCelebs ; et MAVOS-DD.

Exemple de la collection OpenVid, à partir de laquelle 271 vidéos réelles ont été utilisées comme matériau de base pour les vidéos générées par IA dans la collection DF26. Deux autres ensembles de données ont également contribué à cette composante non factice de DF26. Source

Les 271 vidéos réelles ont été utilisées pour générer les vidéos IA en dérivant des invites de scène correspondantes à partir de leurs images, puis en injectant ces invites – ainsi que la première image elle‑même, lorsqu’elle était prise en charge – dans les sept modèles de génération vidéo, afin de produire un total de 2 420 extraits synthétiques.

Les auteurs ont veillé à ce qu’aucune image réelle contenant des superpositions de texte (telles que des annonces indiquant qui parle, etc.) ne soit intégrée aux flux de génération, car cela aurait probablement favorisé les raccourcis et les hypothèses. Les extraits candidats ont été évalués par Gemini 2.5.

De plus, les séquences présentant plus d’un visage ont été rejetées, afin d’imposer un réglage « intervenant unique ».

Cliquez pour lire [NO SOUND]. À partir du jeu de données associé à l’article, exemples de générations vidéo à la pointe de la technologie couvrant sept des modèles génératifs les plus récents et les plus performants, à la fois open source et propriétaire. Les modèles utilisés pour le jeu de données incluent également ceux capables de générer de la parole (voir les exemples plus haut dans cet article). Source

Les chercheurs ont utilisé la plateforme commerciale populaire Higgsfield AI, qui propose une grande variété de modèles fermés et open source, avec des niveaux divers de contrôle d’accès et de garde‑fous.

En utilisant un NVIDIA H200 (141 Go de VRAM) comme modèle GPU de base pour un cluster de recherche interne, il a fallu environ 440 heures GPU pour générer 1 626 vidéos pour la collection.

En plus de veiller à ce qu’aucun texte ne soit visible dans le rendu, il était également nécessaire d’obscurcir ou, de façon générale, d’éviter la représentation du filigrane IA, car cela constituerait également un « raccourci » potentiel pour un évaluateur ou un système d’évaluation.

Tests

La métrique principale utilisée pour la dernière série de tests était la surface sous la courbe ROC (Receiver Operating Characteristic) (AUC / AUROC), avec le taux d’erreur égal (EER) comme mesure complémentaire.

Les détecteurs basés sur les images (qui évaluent les images fixes de façon indépendante) ont été testés sur 32 images régulièrement espacées de chaque vidéo, les scores étant ensuite moyennés en un seul résultat. Les détecteurs temporels (qui peuvent exploiter les informations provenant de cadres successifs) ont, quant à eux, analysé la séquence vidéo elle‑même.

Les résultats des détecteurs temporels DFD-FCG et PwTF-DVD sont présentés ci‑dessous, ainsi que ceux de ForAda ; Effort ; FSFM ; GenD-CLIP et GenD-DINO ; et DFD-HR. Tous ont été entraînés sur le vénérable jeu de données FaceForensics++.

Résultats des tests comparant les détecteurs de deepfake sur CelebDF++ et DF26. Tous les détecteurs ont été entraînés sur FaceForensics++, un AUROC plus élevé et un EER plus bas indiquant de meilleures performances.

Les auteurs soulignent que la plupart des détecteurs fonctionnent bien sur Celeb-DF++ (CDFv3), mais chutent fortement sur la nouvelle collection DF26, plus exigeante.

‘[Multiple] détecteurs à la pointe de la technologie obtiennent de solides performances sur le benchmark CelebDF++ [16] (CDFv3), les méthodes temporelles atteignant un AUROC de 94,3 et 92,3.

‘Cependant, leurs performances chutent considérablement sur DF26, à 48,2 et 61,6 AUROC, respectivement.

‘La plupart des méthodes se dégradent fortement, restant proches du hasard ; le meilleur AUROC de 69,7 est atteint par GenD-PE.

‘Cela montre que DF26 est un benchmark plus difficile pour les détecteurs de pointe.’

Image‑to‑video, observent-ils, s’est avéré plus difficile à détecter que text‑to‑video, tant pour les humains que pour les détecteurs automatisés, PwTF‑DVD étant le plus performant sur le matériel I2V, et GenD‑PE dominant sur le T2V.

Les performances variaient fortement selon le générateur qui avait produit la vidéo factice, ce qui suggère que les détecteurs apprenaient souvent des traces spécifiques au générateur plutôt qu’une signature générale de la vidéo synthétique. PwTF‑DVD, par exemple, a atteint 92,9 AUROC sur la sortie text‑to‑video de Wan 2.2, mais est tombé à peu près au niveau du hasard sur HunyuanVideo 1.5 – bien que les deux appartiennent au même paysage de génération moderne :

Performance des détecteurs selon les générateurs vidéo commerciaux et open‑source. La grande variation entre les colonnes montre que la fiabilité de la détection dépend fortement du modèle qui a produit la vidéo, GenD‑PE affichant le meilleur AUROC moyen global.

Ci‑dessous, nous constatons que le réentraînement de GenD‑PE sur du nouveau matériel DF26 a considérablement amélioré sa capacité à détecter les vidéos provenant de générateurs qu’il n’avait pas vus lors de l’entraînement :

Résultats du réentraînement de GenD‑PE sur des générateurs vidéo invisibles. L’entraînement sur du matériel DF26 plus récent a généralement amélioré les performances inter‑générateurs par rapport à l’entraînement initial sur FaceForensics++.

L’entraînement sur HunyuanVideo 1.5 a porté l’AUROC à au moins 93,1 sur Grok Imagine 1.0, Veo 3.1 et Wan 2.6, soutenant l’argument du papier selon lequel les détecteurs entraînés uniquement sur des jeux de données plus anciens comme FaceForensics++ sont mal adaptés aux vidéos génératives actuelles.

Comme on pouvait s’y attendre, les deux détecteurs temporels ont eu beaucoup plus de facilité avec les vidéos open‑source qu’avec les extraits provenant de modèles commerciaux. DFD‑FCG est passé de 57,4 AUROC sur le matériel open‑source à 34,5 sur la vidéo fermée ; tandis que PwTF‑DVD est passé de 70,5 à 48,3 :

Résultats comparant deux détecteurs temporels selon la source du générateur et le scénario de parole. Les deux ont nettement moins bien fonctionné sur les vidéos fermées, tandis que les différences entre les types de scènes étaient plus faibles.

Cependant, le papier ne va pas jusqu’à déclarer que les modèles commerciaux sont simplement plus difficiles à détecter, car des différences de famille de modèle, de post‑traitement et de qualité visuelle pourraient également jouer un rôle.

Le type de scène importait beaucoup moins : DFD‑FCG est resté proche du hasard sur les extraits face‑caméra, les déclarations officielles et les interviews en studio, tandis que PwTF‑DVD a obtenu les meilleurs résultats sur les déclarations officielles. Selon le papier, le générateur lui‑même semble compter davantage que le style de présentation.

Une étude humaine a également été menée pour vérifier si les personnes rencontraient les mêmes difficultés avec DF26 que les détecteurs automatisés. Au cours de 232 sessions d’étiquetage, les participants ont jugé de courts extraits de DF26, CelebDF++ et DeepSpeak v2 comme réels ou factices, sans savoir combien d’exemples de chaque classe ils allaient voir.

Précision humaine sur DF26, CelebDF++ et DeepSpeak v2. Les participants ont identifié les vidéos réelles à des taux similaires sur les trois ensembles de données, tandis que la précision sur les vidéos factices de DF26 est tombée proche du hasard.

Les performances sur les vidéos réelles étaient similaires sur les trois ensembles, à 76,0 % pour DF26, 75,5 % pour CelebDF++ et 72,8 % pour DeepSpeak v2. La différence est apparue avec les vidéos factices, où la précision est tombée à 52,6 % sur DF26, contre 74,5 % et 69,8 % sur les deux ensembles plus anciens.

Ainsi, selon le papier, bien que les participants ne soient pas généralement confus par DF26, ils ont eu du mal à repérer des preuves spécifiques visibles que ses vidéos synthétiques étaient factices.

Conclusion

Malgré une augmentation signalée de 16 fois de la fréquence des deepfakes au cours des deux dernières années, la réalité des deepfakes malveillants reste largement absente de notre expérience quotidienne, à moins que nous ne soyons nous‑mêmes ciblés.

Dans le cas des victimes de deepfakes sexuels, cela est tout à fait compréhensible – mais comme les deepfakes ont maintenant un impact croissant sur le crime de fraude, il pourrait être utile que davantage de ces matériaux soient partagés avec le public, afin que notre contexte passe de « l’âge d’or » des deepfakes auto‑encodeurs à l’ère bien plus incisive et trompeuse des deepfakes basés sur la diffusion.

Bien sûr, la plupart des matériaux relatifs aux sorties des modèles dans la nouvelle étude, ainsi que d’autres modèles, apparaissent sans contexte adéquat sur les plateformes de médias sociaux dont les modérateurs ne peuvent soit pas distinguer l’IA du réel, soit se contentent de ne pas s’en soucier.

Une métrique supplémentaire que nous pouvons tous appliquer aux vidéos que nous doutons est la crédulité raisonnable – mais cette faculté varie tellement d’un individu à l’autre qu’elle devient peu fiable. Il se peut donc que, pendant une période de transition, alors que nous nous acclimatons à l’impact de cette technologie et à ses capacités toujours croissantes, nous devions simplement reporter notre jugement.

Première publication lundi 14 septembre 2026